Apertus Engineer: Post-training

Nous recherchons un ingénieur qualifié pour rejoindre l'effort de post-entraînement d'Apertus. Le candidat idéal développera, exécutera et évaluera les pipelines de SFT et d'apprentissage par renforcement utilisés pour transformer les modèles de base Apertus en assistants capables. Ce rôle nécessite une solide expérience dans le post-entraînement des LLM, de solides compétences en ingénierie logicielle et la capacité de travailler de manière collaborative dans un environnement HPC axé sur la recherche. Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPUs sur l'un des plus grands superordinateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à temps plein travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et travaille avec plus de trente collaborateurs académiques pour fournir des modèles d'IA entièrement ouverts (open source), entraînés de manière responsable, multilingues et multimodaux pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de calcul haute performance du Swiss National Supercomputing Centre. Le rôle nécessite une personne à l'aise avec le travail dans un environnement HPC et la collaboration avec des chercheurs et des ingénieurs en infrastructure. L'ingénieur contribuera au développement, à l'exécution et à l'évaluation de flux de travail de post-entraînement évolutifs pour Apertus. Ingénierie des infrastructures et des systèmes Construire et maintenir des environnements conteneurisés pour les charges de travail de post-entraînement LLM et de RL Adapter les conteneurs et les dépendances pour l'exécution sur l'infrastructure Alps / CSCS Exécuter et surveiller les tâches d'entraînement et d'évaluation basées sur Slurm Déboguer les échecs liés à l'exécution distribuée, au checkpointing, aux performances du système de fichiers, au réseau et à l'utilisation des GPU Aider à maintenir des recettes d'entraînement reproductibles, des fichiers de configuration, des scripts de lancement et de la documentation Travailler avec des chercheurs et des ingénieurs du CSCS pour améliorer la fiabilité et la performance des expériences à grande échelle Post-entraînement LLM et apprentissage par renforcement Prendre en charge les flux de travail de SFT, d'optimisation de préférence et d'apprentissage par renforcement Construire et exécuter des environnements RL pour des tâches avec des résultats vérifiables, tels que les mathématiques, le code, l'utilisation d'outils et le raisonnement Implémenter et exécuter la modélisation de récompense, le calibrage de récompense et l'entraînement basé sur des vérificateurs Générer et valider des tâches d'entraînement synthétiques ou de type gym Réaliser des études d'ablation comparant les algorithmes, les fonctions de récompense, les mélanges de données, les hyperparamètres et les paramètres d'infrastructure Évaluer le comportement des modèles à travers les benchmarks de raisonnement, de codage, de mathématiques, de suivi d'instructions, de multilinguisme, d'utilisation d'outils et de sécurité Déboguer les problèmes courants de post-entraînement, y compris l'instabilité de l'optimisation, le reward hacking, les régressions et les échecs d'évaluation Essentiel MSc ou PhD en informatique, science des données, intelligence artificielle, apprentissage automatique ou dans un domaine connexe Les candidats exceptionnels de niveau BSc ayant une solide expérience en ingénierie seront également considérés Expérience en IA et en architectures de réseaux neuronaux Fortes capacités de collaboration et de communication et capacité à travailler entre les équipes de recherche et d'ingénierie Une expérience pratique préalable dans les domaines de base de ce rôle est requise Ceci peut être une expérience basée sur des projets ou des études ; une expérience professionnelle formelle est préférée Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes changent en fonction des calendriers d'entraînement, des sorties et d'un domaine en évolution rapide Expérience pratique du post-entraînement LLM, que ce soit l'alignement (SFT, optimisation de préférence) ou l'apprentissage par renforcement Cela signifie une expérience avec des frameworks tels que veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang ou des outils similaires Fortement préféré Familiarité avec les concepts d'entraînement distribué tels que le parallélisme de données, le parallélisme de tenseurs, le parallélisme de pipeline, le checkpointing et la communication GPU Expérience avec Slurm ou un autre gestionnaire de charges de travail HPC Expérience dans la construction ou l'adaptation de conteneurs pour les clusters HPC ou GPU Atout Recherche publiée dans les domaines pertinents pour ce rôle, ou familiarité avec la recherche récemment publiée sur ces sujets Expérience dans la création de tâches vérifiables pour les mathématiques, le code, le raisonnement ou l'utilisation d'outils Familiarité avec les bibliothèques GPU/distribuées de bas niveau telles que NCCL, Transformer Engine, FlashAttention ou les backends de communication Expérience avec les pipelines d'évaluation à grande échelle Un environnement académique stimulant dans l'une des plus grandes universités techniques au monde L'opportunité de travailler avec une infrastructure de supercalcul de pointe et une recherche en IA de pointe Collaboration avec des chercheurs et ingénieurs de premier plan de l'EPFL, de l'ETH Zürich, du CSCS et d'autres institutions suisses Modalités de travail flexibles, y compris des options de travail à distance Opportunités de développement professionnel, y compris la participation à des conférences et des formations spécialisées La chance de contribuer à des projets open-source avec un impact mondial Accès à l'écosystème académique suisse élargi et aux partenariats industriels Fai