Apertus Engineer: Infrastructure

Wir suchen einen versierten Infrastructure Engineer, um das Apertus-Team zu verstärken. Der ideale Kandidat übernimmt die Verantwortung für den Container-Image-Stack hinter unseren Pre-Training-, Post-Training- und Serving-Workloads und arbeitet mit CSCS-Ingenieuren zusammen, um das groß angelegte Training auf Alps stabil und schnell zu halten. Diese Rolle erfordert starke Linux- und Container-Kenntnisse, Erfahrung mit HPC-Umgebungen und die Fähigkeit, kollaborativ über Forschungs-, Engineering- und Operations-Teams hinweg zu arbeiten. Das Apertus-Projekt, eine Gemeinschaftsinitiative von EPFL, ETH Zürich und CSCS, sucht einen praktischen und motivierten Infrastructure Engineer, um beim Aufbau der nächsten Version von Apertus zu helfen. Der erfolgreiche Kandidat wird den Container-Image-Stack verantworten und eng mit dem CSCS zusammenarbeiten, um das groß angelegte Training stabil und schnell zu halten. Wir trainieren offene Foundation-Modelle mit hunderten Milliarden von Parametern auf tausenden GPUs auf einem der größten KI-bereiten Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Ingenieuren, die Seite an Seite mit führenden Forschern der EPFL und ETH Zürich arbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um vollständig offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre (CSCS). Die Rolle erfordert jemanden, der in einer HPC-Umgebung arbeiten und mit Forschern und Infrastructure Engineers zusammenarbeiten kann. Der Engineer wird die Stabilität und den Durchsatz der Apertus Pre-Training- und Post-Training-Pipelines sicherstellen, indem er die ML-System-Images pflegt und mit dem CSCS an der zugrunde liegenden Infrastruktur partnerschaftlich zusammenarbeitet. ML System Image Maintenance Erstellen, pflegen und aktualisieren von Container-Images für alle Kernphasen der ML-Entwicklung: Pre-Training, Post-Training/Alignment und Model Serving/Deployment Zielsetzung auf die ARM-basierte (aarch64, Grace-Hopper) Node-Architektur von Alps, inklusive Verwaltung des gesamten Dependency-Stacks (CUDA, NCCL, PyTorch, Training- und Serving-Frameworks) Sicherstellung reproduzierbarer, versionierter und dokumentierter Image-Builds, einschliesslich CI für Builds und Upgrades Validierung der Images gegen Referenz-Pre-Training- und Post-Training-Workloads gemeinsam mit Apertus-Engineers sowie Bereitstellung funktionierender Launch-Beispiele Compute Partnership und Effizienz Dient als primärer technischer Ansprechpartner für CSCS-Engineers und Forscher in Bezug auf Rechenleistung, Zuverlässigkeit und Effizienz Kollaborative Zusammenarbeit mit dem CSCS-Personal zur Identifizierung und Implementierung von Verbesserungen der Effizienz und Performance der zugrunde liegenden Compute-Infrastruktur, was sich mit dem ML Systems Performance Engineering überschneidet Beitrag zu systemischen Verbesserungen der CSCS-basierten Ressourcen (Netzwerk, Speicher, Scheduling), die für das groß angelegte LLM-Training relevant sind Dokumentation und Verbreitung von institutionellem Wissen über die CSCS-Infrastruktur und Best Practices zur Nutzung dieser Hochleistungssysteme Infrastructure Stress Testing Stresstests der Infrastruktur unter Verwendung repräsentativer Pre-Training- und Post-Training-Workloads, basierend auf den bestehenden Rezepten und Beispielen des Projekts, um Stabilität und Durchsatz nach Image-Upgrades, Systemwartungen und Konfigurationsänderungen zu validieren Enge Zusammenarbeit mit Apertus Pre-Training- und Post-Training-Engineers zur Fehlerbehebung bei Problemen auf Cluster-Ebene, die Stabilität und Durchsatz beeinträchtigen: Node-Ausfälle, Networking, Speicherperformance, Checkpointing und Scheduling Unterstützung des Apertus Serving-Stacks, der auf denselben Images aufbaut (der Betrieb des Serving-Stacks wird von einem separaten Engineer verantwortet) Essential MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich Herausragende BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls berücksichtigt Hands-on Erfahrung mit HPC-Umgebungen: Job-Scheduler wie Slurm, Shared Filesystems und Multi-Node GPU-Systeme Starke Linux-System- und Container-Kenntnisse (Docker/Podman und HPC-Runtimes wie enroot oder Apptainer) Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs-, Engineering- und Operations-Teams hinweg zu arbeiten Vorherige Hands-on Erfahrung in den Kernbereichen dieser Rolle ist erforderlich Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt Hochgrad an Flexibilität: Prioritäten, Werkzeuge und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld Strongly preferred Vertrautheit mit LLM-Training- und Serving-Frameworks wie Megatron-LM, PyTorch distributed, vLLM oder SGLang Erfahrung im Erstellen oder Anpassen von Containern für ARM64/aarch64-Plattformen Vertrautheit mit HPC-Networking- und Kommunikations-Stacks: Slingshot, libfabric, NCCL und dessen Debugging Erfahrung mit parallelen Filesystems (z. B. Lustre) und Speicherperformance-Tuning Erfahrung beim Einrichten von CI/CD-Pipelines für Container-Image-Builds Nice to have Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen Erfahrung im Profiling von verteilten GPU-Workloads (Nsight, DCGM, Kommunikations-Benchmarks) und der Übersetzung von Erkenntnissen in Infrastrukturverbesserungen Erfahrung mit Grace-Hopper (GH200) oder anderen eng gekoppelten CPU-GPU-Architekturen Beiträge zu Open-Source-Infrastruktur oder ML-Tooling Ein anregendes