Apertus Engineer: Evaluations

Apertus Engineer: Evaluations #

100%, Zurich, befristet ####

print Drucken

Wir suchen einen versierten Engineer, um das Apertus Evaluation-Team zu unterstützen. Der ideale Kandidat wird die Evaluation-Codebase und die Pipelines aufbauen und betreiben, die unsere Trainings- und Release-Entscheidungen informieren und sicherstellen, dass die Ergebnisse zwischen Training und Serving konsistent bleiben. Diese Rolle erfordert fundierte Python-Engineering-Kenntnisse, praktische Erfahrung in der LLM-Evaluation und die Fähigkeit, in einem forschungsorientierten Umfeld kollaborativ zu arbeiten.

Projektgrundlagen ##

Wir trainieren offene Foundation Models mit Hunderten von Milliarden Parametern auf Tausenden von GPUs auf einem der größten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Engineers, die mit führenden Forschern der EPFL und ETH Zürich zusammenarbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um voll offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige und multimodale KI-Modelle für Forschung und Industrie bereitzustellen.

Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre (CSCS). Die Rolle erfordert jemanden, der gerne in einer HPC-Umgebung arbeitet und mit Forschern sowie Infrastruktur-Engineers zusammenarbeitet.

Jobbeschreibung ##

Der Engineer übernimmt die Verantwortung für die Evaluation-Codebase und die Pipelines, die Trainingsentscheidungen und Releases informieren.

Evaluations-Infrastruktur

• Aufbau und Wartung der Evaluation-Codebase und Pipelines für Apertus-Modelle, von Checkpoints während des Trainings bis hin zu veröffentlichten Modellen
• Sicherstellung eines schnellen und skalierbaren Ablaufs der Evaluationen: parallele Ausführung auf Alps, effiziente Nutzung von Inference-Backends, Caching und Result-Tracking
• Reduzierung von Diskrepanzen zwischen Evaluationen während des Trainings und während des Servings: konsistente Tokenisierung, Chat-Templates, Prompting und Sampling über Evaluation-Harnesses und Inference-Engines hinweg
• Debugging von Evaluationsfehlern, Regressionen und Inkonsistenzen über verschiedene Backends hinweg

Benchmark-Abdeckung

• Integration und Durchführung der relevanten Projekt-Evaluationen. Das Design neuer Evaluationen liegt in der Verantwortung der kooperierenden Forscher und Engineers; diese Rolle stellt sicher, dass sie zuverlässig und skalierbar laufen
• Abdeckung von Bild- und Audio-Evaluationen neben Text innerhalb derselben Pipeline
• Integration neuer Benchmarks im Zuge der Feldentwicklung, in Zusammenarbeit mit unseren akademischen Partnern zur Einbindung der von ihnen erstellten Benchmarks sowie zur Validierung, dass Metriken und Harness-Implementierungen vertrauenswürdig sind

Vergleichende und Third-Party-Evaluation

• Evaluierung von Drittanbieter-Diensten und anderen offenen sowie geschlossenen Modellen gegen dieselbe Benchmark-Suite, um direkt vergleichbare und reproduzierbare Ergebnisse zu erzielen
• Bereitstellung von Evaluationsergebnissen, Berichten und Dashboards, die Trainingsentscheidungen (Data Mixtures, Ablations) und Release-Entscheidungen unterstützen
• Enge Zusammenarbeit mit den Engineers, die sich auf Safety, Deployment und Community-Bedürfnisse konzentrieren, und Integration der von ihnen erstellten Evaluationen in die gemeinsame Pipeline

Profil ##

Essenziell

• MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich. Außerordentlich
• BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls in Betracht gezogen
• Starke Python- und Software-Engineering-Kenntnisse, einschließlich Erfahrung beim Aufbau robuster Daten- oder Evaluations-Pipelines
• Erfahrung mit LLM-Evaluation: etablierte Harnesses (z. B. lm-evaluation-harness) oder maßgeschneiderte Benchmark-Tools
• Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Engineering-Teams hinweg zu arbeiten
• Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich. Dies kann auf Projekt- oder Studienbasis sein; formelle Berufserfahrung wird bevorzugt
• Ein hohes Maß an Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld
• Erfahrung im skalierbaren Ausführen von Evaluationen auf GPU-Clustern (Slurm oder ähnlich) und mit Inference-Engines wie vLLM oder SGLang
• Vertrautheit mit agentischer Evaluation und agentischen Harnesses: Tool-Nutzung, Sandbox-Ausführungsumgebungen, Benchmarks wie SWE-bench oder ähnlich
• Erfahrung mit der Evaluation multimodaler (Bild oder Audio) Modelle

Sehr erwünscht

• Ein Auge für statistische Strenge: Varianz zwischen Durchläufen, Prompt-Sensitivität, Signifikanz von Unterschieden zwischen Modellen

Von Vorteil

• Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen
• Erfahrung mit LLM-as-judge-Pipelines und deren Kalibrierung
• Vertrautheit mit Methoden zur Erkennung und Dekontamination von Benchmark-Contamination
• Erfahrung in der Visualisierung und Kommunikation von Evaluationsergebnissen an Forschungsteams

Arbeitsort ##

Arbeitsort ##

Wir bieten ##

• Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten
• Zugang zu Alps, einem der größten KI-fähigen Supercomputer in Europa
• Die Möglichkeit, mit führenden Forschern auf diesem Gebiet zusammenzuarbeiten und sich mit ihnen zu vernetzen
• Zusammenarbeit mit Spitzenforschern und Engineers von der EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen
• Attraktive Beschäftigungsbedingungen und umfassende Zusatzleistungen, einschließlich der Pensionskassen der ETH Zürich/EPFL
• Flexible Arbeitszeitmodelle, einschließlich O