Apertus Engineer: Deployment

Apertus Engineer: Deployment # 100%, Zurich, fixed-term #### print Drucken  Cerchiamo un ingegnere esperto che si occupi del percorso di rilascio tecnico dei modelli Apertus. Il candidato ideale integrerà Apertus nell'ecosistema di inferenza open-source, produrrà varianti quantizzate e si assicurerà che ogni rilascio funzioni immediatamente (out of the box) per la community. Questo ruolo richiede forti competenze in Python e software engineering, esperienza con gli stack di inferenza LLM e una comprovata esperienza di contributi open-source. Background del progetto ## Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'IA in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano accanto a ricercatori leader di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5 e lavora con oltre trenta collaboratori accademici per fornire modelli AI completamente open (open source), addestrati responsabilmente, multilingue e multimodali per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre (CSCS). Questo ruolo si colloca all'interfaccia tra il team di addestramento e la community open-source: l'aspetto sociale dell'impegno con la community è gestito dal nostro community manager, mentre questo ruolo gestisce il percorso di rilascio tecnico. Descrizione del lavoro ## L'ingegnere farà sì che i rilasci di Apertus funzionino immediatamente attraverso l'ecosistema LLM open-source, dall'inferenza di livello server al deployment personale. Integrazione upstream e release engineering • Gestire il percorso di rilascio tecnico dei modelli Apertus addestrati: conversione dei checkpoint e preparazione degli artefatti di rilascio (pesi, configurazioni, tokenizer, model cards) insieme al team di addestramento • Implementare e fornire supporto upstream per le architetture dei modelli Apertus in librerie della community come Hugging Face Transformers, vLLM, SGLang e llama.cpp, e guidare questi contributi attraverso la revisione in modo che il supporto della community sia garantito • Verificare la compatibilità day-0 dei nuovi rilasci con i principali motori di inferenza e formati di modello • Coordinare la tempistica dei rilasci e i materiali tecnici con il community manager Quantizzazione • Produrre varianti quantizzate dei modelli rilasciati (es. FP8, INT4/AWQ/GPTQ, GGUF) adatte al deployment server e personale • Validare le varianti quantizzate rispetto ai benchmark di valutazione per garantire la conservazione della qualità Documentazione ed esempi • Fornire script di esempio e configurazioni di riferimento che mostrino come servire e utilizzare i modelli Apertus con vLLM, SGLang e Transformers • Supportare gli ecosistemi di deployment personali e locali come LM Studio, Ollama e llama.cpp • Mantenere la documentazione di deployment e le guide alla risoluzione dei problemi per la community Profilo ## Essenziale • MSc o PhD in Informatica, Data Science, Intelligenza Artificiale, Machine Learning o un campo correlato  • Saranno presi in considerazione anche candidati BSc eccezionali con una forte esperienza ingegneristica • Forti competenze in Python e software engineering, inclusa l'esperienza con i workflow di contribuzione open-source (pull requests, code review, CI) • Esperienza con stack di inferenza LLM come Hugging Face Transformers, vLLM o SGLang • Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca, ingegneria e team orientati alla community • È richiesta una precedente esperienza pratica nei domini principali di questo ruolo  • Questa può essere un'esperienza basata su progetti o studi; l'esperienza lavorativa formale è preferibile • Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione • Una comprovata esperienza di contributi approvati in librerie ML o di inferenza (es. Transformers, vLLM, SGLang, llama.cpp) Fortemente preferito • Esperienza nella conversione di modelli tra formati e framework (es. checkpoint Megatron-LM, safetensors, GGUF) • Familiarità con strumenti di deployment personali e locali come LM Studio, Ollama o llama.cpp • Esperienza nella scrittura di documentazione per sviluppatori e codice di esempio Plus • Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate recentemente su questi argomenti • Esperienza nella quantizzazione di modelli senza degradazione delle prestazioni (FP8, INT4, AWQ, GPTQ) e nella valutazione di modelli quantizzati • Esperienza con harness di valutazione LLM e pipeline di benchmark • Familiarità con il tuning delle prestazioni di inferenza GPU e il serving su scala • Esperienza con Apple Silicon / MLX o altri target di inferenza su hardware consumer Luogo di lavoro ## Luogo di lavoro ## Offriamo ## • Un ambiente accademico stimolante in una delle università tecniche leader al mondo • Accesso ad Alps, uno dei più grandi supercomputer pronti per l'IA in Europa • L'opportunità di lavorare accanto e incrociare percorsi con ricercatori leader nel campo • Collaborazione con i migliori ricercatori e ingegneri di EPFL, ETH Zürich, CSCS e altre istituzioni svizzere • Condizioni di impiego attraenti e benefit completi, inclusi i piani pensionistici ETH Zürich/EPFL • Modalità di lavoro flessibili, incluse opzioni di lavoro remoto • Opportunità di sviluppo professionale, inclusa la partecipazione a conferenze e formazione specializzata • La possibilità di contribuire a progetti open-source con impatto globale • Far parte dello sviluppo della sovranità dell'IA in Svizzera, lavorando su tecnologie di rilevanza nazionale • Il ruolo può avere sede sia a Losanna presso EPFL che a Zurigo presso ETH Zürich chevron\_right Lavorare, insegnare e