Senior Storage & Data Engineer

• 23 luglio 2026 • 80 - 100% • Durata indeterminata • Rämistrasse 101, 8006 Zürich • Accedi per vedere la stima salariale di jobup.ch Senior Storage & Data Engineer # Il Swiss National Supercomputing Centre (CSCS) sviluppa e gestisce un'infrastruttura di calcolo ad alte prestazioni e di ricerca dati che supporta la scienza di classe mondiale in Svizzera. Il suo laboratorio utenti è disponibile per ricercatori nazionali e internazionali nell'accademia, nell'industria e nel settore commerciale. Il centro è gestito dall'ETH Zurich e ha uffici presso il suo data centre a Lugano e a Zurigo. Per questa posizione il luogo di lavoro è o Lugano o Zürich. Il contratto è di due anni. Contesto del progetto ## Memorizzare petabyte è la parte facile. La parte difficile è tutto ciò che accade tra il momento in cui i dati arrivano sul disco e il momento in cui un ricercatore - o un job di addestramento - può effettivamente fidarsi di essi, trovarli e usarli. I nostri file system paralleli e gli object store spostano già i dati velocemente. Ciò che non fanno da soli è dire a uno scienziato da dove provenga un dataset, quali trasformazioni lo abbiano prodotto, se sia la versione che ha supportato il risultato pubblicato l'ultimo trimestre, o come fornirlo a un DataLoader senza saturare il sottosistema di I/O. Quel divario - tra byte grezzi e dati utilizzabili, tracciabili e riproducibili - è dove risiede questo ruolo. Lavorerai su entrambi i fronti: lo strato di storage (throughput, integrità, tiering su scala multi-petabyte) e lo strato dati sovrastante (lineage, provenienza, scopribilità, pattern di accesso). Se ti è mai infastidito dal fatto che *"i dati sono sul cluster"* venga trattato come la fine del lavoro piuttosto che come l'inizio, continua a leggere. Descrizione del lavoro ## • Unire ingestione e utilizzo. Progettare le pipeline e i metadati che trasformano i dati ingeriti in qualcosa di reperibile e consumabile - cataloghi, schemi e strati di accesso che corrispondano a come i job di addestramento e le simulazioni leggono effettivamente, non solo dove risiedono i byte. • Rendere i dati tracciabili. Costruire lineage e provenienza in modo che qualsiasi dataset, checkpoint o risultato possa essere ricondotto ai suoi input e alle sue trasformazioni. La riproducibilità è un requisito di prima classe qui, non un'aggiunta successiva. • Ottimizzare per il carico di lavoro. Ottimizzare i file system paralleli (Lustre, GPFS) e l'object storage per la concorrenza, i pattern di piccoli file e i grandi checkpoint dell'addestramento distribuito su GPU e della simulazione HPC. • Operare su scala, in sicurezza. Progettare e gestire lo storage multi-petabyte con l'integrità e la disponibilità da cui dipende il lavoro scientifico - erasure coding, ridondanza, tiering da hot ad archival. • Automatizzare tutto. Implementare e scalare servizi di storage e dati come codice. L'infrastruttura Snowflake non sopravvive a questa scala. • Renderlo osservabile. Monitorare lo stato dello storage, le tendenze della capacità e le prestazioni delle pipeline in modo che i problemi emergano prima che gli utenti li percepiscano. • Tradurre. Trasformare i reali pattern di accesso degli scienziati di dominio e degli ingegneri ML in requisiti tecnici - e opporsi quando una richiesta comprometterebbe silenziosamente qualcosa a valle. Per un progetto nel dominio del tempo e del clima, volto a comprendere e mitigare l'impatto del cambiamento climatico, è disponibile una posizione per due anni. Il contratto iniziale di due anni potrebbe potenzialmente essere esteso o addirittura diventare permanente. Profilo ## • Una laurea tecnica (CS, ingegneria) o esperienza equivalente che dimostri la stessa profondità. • Solide basi di storage: file system (block e object), ottimizzazione delle prestazioni, ridondanza (RAID, erasure coding). • Python, e dimestichezza nell'automazione dell'infrastruttura (Ansible, Terraform o simili). • Una comprensione operativa di come i carichi di lavoro ML e scientifici consumano i dati - miliardi di piccoli file, grandi checkpoint, sharding - e perché i layout ingenui falliscono. • Un punto di vista sul data lineage, sulla provenienza o sulla riproducibilità - e idealmente gli strumenti che hai usato per applicarli. Cosa ti aiuta a distinguerti • Esperienza pratica con file system paralleli (Lustre, Spectrum Scale/GPFS) o storage distribuito (Ceph, VAST). • Formati di dati scientifici - HDF5, Zarr, Parquet - e opinioni su quando ognuno meriti il suo posto. • Object storage (S3) interfacciato con framework ML (PyTorch, TensorFlow). • Orchestrazione (Kubernetes, Argo) e strumenti di movimento dati. • Versionamento / catalogazione dei dati (ad es. DVC, lakeFS, un catalogo di metadati) e familiarità con i principi FAIR data. • CI/CD e provisioning: GitLab CI, HashiCorp Vault, MAAS. Non ci aspettiamo che ogni casella sia spuntata. La profondità nell'ingegneria dello storage *o* dei dati, unita alla curiosità di crescere nell'altro, conta più di una checklist completa. Cosa ottieni • Hardware e scala che non troverai nell'IT aziendale - e problemi senza un manuale del fornitore. • Un lavoro che abilita direttamente la scienza pubblicata e l'addestramento di modelli su scala di frontiera. • Spazio per dare forma a come i dati vengono *gestiti*, non solo mantenuti, in un ambiente che lo prende sul serio. I nostri valori fondamentali come principi guida: • Curiosità: Ti piace imparare e comprendere i sistemi in profondità • Apertura: Collabori efficacemente e dai valore a diverse prospettive • Coraggio: Sei disposto ad affrontare problemi difficili o sconosciuti • Supporto: Aiuti colleghi e utenti ad avere successo • Integrità: Agisci in modo responsabile, affidabile e trasparente Offriamo ## Ci impegniamo a costruire un team di ingegneria diversificato e inclusivo e incoraggiamo particolarmente le candidature da gruppi sottorappresentati nel settore tech. Se sei tecnicamente esperto, curioso