Senior Data Platform Engineer

Cerchiamo un Senior Data Platform Engineer per progettare, costruire e gestire una piattaforma dati scalabile, sicura e governata che supporti carichi di lavoro di sicurezza, audit, operativi e analitici.

Questo ruolo è focalizzato principalmente sull'ingegneria dei dati e sullo sviluppo di piattaforme dati, inclusi l'architettura dei dati, le pipeline di ingestione, la modellazione dei dati, i controlli di qualità, la governance e l'integrazione con piattaforme di analisi e sicurezza. Il candidato ideale avrà una solida esperienza nella progettazione e gestione di piattaforme dati, nella costruzione di pipeline batch e streaming affidabili e nella gestione di grandi volumi di dati strutturati e semi-strutturati.

Il ruolo richiede una stretta collaborazione con i team di sicurezza, infrastruttura e applicativi per fornire dati affidabili e di alta qualità che consentano il monitoraggio, la reportistica, il rilevamento delle minacce, la conformità e gli insight aziendali.

I tuoi compiti chiave

Architettura della Piattaforma Dati

• Progettare ed evolvere architetture di piattaforme dati scalabili per dati di sicurezza, audit, operativi e analitici
• Definire strategie di archiviazione dei dati, schemi, modelli di dati, partizionamento, ritenzione e approcci alla gestione del ciclo di vita
• Valutare e prototipare nuove tecnologie e architetture per migliorare la scalabilità, le prestazioni e l'efficienza dei costi

Data Engineering & Pipeline

• Progettare, costruire e mantenere pipeline di dati batch e streaming
• Sviluppare framework di ingestione robusti per log, dati di audit, eventi applicativi, telemetria di sicurezza e set di dati operativi
• Implementare processi di trasformazione, arricchimento, normalizzazione, correlazione e aggregazione dei dati
• Garantire che le pipeline siano affidabili, scalabili, osservabili e resilienti

Modellazione e Archiviazione dei Dati

• Progettare modelli di dati relazionali, analitici e basati su eventi
• Ottimizzare le strutture dei database, le prestazioni delle query, l'indicizzazione e l'efficienza dell'archiviazione
• Supportare l'implementazione di concetti di data lake, warehouse e lakehouse dove appropriato

Qualità e Governance dei Dati

• Definire e implementare controlli di qualità dei dati attraverso gli strati di ingestione e trasformazione
• Sviluppare controlli di validazione, riconciliazione, deduplicazione e completezza
• Supportare la lineage dei dati, la gestione dei metadati, la proprietà, la ritenzione, l'auditabilità e i requisiti normativi
• Implementare controlli per dati sensibili e regolamentati

Integrazione della Piattaforma e Abilitazione dell'Analisi

• Integrare dati da diverse piattaforme interne ed esterne, applicazioni, database, API e sistemi di messaggistica
• Fornire set di dati curati che supportino la reportistica, l'analisi, l'osservabilità, la conformità e le operazioni di sicurezza
• Supportare l'integrazione con SIEM, monitoraggio e piattaforme di business intelligence
• Collaborare con i team di analisi e reportistica per migliorare l'accessibilità e l'utilizzabilità dei dati

Ingegneria e Automazione

• Sviluppare servizi di data engineering, strumenti e automazione utilizzando Python e SQL
• Contribuire alle pratiche CI/CD per i componenti della piattaforma dati
• Supportare l'automazione dell'infrastruttura dove richiesto, utilizzando Terraform e relativi strumenti
• Mantenere standard di ingegneria, documentazione e procedure operative
• 8+ anni di esperienza in Data Engineering, Data Platform Engineering, Database Engineering o un campo correlato
• Forte competenza SQL, inclusa la progettazione di schemi, modellazione dei dati, ottimizzazione delle query, indicizzazione e tuning delle prestazioni
• Esperienza nella progettazione e gestione di pipeline di dati batch e/o streaming di livello produzione
• Esperienza con piattaforme dati su larga scala e architetture di dati analitici
• Ottima padronanza di Python e SQL
• Esperienza nell'integrazione di dati da molteplici fonti, piattaforme, API e flussi di eventi
• Forte comprensione della qualità dei dati, dell'evoluzione degli schemi, della lineage, della governance e della gestione del ciclo di vita
• Esperienza con database relazionali e tecnologie di archiviazione analitica
• Familiarità con i concetti di CI/CD e con le pratiche di sviluppo basate su Git
• Forti capacità analitiche, di problem-solving e di risoluzione dei problemi
• Esperienza di lavoro con dati sensibili, rilevanti per la sicurezza o regolamentati

Qualifiche Preferite

• Esperienza con Kafka o altre tecnologie di streaming e messaggistica
• Amministrazione pratica e sviluppo di query di ricerca con Splunk (SPL) o stack SIEM/osservabilità alternativi (Elasticsearch/Logstash/Kibana, Datadog)
• Esperienza con moderne tecnologie di piattaforma dati come Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark o Parquet
• Esperienza con architetture data lakehouse
• Esperienza nell'implementazione di framework di qualità dei dati e controlli di governance dei dati
• Familiarità con soluzioni di catalogazione dei dati, lineage e gestione dei metadati
• Esperienza nell'integrazione di piattaforme dati con strumenti di analisi come Apache Superset, Power BI, Tableau o Metabase
• Esperienza nei settori bancario, fintech, cybersecurity o altre industrie regolamentate
• Conoscenza operativa di Terraform e piattaforme dati basate su cloud

Sarebbe un vero bonus se avessi

• Elaborazione di telemetria di sicurezza ed eventi di audit
• Integrazioni SIEM e osservabilità
• Set di dati per la conformità e la reportistica normativa
• Architetture di piattaforma dati pronte per AI/ML
• Analisi in tempo reale e architetture guidate dagli eventi

Ci rendiamo conto che gestire l'equilibrio tra vita lavorativa e privata è una sfida che affrontiamo tutti quotidianamente e, per supportare questo, siamo lieti di offrire il lavoro ibrido e flessibile alla maggior parte dei nostri Avaloqers per mante