Senior Data Integration Engineer - Snowflake & Apache Iceberg
- Tipo di contratto
- Contratto
- Percentuale
- 80–100%
- Luogo
- Bern
- Lingue
- Inglese, Inglese
- Prima pubblicazione
- IT - Software Engineering
- Bern
- Contracting
- Teilzeit, 80-100%
- ASAP - 3-4 months
- Snowflake, CDC, Apache
I vostri compiti:
- Analizzare e valutare l'approccio CDC fornito da TigerData basato su Apache Iceberg
- Definire e progettare un'architettura target adeguata per la sincronizzazione continua dei dati da TigerData a Snowflake
- Configurare e ottimizzare Snowflake per l'elaborazione dei dati forniti tramite Apache Iceberg
- Progettare e implementare i componenti e le strutture dati Apache Iceberg richiesti
- Garantire l'elaborazione affidabile di inserimenti, aggiornamenti ed eliminazioni
- Gestire l'evoluzione dello schema, la coerenza dei dati, la latenza dei dati, il ripristino e la riconciliazione
- Stabilire meccanismi di monitoraggio, logging e gestione degli errori per garantire operazioni di produzione stabili
- Coordinare le attività tecniche con TigerData e, dove richiesto, direttamente con Snowflake
- Supportare l'implementazione, la validazione e il rollout in produzione della soluzione end-to-end
- Documentare l'architettura tecnica e facilitare il trasferimento di conoscenze al team interno
Il vostro profilo:
- Diversi anni di esperienza pratica nella progettazione e implementazione di soluzioni di integrazione e replicazione dei dati
- Forte conoscenza di Snowflake, supportata da esperienza pratica in progetti
- Comprovata esperienza pratica in progetti con Apache Iceberg
- Solida comprensione di Change Data Capture (CDC), replicazione dei dati e metodi di streaming o sincronizzazione
- Esperienza nella costruzione e gestione di piattaforme CDC e di integrazione dati pronte per la produzione
- Conoscenza dell'evoluzione dello schema, della coerenza dei dati, del ripristino, della riconciliazione, del monitoraggio e della gestione degli errori
- Esperienza nell'integrazione di diverse piattaforme dati e nella costruzione di pipeline dati end-to-end robuste
- Capacità di analizzare e guidare soluzioni tecniche in collaborazione con fornitori di software e stakeholder interni
- Approccio al lavoro indipendente, strutturato e orientato alla soluzione
- L'esperienza con Fivetran HVR o soluzioni comparabili di CDC e replicazione dati è un vantaggio
- L'esperienza nell'integrazione di database time-series o piattaforme dati correlate è un vantaggio
- Fluente in Englisch o German
Tradotto automaticamente dall’originale.
Pubblicato 1 settimana fa