Senior Data Integration Engineer - Snowflake & Apache Iceberg
- Anstellung
- Vertrag
- Pensum
- 80–100%
- Ort
- Bern
- Sprachen
- Englisch, Englisch
- Erstmals ausgeschrieben
- IT - Software Engineering
- Bern
- Contracting
- Teilzeit, 80-100%
- ASAP - 3-4 months
- Snowflake, CDC, Apache
Ihre Aufgaben:
- Analyse und Bewertung des von TigerData auf Basis von Apache Iceberg bereitgestellten CDC-Ansatzes
- Definition und Design einer geeigneten Zielarchitektur für die kontinuierliche Datensynchronisation von TigerData zu Snowflake
- Konfiguration und Optimierung von Snowflake für die Verarbeitung von Daten, die über Apache Iceberg bereitgestellt werden
- Design und Implementierung der erforderlichen Apache Iceberg-Komponenten und Datenstrukturen
- Sicherstellung der zuverlässigen Verarbeitung von Inserts, Updates und Deletes
- Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
- Etablierung von Monitoring-, Logging- und Error-Handling-Mechanismen zur Gewährleistung eines stabilen Produktionsbetriebs
- Koordination der technischen Aktivitäten mit TigerData und, falls erforderlich, direkt mit Snowflake
- Unterstützung bei der Implementierung, Validierung und dem Produktionsrollout der End-to-End-Lösung
- Dokumentation der technischen Architektur und Erleichterung des Wissenstransfers an das interne Team
Ihr Profil:
- Mehrjährige praktische Erfahrung in der Konzeption und Implementierung von Datenintegrations- und Replikationslösungen
- Fundierte Kenntnisse in Snowflake, unterstützt durch praktische Projekterfahrung
- Nachgewiesene praktische Projekterfahrung mit Apache Iceberg
- Solides Verständnis von Change Data Capture (CDC), Datenreplikation sowie Streaming- oder Synchronisationsmethoden
- Erfahrung im Aufbau und Betrieb von produktionsreifen CDC- und Datenintegrationsplattformen
- Kenntnisse in Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Error Handling
- Erfahrung in der Integration verschiedener Datenplattformen und beim Aufbau robuster End-to-End-Datenpipelines
- Fähigkeit, technische Lösungen in Zusammenarbeit mit Softwareanbietern und internen Stakeholdern zu analysieren und voranzutreiben
- Unabhängige, strukturierte und lösungsorientierte Arbeitsweise
- Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen ist ein Vorteil
- Erfahrung in der Integration von Time-Series-Datenbanken oder verwandten Datenplattformen ist ein Vorteil
- Fliessend in Englisch oder Deutsch
Automatisch aus dem Original übersetzt.
Ausgeschrieben vor 1 Woche