← Alle Stellen

Senior Data Integration Engineer - Snowflake & Apache Iceberg

Coopers Group AG

Anstellung
Vertrag
Pensum
80–100%
Ort
Bern
Sprachen
Englisch, Englisch
Erstmals ausgeschrieben
Jetzt bewerben
  • IT - Software Engineering
  • Bern
  • Contracting
  • Teilzeit, 80-100%
  • ASAP - 3-4 months
  • Snowflake, CDC, Apache

Ihre Aufgaben:

  • Analyse und Bewertung des von TigerData auf Basis von Apache Iceberg bereitgestellten CDC-Ansatzes
  • Definition und Design einer geeigneten Zielarchitektur für die kontinuierliche Datensynchronisation von TigerData zu Snowflake
  • Konfiguration und Optimierung von Snowflake für die Verarbeitung von Daten, die über Apache Iceberg bereitgestellt werden
  • Design und Implementierung der erforderlichen Apache Iceberg-Komponenten und Datenstrukturen
  • Sicherstellung der zuverlässigen Verarbeitung von Inserts, Updates und Deletes
  • Berücksichtigung von Schema Evolution, Datenkonsistenz, Datenlatenz, Recovery und Reconciliation
  • Etablierung von Monitoring-, Logging- und Error-Handling-Mechanismen zur Gewährleistung eines stabilen Produktionsbetriebs
  • Koordination der technischen Aktivitäten mit TigerData und, falls erforderlich, direkt mit Snowflake
  • Unterstützung bei der Implementierung, Validierung und dem Produktionsrollout der End-to-End-Lösung
  • Dokumentation der technischen Architektur und Erleichterung des Wissenstransfers an das interne Team

Ihr Profil:

  • Mehrjährige praktische Erfahrung in der Konzeption und Implementierung von Datenintegrations- und Replikationslösungen
  • Fundierte Kenntnisse in Snowflake, unterstützt durch praktische Projekterfahrung
  • Nachgewiesene praktische Projekterfahrung mit Apache Iceberg
  • Solides Verständnis von Change Data Capture (CDC), Datenreplikation sowie Streaming- oder Synchronisationsmethoden
  • Erfahrung im Aufbau und Betrieb von produktionsreifen CDC- und Datenintegrationsplattformen
  • Kenntnisse in Schema Evolution, Datenkonsistenz, Recovery, Reconciliation, Monitoring und Error Handling
  • Erfahrung in der Integration verschiedener Datenplattformen und beim Aufbau robuster End-to-End-Datenpipelines
  • Fähigkeit, technische Lösungen in Zusammenarbeit mit Softwareanbietern und internen Stakeholdern zu analysieren und voranzutreiben
  • Unabhängige, strukturierte und lösungsorientierte Arbeitsweise
  • Erfahrung mit Fivetran HVR oder vergleichbaren CDC- und Datenreplikationslösungen ist ein Vorteil
  • Erfahrung in der Integration von Time-Series-Datenbanken oder verwandten Datenplattformen ist ein Vorteil
  • Fliessend in Englisch oder Deutsch

Automatisch aus dem Original übersetzt.

Ausgeschrieben vor 1 Woche

Ort

Auf Google Maps ansehen