Senior Data Integration Engineer - Snowflake & Apache Iceberg
- Type de contrat
- Contrat
- Taux d’occupation
- 80–100%
- Lieu
- Bern
- Langues
- Anglais, Anglais
- Première publication
- IT - Software Engineering
- Bern
- Contracting
- Teilzeit, 80-100%
- ASAP - 3-4 months
- Snowflake, CDC, Apache
Vos tâches :
- Analyser et évaluer l'approche CDC fournie par TigerData basée sur Apache Iceberg
- Définir et concevoir une architecture cible appropriée pour la synchronisation continue des données de TigerData vers Snowflake
- Configurer et optimiser Snowflake pour le traitement des données fournies via Apache Iceberg
- Concevoir et implémenter les composants et structures de données Apache Iceberg requis
- Assurer le traitement fiable des insertions, mises à jour et suppressions
- Traiter l'évolution du schéma, la cohérence des données, la latence des données, la récupération et la réconciliation
- Établir des mécanismes de surveillance, de journalisation et de gestion des erreurs pour garantir des opérations de production stables
- Coordonner les activités techniques avec TigerData et, si nécessaire, directement avec Snowflake
- Soutenir l'implémentation, la validation et le déploiement en production de la solution de bout en bout
- Documenter l'architecture technique et faciliter le transfert de connaissances à l'équipe interne
Votre profil :
- Plusieurs années d'expérience pratique dans la conception et l'implémentation de solutions d'intégration et de réplication de données
- Solides connaissances de Snowflake, appuyées par une expérience de projet pratique
- Expérience de projet pratique prouvée avec Apache Iceberg
- Compréhension solide du Change Data Capture (CDC), de la réplication de données et des méthodes de streaming ou de synchronisation
- Expérience dans la construction et l'exploitation de plateformes de CDC et d'intégration de données prêtes pour la production
- Connaissance de l'évolution du schéma, de la cohérence des données, de la récupération, de la réconciliation, de la surveillance et de la gestion des erreurs
- Expérience dans l'intégration de différentes plateformes de données et la construction de pipelines de données de bout en bout robustes
- Capacité à analyser et à piloter des solutions techniques en collaboration avec des éditeurs de logiciels et des parties prenantes internes
- Approche de travail indépendante, structurée et orientée solution
- L'expérience avec Fivetran HVR ou des solutions de CDC et de réplication de données comparables est un avantage
- L'expérience de l'intégration de bases de données de séries chronologiques ou de plateformes de données connexes est un avantage
- Maîtrise de l'Englisch ou de l'Allemand
Traduit automatiquement depuis l’original.
Publié il y a 1 semaine