Data Engineer - GCP Data Platform

Durée du contrat : contrat de 6 mois renouvelable
Lieu : Genève

Pour le compte de notre client, nous recherchons un Data Engineer expérimenté pour concevoir, développer et maintenir des solutions de données robustes et évolutives sur Google Cloud Platform.

La date de début est idéalement prévue pour janvier ou février 2027.

Vos responsabilités ###

Vous serez responsable de :

• Concevoir et mettre en œuvre des architectures de données évolutives sur GCP, principalement en utilisant BigQuery et Cloud Composer.
• Développer et maintenir des pipelines ELT/ETL fiables et récupérables.
• Construire des modèles de données prêts pour l'analyse avec dbt, incluant les couches staging, warehouse et mart.
• Mettre en œuvre la documentation des données, les tests et les contrôles de qualité.
• Configurer et maintenir des processus CI/CD avec GitLab, incluant les quality gates et la promotion entre les environnements.
• Gérer l'infrastructure cloud avec Terraform, incluant les ressources cloud, les permissions IAM et les dépendances réseau pertinentes.
• Développer des composants Python pour l'ingestion de données, l'orchestration, les contrôles de qualité des données et l'automatisation.
• Assumer la responsabilité des opérations de production, incluant la surveillance, l'alerte, la réponse aux incidents, la gestion des coûts et l'optimisation des performances.
• Travailler en étroite collaboration avec les Analytics Engineers, les AI Engineers et les parties prenantes métier pour traduire les exigences en produits de données robustes.

Environnement technique ###

• GCP : BigQuery, IAM, Cloud Composer et Airflow
• dbt : dbt Core, packages, macros, tests, documentation et exposures
• GitLab : merge requests, branching strategies, CI/CD pipelines, runners et secrets management
• Terraform : modules, workspaces, environments et state management
• Python : data pipelines, APIs, automation et testing
• SQL : data modelling, performance tuning, partitioning, clustering et cost optimisation

Votre profil ###

Vous avez :

• Une expérience avérée dans la fourniture de solutions de data engineering sur GCP, particulièrement avec BigQuery et les services associés.
• De solides compétences en SQL, incluant la modélisation de données, l'optimisation des performances, le partitioning et le clustering.
• Une expérience solide avec dbt, incluant la structure de projet, les macros, les tests, la documentation et les pratiques de déploiement.
• Une expérience avec un outil d'orchestration tel qu'Airflow, Cloud Composer, Dagster ou Prefect.
• Une expérience avec GitLab CI/CD et la collaboration basée sur Git, incluant les code reviews, les branching strategies et les releases.
• Une expérience pratique avec Terraform, incluant l'écriture ou l'utilisation de modules et la gestion de multiples environnements.
• Une bonne compréhension des principes IAM, de l'accès au moindre privilège, des permissions basées sur les groupes et des service accounts.
• Une bonne maîtrise de Python, avec un accent sur le clean code, le packaging de base, le testing et l'intégration d'API.
• Un fort état d'esprit orienté production, avec un accent sur l'observabilité, la fiabilité, la sécurité et la maintenabilité.

Atouts ###

Les éléments suivants seraient un avantage :

• Expérience avec des outils d'observabilité des données tels que Monte Carlo, ou avec des solutions de monitoring personnalisées.
• Familiarité avec les outils d'intégration de données tels qu'Airbyte ou Fivetran.