Data Engineer (GCP)

Data Engineer - GCP Data Platform

Durée du contrat : contrat de 6 mois renouvelable
Lieu : Geneva / Hybride (selon les exigences du projet)

Dans le cadre d'un programme de transformation des données d'entreprise en cours, nous recherchons un Data Engineer expérimenté pour soutenir la conception, le développement et l'exploitation d'une plateforme de données moderne basée sur le cloud sur Google Cloud Platform (GCP).

Le consultant collaborera étroitement avec les équipes de données, d'analytique et les équipes métier pour fournir des solutions de données évolutives et fiables qui permettent l'analyse avancée et la prise de décision basée sur les données.

--------------------

Mission & Responsabilités

• Concevoir et mettre en œuvre des architectures de données évolutives et robustes sur Google Cloud Platform, en exploitant principalement BigQuery et Cloud Composer (Airflow).
• Développer et maintenir des pipelines ELT/ETL en garantissant la fiabilité, la capacité de récupération et la performance des flux de données.
• Construire des modèles de données prêts pour l'analyse en utilisant dbt (couches staging, warehouse et mart), incluant la documentation, les tests et les meilleures pratiques.
• Mettre en œuvre et maintenir des pipelines CI/CD dans GitLab, en assurant la qualité du code, les déploiements automatisés et la promotion des environnements.
• Gérer l'Infrastructure as Code (IaC) en utilisant Terraform pour provisionner et maintenir l'infrastructure cloud, les configurations IAM et les environnements répétables.
• Développer des composants Python si nécessaire (jobs d'ingestion de données, utilitaires d'orchestration, contrôles de qualité des données, scripts d'automatisation).
• Soutenir les opérations de production, y compris la surveillance, l'alerte, la résolution d'incidents et l'optimisation des coûts/performances.
• Collaborer avec les Analytics Engineers, les Data Analysts et les parties prenantes métier pour traduire les exigences analytiques en produits de données évolutifs.

--------------------

Environnement Technique

Cloud Platform

• Google Cloud Platform (GCP) : BigQuery, IAM, Composer / Airflow

Data Transformation

• dbt Core, packages/macros, testing frameworks, documentation

DevOps / CI-CD

• GitLab (merge requests, branching strategy, CI pipelines, runners, secrets management)

Infrastructure

• Terraform (modules, environment management, state management)

Development

• Python (data pipelines, APIs, automation, testing)

--------------------

Compétences Requises

• Solide expérience dans la fourniture de solutions d'ingénierie de données sur GCP, particulièrement avec BigQuery et les services associés.
• Excellentes compétences SQL, incluant le réglage des performances, les stratégies de partitioning/clustering et l'optimisation des coûts.
• Expérience pratique avérée avec dbt, incluant la structuration de projet, les macros, les tests, la documentation et les pratiques de déploiement.
• Expérience avec les outils d'orchestration de flux de travail tels que Airflow / Cloud Composer (ou des alternatives comme Dagster ou Prefect).
• Expérience avec GitLab CI/CD et le développement collaboratif utilisant les workflows Git (revues de code, stratégies de branching, releases).
• Expérience pratique avec Terraform pour le provisionnement d'infrastructure et la gestion d'environnements.
• Bonne compréhension des meilleures pratiques IAM dans les environnements cloud (accès au moindre privilège, service accounts, permissions basées sur des groupes).
• Maîtrise de Python pour les cas d'utilisation d'ingénierie de données (pratiques de clean code, tests, intégration d'API).
• Fort état d'esprit production, incluant l'observabilité, la fiabilité et les principes de base de sécurité.

--------------------

Atouts (Nice to Have)

• Expérience avec des outils d'observabilité des données (ex. Monte Carlo) ou des frameworks de monitoring personnalisés.
• Familiarité avec les plateformes d'ingestion de données telles qu'Airbyte ou Fivetran.
• Expérience de travail dans des environnements de plateformes de données modernes soutenant l'analyse avancée ou des initiatives d'IA.