Senior Data Platform Engineer

Nous recherchons un Senior Data Platform Engineer pour concevoir, construire et exploiter une plateforme de données évolutive, sécurisée et gouvernée, prenant en charge les charges de travail de sécurité, d'audit, d'exploitation et d'analyse.

Ce rôle est principalement axé sur l'ingénierie des données et le développement de plateformes de données, incluant l'architecture de données, les pipelines d'ingestion, la modélisation des données, les contrôles de qualité, la gouvernance et l'intégration avec les plateformes d'analyse et de sécurité. Le candidat retenu possédera une solide expérience dans la conception et l'exploitation de plateformes de données, la construction de pipelines batch et de streaming fiables, et la gestion de volumes importants de données structurées et semi-structurées.

Le rôle nécessite une collaboration étroite avec les équipes de sécurité, d'infrastructure et d'applications pour fournir des données de confiance et de haute qualité qui permettent la surveillance, le reporting, la détection des menaces, la conformité et les informations commerciales.

Vos tâches clés

Architecture de la plateforme de données

• Concevoir et faire évoluer des architectures de plateforme de données évolutives pour les données de sécurité, d'audit, d'exploitation et d'analyse
• Définir les stratégies de stockage de données, les schémas, les modèles de données, le partitionnement, la rétention et les approches de gestion du cycle de vie
• Évaluer et prototyper de nouvelles technologies et architectures pour améliorer l'évolutivité, la performance et l'efficacité des coûts

Ingénierie des données et pipelines

• Concevoir, construire et maintenir des pipelines de données batch et de streaming
• Développer des frameworks d'ingestion robustes pour les logs, les données d'audit, les événements d'application, la télémétrie de sécurité et les ensembles de données opérationnelles
• Implémenter des processus de transformation, d'enrichissement, de normalisation, de corrélation et d'agrégation des données
• Garantir que les pipelines sont fiables, évolutifs, observables et résilients

Modélisation et stockage des données

• Concevoir des modèles de données relationnels, analytiques et basés sur les événements
• Optimiser les structures de base de données, la performance des requêtes, l'indexation et l'efficacité du stockage
• Soutenir la mise en œuvre des concepts de data lake, warehouse et lakehouse le cas échéant

Qualité et gouvernance des données

• Définir et implémenter des contrôles de qualité des données à travers les couches d'ingestion et de transformation
• Développer des contrôles de validation, de réconciliation, de déduplication et de complétude
• Soutenir le lignage des données (data lineage), la gestion des métadonnées, la propriété, la rétention, l'auditabilité et les exigences réglementaires
• Implémenter des contrôles pour les données sensibles et réglementées

Intégration de la plateforme et activation de l'analyse

• Intégrer des données provenant de diverses plateformes internes et externes, applications, bases de données, API et systèmes de messagerie
• Fournir des ensembles de données organisés qui soutiennent le reporting, l'analyse, l'observabilité, la conformité et les opérations de sécurité
• Soutenir l'intégration avec les plateformes SIEM, de surveillance et de business intelligence
• Collaborer avec les équipes d'analyse et de reporting pour améliorer l'accessibilité et l'utilisabilité des données

Ingénierie et automatisation

• Développer des services d'ingénierie de données, des outils et de l'automatisation en utilisant Python et SQL
• Contribuer aux pratiques CI/CD pour les composants de la plateforme de données
• Soutenir l'automatisation de l'infrastructure si nécessaire, en utilisant Terraform et les outils associés
• Maintenir les standards d'ingénierie, la documentation et les procédures opérationnelles
• 8+ années d'expérience en Data Engineering, Data Platform Engineering, Database Engineering, ou un domaine connexe
• Forte expertise SQL, incluant la conception de schémas, la modélisation de données, l'optimisation de requêtes, l'indexation et le réglage des performances
• Expérience dans la conception et l'exploitation de pipelines de données batch et/ou de streaming de qualité production
• Expérience avec les plateformes de données à grande échelle et les architectures de données analytiques
• Maîtrise approfondie de Python et SQL
• Expérience de l'intégration de données provenant de multiples sources, plateformes, API et flux d'événements
• Forte compréhension de la qualité des données, de l'évolution des schémas, du lignage, de la gouvernance et de la gestion du cycle de vie
• Expérience avec les bases de données relationnelles et les technologies de stockage analytique
• Familiarité avec les concepts CI/CD et les pratiques de développement basées sur Git
• Fortes capacités d'analyse, de résolution de problèmes et de dépannage
• Expérience de travail avec des données sensibles, liées à la sécurité ou réglementées

Qualifications préférentielles

• Expérience avec Kafka ou d'autres technologies de streaming et de messagerie
• Administration pratique et développement de requêtes de recherche avec Splunk (SPL) ou des piles SIEM/observabilité alternatives (Elasticsearch/Logstash/Kibana, Datadog)
• Expérience avec les technologies de plateforme de données modernes telles qu'Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark ou Parquet
• Expérience avec les architectures de data lakehouse
• Expérience dans l'implémentation de frameworks de qualité des données et de contrôles de gouvernance des données
• Familiarité avec les solutions de catalogage de données, de lignage et de gestion des métadonnées
• Expérience de l'intégration de plateformes de données avec des outils d'analyse tels qu'Apache Superset, Power BI, Tableau, ou Metabase
• Expérience dans le secteur bancaire, la fintech, la cybersécurité ou d'autres industries réglementées
• Connaiss