Senior Data Platform Engineer

Ein wenig zur Rolle ##

Wir suchen einen Senior Data Platform Engineer, um eine skalierbare, sichere und kontrollierte Datenplattform zu entwerfen, aufzubauen und zu betreiben, die Security-, Audit-, Operational- und Analytics-Workloads unterstützt.

Diese Rolle konzentriert sich primär auf Data Engineering und die Entwicklung von Datenplattformen, einschließlich Datenarchitektur, Ingestion-Pipelines, Datenmodellierung, Qualitätskontrollen, Governance und der Integration mit Analytics- und Security-Plattformen. Der ideale Kandidat verfügt über fundierte Erfahrung im Entwurf und Betrieb von Datenplattformen, im Aufbau zuverlässiger Batch- und Streaming-Pipelines und in der Verwaltung großer Mengen strukturierter und semistrukturierter Daten.

Die Rolle erfordert eine enge Zusammenarbeit mit Security-, Infrastruktur- und Anwendungsteams, um vertrauenswürdige, hochwertige Daten bereitzustellen, die Monitoring, Reporting, Bedrohungserkennung, Compliance und Business Insights ermöglichen.

Ihre Hauptaufgaben

Data Platform Architecture

• Entwurf und Weiterentwicklung skalierbarer Datenplattform-Architekturen für Security-, Audit-, Operational- und Analytics-Daten
• Definition von Datenspeicherstrategien, Schemata, Datenmodellen, Partitionierung, Retention und Lifecycle-Management-Ansätzen
• Evaluierung und Prototyping neuer Technologien und Architekturen zur Verbesserung von Skalierbarkeit, Leistung und Kosteneffizienz

Data Engineering & Pipelines

• Entwurf, Aufbau und Wartung von Batch- und Streaming-Datenpipelines
• Entwicklung robuster Ingestion-Frameworks für Logs, Audit-Daten, Anwendungsevents, Security-Telemetrie und operationale Datensätze
• Implementierung von Prozessen zur Datentransformation, Anreicherung, Normalisierung, Korrelation und Aggregation
• Sicherstellung, dass Pipelines zuverlässig, skalierbar, beobachtbar und resilient sind

Data Modeling & Storage

• Entwurf von relationalen, analytischen und ereignisbasierten Datenmodellen
• Optimierung von Datenbankstrukturen, Abfrageleistung, Indizierung und Speichereffizienz
• Unterstützung der Implementierung von Data Lake, Warehouse und Lakehouse-Konzepten, wo angemessen

Data Quality & Governance

• Definition und Implementierung von Datenqualitätskontrollen über Ingestion- und Transformationsschichten hinweg
• Entwicklung von Validierungs-, Abgleichs-, Deduplizierungs- und Vollständigkeitsprüfungen
• Unterstützung von Data Lineage, Metadatenmanagement, Ownership, Retention, Auditierbarkeit und regulatorischen Anforderungen
• Implementierung von Kontrollen für sensible und regulierte Daten

Platform Integration & Analytics Enablement

• Integration von Daten aus verschiedenen internen und externen Plattformen, Anwendungen, Datenbanken, APIs und Messaging-Systemen
• Bereitstellung kuratierter Datensätze, die Reporting, Analytics, Observability, Compliance und Security Operations unterstützen
• Unterstützung der Integration mit SIEM, Monitoring- und Business Intelligence Plattformen
• Zusammenarbeit mit Analytics- und Reporting-Teams zur Verbesserung der Datenzugänglichkeit und Nutzbarkeit

Engineering & Automation

• Entwicklung von Data Engineering Services, Tooling und Automatisierung unter Verwendung von Python und SQL
• Beitrag zu CI/CD-Praktiken für Datenplattform-Komponenten
• Unterstützung der Infrastrukturautomatisierung, wo erforderlich, unter Verwendung von Terraform und zugehörigem Tooling
• Aufrechterhaltung von Engineering-Standards, Dokumentation und operativen Verfahren

Ein wenig zu Ihnen ##

• 8+ Jahre Erfahrung in Data Engineering, Data Platform Engineering, Database Engineering oder einem verwandten Bereich
• Fundierte SQL-Expertise, einschließlich Schema-Design, Datenmodellierung, Abfrageoptimierung, Indizierung und Performance-Tuning
• Erfahrung im Entwurf und Betrieb von produktionsreifen Batch- und/oder Streaming-Datenpipelines
• Erfahrung mit groß angelegten Datenplattformen und analytischen Datenarchitekturen
• Hohe Kompetenz in Python und SQL
• Erfahrung in der Integration von Daten aus mehreren Quellen, Plattformen, APIs und Event-Streams
• Tiefes Verständnis von Datenqualität, Schema-Evolution, Lineage, Governance und Lifecycle-Management
• Erfahrung mit relationalen Datenbanken und analytischen Speichertechnologien
• Vertrautheit mit CI/CD-Konzepten und Git-basierten Entwicklungspraktiken
• Starke analytische Fähigkeiten, Problemlösungskompetenz und Troubleshooting-Skills
• Erfahrung in der Arbeit mit sensiblen, sicherheitsrelevanten oder regulierten Daten

Bevorzugte Qualifikationen

• Erfahrung mit Kafka oder anderen Streaming- und Messaging-Technologien
• Praktische Administration und Entwicklung von Suchabfragen mit Splunk (SPL) oder alternativen SIEM/Observability-Stacks (Elasticsearch/Logstash/Kibana, Datadog)
• Erfahrung mit modernen Datenplattform-Technologien wie Apache Iceberg, Delta Lake, Apache Hudi, Trino, Spark oder Parquet
• Erfahrung mit Data Lakehouse-Architekturen
• Erfahrung bei der Implementierung von Datenqualitäts-Frameworks und Data-Governance-Kontrollen
• Vertrautheit mit Lösungen für Data Cataloging, Lineage und Metadatenmanagement
• Erfahrung in der Integration von Datenplattformen mit Analytics-Tools wie Apache Superset, Power BI, Tableau oder Metabase
• Erfahrung im Bankwesen, Fintech, Cybersecurity oder anderen regulierten Branchen
• Fundierte Kenntnisse in Terraform und cloudbasierten Datenplattformen

Es wäre ein echter Bonus, wenn Sie Erfahrung haben mit

• Security-Telemetrie und der Verarbeitung von Audit-Events
• SIEM- und Observability-Integrationen
• Compliance- und regulatorischen Reporting-Datensätzen
• AI/ML-bereiten Datenplattform-Architekturen
• Echtzeit-Analytics und ereignisgesteuerten Architekturen

Zusätzliche Informationen ##

Wir wissen, dass die Vereinbarkeit von Beruf und Privatleben eine Herausforderung ist, vor der wir alle in unserem täglichen Leben stehen, und um dies zu unterstützen, freuen wir uns, den meisten unserer Avaloqers hybrides und fl