ETL / Data Engineer – Legacy On-Premises zu Azure Migration

ETL / Data Engineer – Legacy On-Premises zu Azure Migration
Standort: Basel, Schweiz
Unternehmen: Swiss Himmel GmbH
Anstellungsart: Vollzeit
Erfahrung: 12+ Jahre
Bereich: Data Engineering / Data Warehousing / Cloud Migration
Über Swiss Himmel GmbH
Swiss Himmel GmbH ist ein in Basel ansässiges Technologie- und Beratungsunternehmen, das mit führenden Unternehmen zusammenarbeitet, um komplexe Technologie- und Datenplattformen zu modernisieren. Wir kombinieren fundierte Engineering-Expertise mit praktischer Umsetzung, um Datentransformation, Cloud-Migration, Unternehmensanwendungen und digitale Initiativen in regulierten Branchen zu unterstützen.
Über die Rolle
Swiss Himmel GmbH sucht einen erfahrenen ETL / Data Engineer, um die Modernisierung einer Legacy On-Premises Datenplattform zu unterstützen, während diese schrittweise nach Azure migriert wird.
Die Rolle wird sich anfangs auf die Wartung und Erweiterung der bestehenden Informatica PowerCenter, PostgreSQL, Unix und Autosys Umgebung konzentrieren, während sie progressiv zur Migration von Workloads nach Azure Databricks, PySpark und Microsoft Fabric Data Factory beiträgt.
Die Migration erfolgt nach einem phasenweisen Ansatz, wobei Legacy- und Cloud-Plattformen parallel betrieben werden. Der erfolgreiche Kandidat wird dabei helfen, die Stabilität der bestehenden Plattform aufrechtzuerhalten und gleichzeitig Datenmigrations-, Validierungs-, Rekonziliations- und Cloud-Adoptionsaktivitäten zu unterstützen.
Projektübersicht
Aktuelle Umgebung

• Legacy On-Premises Data Warehouse basierend auf Informatica PowerCenter und PostgreSQL.
• Unix Shell Scripting für Automatisierung und Verarbeitung.
• Autosys für Batch-Scheduling und Job-Management.
• Power BI und Tableau für Reporting.
• GitLab CI/CD für Deployment und Versionskontrolle.

Ziel-Umgebung

• Azure-basierte Datenplattform.
• Azure Databricks und PySpark für Cloud-Datenverarbeitung.
• Microsoft Fabric Data Factory für Datenintegration.
• Azure DevOps für Entwicklungs- und Deployment-Aktivitäten.

Migrationsansatz

• Phasenweise Migration von On-Premises nach Azure.
• Legacy- und Cloud-Workloads laufen während des Übergangs parallel.
• Datenvalidierung und Rekonziliation durch Parallelverarbeitung.
• Kontrollierte Production-Releases durch ServiceNow Change Management.

Hauptverantwortlichkeiten
ETL & Data Engineering

• Entwicklung, Wartung und Fehlerbehebung von Informatica PowerCenter Mappings, Workflows und Sessions.
• Entwicklung und Optimierung von komplexem SQL, Funktionen und Stored Procedures in PostgreSQL.
• Erstellung und Wartung von Unix Shell Scripts für die Dateiverarbeitung, Job-Automatisierung und Überwachung.
• Planung, Überwachung und Verwaltung von Batch-Jobs mit Autosys, einschließlich JIL, Abhängigkeiten und Fehlerbehandlung.
• Unterstützung von Datenqualität, Validierung und Rekonziliationsaktivitäten über Quell- und Zielumgebungen hinweg.

Azure Migration

• Unterstützung der Migration bestehender ETL-Workloads von On-Premises-Plattformen nach Azure.
• Entwicklung und Wartung von PySpark-Workloads in Azure Databricks.
• Unterstützung der Datenintegrationsentwicklung mittels Microsoft Fabric Data Factory.
• Validierung migrierter Workloads durch Parallelläufe und Datenrekonziliation.
• Beitrag zur schrittweisen Modernisierung der bestehenden Datenplattform.

CI/CD & Deployment

• Einrichtung und Wartung von GitLab CI/CD Pipelines für Code-Versioning und Deployment.
• Unterstützung von Azure DevOps-basierten Entwicklungs- und Deployment-Aktivitäten.
• Sicherstellung kontrollierter und dokumentierter Deployments über Entwicklungs-, Test- und Produktionsumgebungen hinweg.

Reporting & Data Support

• Unterstützung der Reporting-Teams bei der Datenvalidierung und Fehlerbehebung.
• Unterstützung bei Power BI und/oder Tableau Reporting-Anforderungen.
• Sicherstellung der Datenkonsistenz und -genauigkeit für nachgelagerte Berichte und Business-User.

Production Support & Change Management

• Unterstützung der Produktionsumgebungen und Fehlerbehebung bei daten- und ETL-bezogenen Problemen.
• Durchführung von Root-Cause-Analysen und Implementierung von Korrekturmaßnahmen.
• Erstellung, Verfolgung und Implementierung von Change Requests in ServiceNow.
• Teilnahme an CAB-Genehmigungen, Implementierungsaktivitäten und Post-Implementation-Reviews.
• Unterstützung bei Production Cutovers und Migrationsaktivitäten.
• Aufrechterhaltung der Stabilität der Legacy-Plattform während der gesamten Migration.

Erforderliche Qualifikationen & Erfahrung

• 12+ Jahre Erfahrung in ETL-Entwicklung, Data Engineering oder Data Warehousing.
• Starke praktische Erfahrung mit Informatica PowerCenter.
• Fundierte Kenntnisse in PostgreSQL, einschließlich SQL-Entwicklung und Performance Tuning.
• Starke Erfahrung mit Unix/Linux und Shell Scripting.
• Praktische Erfahrung mit Autosys Job-Scheduling.
• Erfahrung mit GitLab CI/CD und Deployment-Prozessen.
• Erfahrung mit Power BI und/oder Tableau.
• Kenntnisse in PySpark und Azure Databricks.
• Kenntnisse in Microsoft Fabric Data Factory.
• Kenntnisse in Azure DevOps.
• Praktische Erfahrung mit ServiceNow Change Management, einschließlich CR-Erstellung, CAB-Genehmigung, Implementierung und Post-Implementation-Review.
• Erfahrung in der Unterstützung von Produktionsumgebungen und Durchführung von Root-Cause-Analysen.
• Starke analytische Fähigkeiten und Troubleshooting-Kompetenz.

Von Vorteil

• Vorherige Erfahrung mit On-Premises zu Cloud Datenmigration.
• Verständnis von ITIL Incident, Problem und Change Management.
• Microsoft Azure oder Fabric Zertifizierungen wie DP-700, DP-600 oder AZ-900.
• Erfahrung in agilen Umgebungen.
• Erfahrung in der Unterstützung großer Enterprise Data Warehouse Plattformen.

Kernkompetenzen

• ETL und Datenintegration
• Informatica PowerCenter
• PostgreSQL und SQL
• Unix/Linux und Shell Scripting
• Autosys Scheduling
• Azure Databricks und PySpark
• Microsoft Fabric Data Factory
• GitLab CI/CD
• Azure DevOps
• Power BI / Tab