Senior Data Engineer

SENIOR DATA ENGINEER ÜBER KEYROCK Seit unseren Anfängen im Jahr 2017 sind wir zu einem führenden Innovator im digitalen Vermögensraum herangewachsen, der für seine Partnerschaften und Innovationen bekannt ist. Heute arbeiten wir mit über 250 Teammitgliedern auf der ganzen Welt zusammen. Unser vielfältiges Team kommt aus 42 Nationalitäten und hat Hintergründe, die von selbst erlernten DeFi-Einheimischen bis hin zu PhDs reichen. Wir sind überwiegend remote und haben Hubs in London, Brüssel und Singapur, und veranstalten regelmäßig Online- und Offline-Treffen, um das Team zusammenzuhalten. Wir handeln an mehr als 80 Handelsplätzen und arbeiten mit einer breiten Palette von Vermögensausgebern zusammen. Als etablierter Market Maker hat uns unsere besondere Expertise dazu geführt, uns schnell auszudehnen. Heute umfassen unsere Dienstleistungen Market Making, Optionsgeschäfte, Hochfrequenzhandel, OTC und DeFi-Handelsplätze. Aber wir sind mehr als nur ein Dienstleister. Wir sind ein Initiator. Wir sind Pioniere bei der Übernahme der Rust-Entwicklungssprache für unseren algorithmischen Handel und Förderer ihrer Verwendung in der Branche. Wir unterstützen das Wachstum von Web3-Startups durch unser Accelerator-Programm. Wir verbessern Ökosysteme, indem wir Liquidität in vielversprechende DeFi-, RWA- und NFT-Protokolle injizieren. Und wir treiben den Fortschritt der Branche mit unseren Forschungs- und Regierungsvorhaben voran. Bei Keyrock sehen wir die Zukunft der digitalen Vermögenswerte nicht nur voraus. Wir bauen sie aktiv. ÜBER DAS TEAM UND WARUM DIESE ROLLE EXISTIERT Das Central Data Team (CDT) ist erst ein paar Monate alt, aber Daten sind seit Tag eins das Lebenselixier von Keyrock. Wir bauen jetzt die Keyrock Data Platform, um Keyrockern und den künstlichen Intelligenz-Agenten, die neben ihnen arbeiten, die Daten und den Kontext zu geben, den sie benötigen, um schnell und autonom innerhalb vereinbarter Grenzen und im Einklang mit unseren gemeinsamen Zielen zu handeln. Dazu gehört, Daten aus dem gesamten Unternehmen zu sammeln und sie in Echtzeit für alle Funktionen, die davon abhängig sind, verständlich zu machen: Handelsplätze, Vermögens- und Asset-Management, Produkt, Risiko, Finanzen, Compliance und Forschung, um nur einige zu nennen. Sie wären einer der ersten Neueinstellungen im CDT und wir erwarten, dass Sie zu den meisten größeren Entscheidungen beitragen und Arbeit aufbauen. Die Standards, die wir festlegen, und die Art und Weise, wie das Team letztendlich arbeitet, sind noch offen. WAS SIE TUN WERDEN - Erstellen von Streaming- und Batch-Pipelines, die Marktdaten, Handelsdaten und Portfoliodaten aufnehmen, normalisieren und verteilen, die resilient gegenüber Feed- und Exchange-Ausfällen sind. - Erstellen von Selbstbedienungstools (SDKs, Muster, Vorlagen, künstliche Intelligenz-Agenten), damit andere Teams Datenprodukte veröffentlichen, konsumieren und darauf aufbauen können, ohne auf uns warten zu müssen. - Besitzen von Datenverträgen und Schemaevolution. Verhindern, dass Schemänderungen zu Multi-Team-Koordinierungsereignissen werden. - Entwerfen des Lakehouse- und Time-Series-Layers rund um Consumer-Abfragemuster. - Erstellen und Weiterentwickeln des Data Governance- und Data Quality-Frameworks: Erkennung von veralteten Feeds, Schemavalidierung, Bereichsprüfungen, idempotente Schreibvorgänge, Lineage, Eigentum, Selbstheilung. - Erstellen von abgeleiteten Analysen, auf denen das Geschäft basiert: Cross-Exchange-Spreads, VWAP bei Tiefe, Order-Book-Mikrostruktur für die Desks; Portfolioperspektiven, Exposition, Leistung für Vermögens- und Asset-Management. - Machen von Beobachtbarkeit, Kosten und Leistung von Tag eins an zu ersten Klassen. - Behandeln von Infrastruktur als Code (Docker, Terraform, CI/CD) neben unserem Central Infrastructure Team. - Arbeiten im Offenen: Schreiben von Dingen auf, enge Partnerschaft mit Architektur, Infrastruktur, Plattform und dem Rest der Teams. WAS WIR SUCHEN Tools sind uns weniger wichtig als die Art und Weise, wie Sie über Probleme denken. Das gesagt, hier ist die Form der Person, die wir im Sinn haben. Engineering Craft - 8+ Jahre Erfahrung im Aufbau von Produktionsdatensystemen, auf die andere angewiesen sind. - Starke Kenntnisse in Python und SQL: nicht nur die Fähigkeit, eine Abfrage zu schreiben, sondern auch die Fähigkeit, über das nachzudenken, was der Engine damit macht. - Code, der leicht von jemand anderem gelesen, getestet und später gelöscht werden kann. - Starkes Verständnis von Datenmodellierung für sowohl Streaming- als auch analytische Workloads. - Effizienz, Qualität, Idempotenz und Beobachtbarkeit werden von Grund auf ernst genommen. Systems Design - Sie haben Streaming-Systeme auf Kafka, Redpanda, MSK oder Kinesis entworfen und betrieben und haben Meinungen über Partitionierung, Consumer-Gruppen, Offsets und Schemaregistrierungen. - Sie haben einen Time-Series-Speicher in der Produktion verwendet (idealerweise ClickHouse; TimescaleDB, QuestDB oder ähnlich sind auch in Ordnung) und können über Tabellendesign als Funktion von Abfragemustern sprechen. - Sie haben mit einer Lakehouse-Architektur gearbeitet und denken über Tabellenlayout, Partitionierung und Kompaktion als Designentscheidungen nach, die die Abfrageleistung und die Speicherkosten beeinflussen. - Sie bauen für Selbstheilung und Idempotenz. Reprocessing ist sicher, Wiederholungen schreiben nicht doppelt, und das System erholt sich ohne menschliche Intervention. Operational Readiness - Docker, Terraform und CI/CD sind Ihre Arbeitsweise, nicht ein separates "DevOps"-Ding. - Sie denken über Kosten und Leistung von Anfang an nach. - Sie instrumentieren, während Sie bauen: Protokolle, Metriken und Spuren sind Teil des Systems von Tag eins an. - Sie entwerfen für Datenqualität und Governance von vornherein, einschließlich Verträge, Validierung, Lineage und Eigentum Wie Sie Denken und Arbeiten - Sie denken v