Senior Data Engineer

SENIOR DATA ENGINEER A PROPOSITO DI KEYROCK Dalla nostra nascita nel 2017, siamo cresciuti fino a diventare un importante fattore di cambiamento nello spazio degli asset digitali, noti per le nostre partnership e innovazioni. Oggi, collaboriamo con oltre 250 membri del team in tutto il mondo. Il nostro team diversificato proviene da 42 nazionalità, con background che vanno da DeFi nativi autodidatti a dottorati di ricerca. Predominantemente remoti, abbiamo hub a Londra, Bruxelles e Singapore, e ospitiamo regolarmente hangout online e offline per mantenere la crew unita. Stiamo negoziando su più di 80 piattaforme di trading e lavoriamo con una vasta gamma di emittenti di asset. Come market maker ben stabilito, la nostra esperienza distintiva ci ha portato a espanderci rapidamente. Oggi, i nostri servizi coprono la creazione di mercato, il trading di opzioni, il trading ad alta frequenza, OTC e il trading DeFi. Ma non siamo solo un fornitore di servizi. Siamo un iniziatore. Siamo pionieri nell'adozione del linguaggio di sviluppo Rust per il nostro trading algoritmico e campioni del suo utilizzo nel settore. Sosteniamo la crescita delle startup Web3 attraverso il nostro Programma di Accelerazione. Miglioriamo gli ecosistemi iniettando liquidità in protocolli DeFi, RWA e NFT promettenti. E spingiamo i progressi del settore con le nostre iniziative di ricerca e governance. In Keyrock, non stiamo solo immaginando il futuro degli asset digitali. Lo stiamo costruendo attivamente. A PROPOSITO DEL TEAM E PERCHÉ ESISTE IL RUOLO Il Central Data Team (CDT) ha solo pochi mesi, ma i dati sono stati il sangue vitale di Keyrock fin dal primo giorno. Stiamo ora costruendo la Keyrock Data Platform per fornire ai Keyrockers e agli agenti AI che lavorano con loro i dati e il contesto di cui hanno bisogno per agire rapidamente e in modo autonomo all'interno dei confini concordati e allineati con i nostri obiettivi condivisi. Fare ciò significa prendere i dati da tutta l'azienda e dar loro un senso in tempo reale per tutte le funzioni che dipendono da essi: trading desk, gestione patrimoniale e asset, prodotto, rischio, finanza, conformità e ricerca, per citarne alcune. Sareste uno dei primi assunti nel CDT e ci aspettiamo che contribuiate alla maggior parte delle decisioni più importanti e costruiate lavori. Gli standard che stabiliamo e il modo in cui il team finirà per lavorare sono ancora aperti. COSA FARETE - Costruirete pipeline di streaming e batch che inghiottono, normalizzano e distribuiscono dati di mercato, trading e portafoglio, resilienti alle interruzioni di feed ed exchange. - Costruirete gli strumenti self-serve (SDK, pattern, template, agenti AI) in modo che gli altri team possano pubblicare, consumare e costruire prodotti di dati senza aspettare noi. - Sarete i proprietari dei contratti di dati e dell'evoluzione dello schema. Terrete le modifiche dello schema da trasformarsi in eventi di coordinamento multi-team. - Progetterete il lakehouse e il livello time-series attorno ai modelli di query dei consumatori. - Costruirete e evolverete il Framework di Data Governance e Data Quality: rilevamento di feed obsoleti, convalida dello schema, controlli di gamma, scritture idempotenti, lineage, proprietà, auto-guarigione. - Costruirete le analisi derivate su cui si basa l'attività: spread cross-exchange, VWAP in profondità, microstruttura del libro degli ordini per i desk; viste del portafoglio, esposizione, prestazioni per la gestione patrimoniale e asset. - Renderete l'osservabilità, il costo e le prestazioni di prima classe fin dal primo giorno. - Tratterete l'infrastruttura come codice (Docker, Terraform, CI/CD) insieme al nostro Central Infrastructure Team. - Lavorerete apertamente: scriverete le cose, partnerizzerete strettamente con Architecture, Infrastructure, Platform e il resto dei team. COSA CERCHIAMO Gli strumenti contano meno per noi di come pensate ai problemi. Detto ciò, ecco la forma della persona che abbiamo in mente. Ingegneria di produzione - 8+ anni di costruzione di sistemi di dati di produzione di cui gli altri si fidano. - Forte competenza in Python e SQL: non solo essere in grado di scrivere una query, ma essere in grado di ragionare su cosa sta facendo il motore con esso. - Codice che è facile da leggere, testare e cancellare in seguito per qualcun altro. - Forte comprensione della modellazione dei dati per carichi di lavoro sia di streaming che analitici. - Efficienza, qualità, idempotenza e osservabilità sono prese seriamente per default. Progettazione dei sistemi - Avete progettato e operato sistemi di streaming su Kafka, Redpanda, MSK o Kinesis, e avete opinioni sulla partizionamento, gruppi di consumatori, offset e registri dello schema. - Avete utilizzato un archivio time-series in produzione (ClickHouse idealmente; TimescaleDB, QuestDB o simili sono anche ok) e potete parlare della progettazione della tabella come funzione dei modelli di query. - Avete lavorato con un'architettura lakehouse e ragionate sulla disposizione della tabella, partizionamento e compattazione come scelte di progettazione che plasmano le prestazioni della query e il costo di archiviazione. - Costruite per l'auto-guarigione e l'idempotenza. La riprocessazione è sicura, i ritardi non riscrivono due volte e il sistema si ripristina senza un intervento umano. Prontezza operativa - Docker, Terraform e CI/CD sono il modo in cui lavorate, non una cosa "DevOps" separata. - Pensate al costo e alle prestazioni fin dall'inizio. - Strumentate mentre costruite: log, metriche e tracce fanno parte del sistema fin dal primo giorno. - Progettate per la qualità dei dati e la governance fin dall'inizio, coprendo contratti, convalida, lineage e proprietà Come pensate e lavorate - Ragionate dai principi primi quando un problema è nuovo, restate pragmatici quando non lo è, e aggiornate la vostra visione quando imparate di più. - Trattate i t