Staff Software Engineer - Distributed Data Systems

P-988

Chez Databricks, nous sommes passionnés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles au monde — qu'il s'agisse de faire du prochain mode de transport une réalité ou d'accélérer le développement de percées médicales. Nous y parvenons en construisant et en exploitant la meilleure plateforme d'infrastructure de données et d'IA au monde afin que nos clients puissent utiliser des informations approfondies sur les données pour améliorer leur entreprise. Fondée par des ingénieurs — et obsédée par le client — nous saisissons chaque opportunité pour relever des défis techniques, de la conception d'UI/UX de nouvelle génération pour l'interface avec les données à la mise à l'échelle de nos services et de notre infrastructure sur des millions de machines virtuelles. Et nous ne faisons que commencer.

L'analyse de données moderne utilise des méthodes sophistiquées telles que l'apprentissage automatique qui vont bien au-delà des capacités de roll-up et de drill-down des moteurs de requêtes SQL traditionnels. En tant qu'ingénieur logiciel au sein de l'équipe Runtime chez Databricks, vous construirez la prochaine génération de systèmes de stockage et de traitement de données distribués qui pourront surpasser les moteurs de requêtes SQL spécialisés en termes de performance de requêtes relationnelles, tout en offrant l'expressivité et les abstractions de programmation nécessaires pour prendre en charge des charges de travail diverses allant de l'ETL à la science des données.

Voici quelques exemples de projets :

Apache Spark™ : Développer le framework standard open source de facto pour le big data.

Data Plane Storage : Fournir des services et des bibliothèques clientes fiables et performants pour le stockage et l'accès à des quantités phénoménales de données sur des backends de stockage cloud, par exemple AWS S3, Azure Blob Store.

Delta Lake : Un système de gestion de stockage qui combine l'échelle et l'efficacité de coût des data lakes, la performance et la fiabilité d'un data warehouse, et la faible latence du streaming. Ses abstractions et garanties de niveau supérieur, incluant les transactions ACID et le time travel, simplifient considérablement la complexité de l'architecture d'ingénierie de données en conditions réelles.

Delta Pipelines : Il est difficile de gérer ne serait-ce qu'un seul pipeline d'ingénierie de données. L'objectif du projet Delta Pipelines est de rendre simple et possible l'orchestration et l'exploitation de dizaines de milliers de pipelines de données. Il fournit une abstraction de niveau supérieur pour exprimer les pipelines de données et permet aux clients de déployer, tester et mettre à niveau les pipelines, tout en éliminant les charges opérationnelles liées à la gestion et à la construction de pipelines de données de haute qualité.

Performance Engineering : Construire la prochaine génération d'optimiseur de requêtes et de moteur d'exécution qui soit rapide, sans réglage manuel, évolutif et robuste.

Ce que nous recherchons :

• BS (ou supérieur) en informatique, domaine technique connexe ou expérience pratique équivalente.
• À l'aise avec le travail vers une vision pluriannuelle avec des livrables incrémentiels.
• Motivé par la prestation de valeur et d'impact pour le client.
• Plus de 8 ans d'expérience au niveau de la production en Java, Scala ou C++.
• Solides bases en algorithmes et structures de données et leurs cas d'utilisation réels.
• Expérience avec les systèmes distribués, les bases de données et les systèmes de big data (Apache Spark, Hadoop).

Transparence de la fourchette de rémunération

Databricks s'engage en faveur de pratiques de rémunération équitables et justes. La ou les fourchettes de rémunération pour ce rôle sont indiquées ci-dessous et représentent la tranche de salaire prévue pour les rôles non commissionnables ou les revenus cibles pour les rôles commissionnables. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant mais ne se limitant pas aux compétences liées au poste, à la profondeur de l'expérience, aux certifications et formations pertinentes, et au lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'admissibilité à un bonus de performance annuel, des capitaux propres (equity) et les avantages listés ci-dessus. Pour plus d'informations concernant la fourchette dans laquelle se situe votre zone géographique, visitez notre page ici (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Fourchette de rémunération locale

$182,400—$247,000 USD

A propos de Databricks

Databricks est la société de Data et d'IA. Plus de 20,000 organisations à travers le monde — incluant adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% du Fortune 500 — s'appuient sur la plateforme Databricks Data + AI pour construire et mettre à l'échelle des applications de données et d'IA, des analyses et des agents. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks offre une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks), et Instagram (https://www.instagram.com/databricksinc/?hl=en).

Avantages

Chez Databricks, nous nous efforçons de fournir des avantages et des privilèges complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici (https://docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing).

Notre engagement envers la diversité et l'inclusion

Chez Databricks, nous nous engageons à favoriser une culture diversifiée