Staff Software Engineer - Backend

P-940

(Le lieu du poste est ouvert à nos bureaux de Seattle et Bellevue.)

Chez Databricks, nous sommes obsédés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles au monde, de la détection des menaces de sécurité au développement de médicaments contre le cancer. Nous y parvenons en construisant et en exploitant la meilleure plateforme d'infrastructure de données et d'IA au monde, afin que nos clients puissent se concentrer sur les défis à haute valeur ajoutée qui sont au cœur de leurs propres missions.

Fondée en 2013 par les créateurs originaux d'Apache Spark™, Databricks est passée d'un minuscule bureau à Berkeley, en Californie, à une organisation mondiale comptant plus de 1000 employés. Des milliers d'organisations, des petites entreprises aux entreprises du Fortune 100, font confiance à Databricks pour leurs charges de travail critiques, ce qui fait de nous l'une des entreprises SaaS à la croissance la plus rapide au monde.

Nos équipes d'ingénierie construisent des produits hautement techniques qui répondent à des besoins réels et importants dans le monde. Nous repoussons constamment les limites de la technologie des données et de l'IA, tout en opérant simultanément avec la résilience, la sécurité et l'échelle qui sont essentielles pour assurer le succès de nos clients sur notre plateforme.

Nous développons et exploitons l'une des plateformes logicielles à plus grande échelle. La flotte se compose de millions de machines virtuelles, générant des téraoctets de journaux et traitant des exaoctets de données par jour. À notre échelle, nous observons régulièrement des défaillances matérielles cloud, réseau et de système d'exploitation, et notre logiciel doit protéger avec élégance nos clients contre l'un ou l'autre de ces événements.

En tant qu'ingénieur logiciel avec une spécialisation backend, vous travaillerez en étroite collaboration avec votre équipe et la gestion de produits pour prioriser, concevoir, implémenter, tester et exploiter des micro-services pour la plateforme et le produit Databricks. Cela implique, entre autres, l'écriture de logiciels en Scala/Java, la construction de pipelines de données (Apache Spark™, Apache Kafka), l'intégration avec des applications tierces et l'interaction avec des API cloud (AWS, Azure, CloudFormation, Terraform).

Voici quelques exemples d'équipes que vous pouvez rejoindre :

Data Science and Machine Learning Infrastructure : Construire des services et des infrastructures à l'intersection de l'apprentissage automatique et des systèmes distribués. Notre technologie alimente l'espace de travail collaboratif phare, les notebooks, les intégrations IDE et les produits de gestion de projet. Nous permettons également l'apprentissage automatique à grande échelle avec des outils pour la gestion de l'environnement, l'entraînement distribué et la gestion du cycle de vie de l'apprentissage automatique via MLflow.

Compute Fabric : Construire l'infrastructure de gestion des ressources qui alimente toutes les charges de travail de Big Data et d'apprentissage automatique sur la plateforme Databricks de manière robuste, flexible, sécurisée et agnostique vis-à-vis du cloud. Le logiciel gère des millions de machines virtuelles.

Data Plane Storage : Fournir des services et des bibliothèques client fiables et performants pour stocker et accéder à des quantités phénoménales de données sur des backends de stockage cloud, par exemple AWS S3, Azure Blob Store.

Enterprise Platform : Offrir une expérience simple et puissante pour l'intégration et la gestion de toutes leurs équipes de données à travers des dizaines de milliers d'utilisateurs sur la plateforme Databricks. Nous y parvenons en construisant des services et des infrastructures fiables et évolutifs avec des UI intuitives et en livrant des projets transversaux à fort impact qui stimulent la stratégie « land and expand » pour les clients entreprises.

Observability : Fournir une plateforme de classe mondiale pour que les ingénieurs Databricks puissent observer et introspecter de manière exhaustive leurs applications et services. Nous construisons une infrastructure évolutive et intensive en données qui traite d'énormes quantités de journaux et de télémétrie. Ce faisant, nous permettons aux équipes de devenir plus axées sur les données et de construire des services robustes.

Service Platform : Construire des services de haute qualité et gérer les services dans tous les environnements de manière unifiée. Nous fournissons aux ingénieurs des bibliothèques, des outils, des services et des conseils pour développer des services fiables, évolutifs et sécurisés. Nous construisons une plateforme unifiée pour que les ingénieurs puissent déployer et mettre à jour leurs services sur différents clouds et environnements.

Core Infra : Construire l'infrastructure de base qui alimente Databricks, en la rendant disponible dans toutes les régions géographiques et auprès de tous les fournisseurs cloud. Nous construisons des systèmes distribués à haute disponibilité, en utilisant massivement des projets cloud natifs, et en contribuant en retour chaque fois que possible. Nous gérons des milliers de clusters Kubernetes dans toutes les régions et orchestrons des millions de VM quotidiennement.

Compétences

• BS/MS/PhD en informatique ou dans un domaine connexe
• Plus de 10 ans d'expérience en production dans l'un des domaines suivants : Java, Scala, C++, ou un langage similaire.
• À l'aise avec le travail vers une vision pluriannuelle avec des livrables incrémentaux.
• Expérience dans l'architecture, le développement, le déploiement et l'exploitation de systèmes distribués à grande échelle.
• Expérience de travail sur une plateforme SaaS ou avec des architectures orientées services.
• Bonne connaissance de SQL.
• Expérience avec la sécurité logicielle et les systèmes traitant des données sensibles.
• Expérience avec les technologies cloud, par exemple AWS, Azure, GCP, Docker, Kubernete