Senior Software Engineer - Distributed Data Systems

P-987

Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die schwierigsten Probleme der Welt zu lösen — von der Realisierung der nächsten Transportart bis hin zur Beschleunigung medizinischer Durchbrüche. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform bauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern. Von Ingenieuren gegründet — und kundenorientiert — ergreifen wir jede Gelegenheit, technische Herausforderungen zu lösen, vom Design der nächsten Generation von UI/UX für die Schnittstellen zu Daten bis hin zur Skalierung unserer Dienste und Infrastruktur über Millionen von virtuellen Maschinen hinweg. Und wir stehen erst am Anfang.

Moderne Datenanalyse nutzt anspruchsvolle Methoden wie maschinelles Lernen, die weit über die Roll-up- und Drill-down-Fähigkeiten traditioneller SQL-Query-Engines hinausgehen. Als Software Engineer im Runtime-Team bei Databricks werden Sie die nächste Generation verteilter Datenspeicher- und Verarbeitungssysteme bauen, die in der relationalen Query-Performance spezialisierte SQL-Query-Engines übertreffen können und dennoch die Ausdrucksstärke und Programmierabstraktionen bieten, um vielfältige Workloads von ETL bis Data Science zu unterstützen.

Unten finden Sie einige Beispielprojekte:

Apache Spark™: Entwickeln Sie das de facto Open-Source-Standard-Framework für Big Data.

Data Plane Storage: Bereitstellung zuverlässiger und hochperformanter Dienste und Client-Bibliotheken zum Speichern und Abrufen riesiger Datenmengen auf Cloud-Storage-Backends, z. B. AWS S3, Azure Blob Store.

Delta Lake: Ein Speicherverwaltungssystem, das die Skalierbarkeit und Kosteneffizienz von Data Lakes, die Performance und Zuverlässigkeit eines Data Warehouse und die geringe Latenz von Streaming kombiniert. Seine Abstraktionen auf höherer Ebene und Garantien, einschließlich ACID-Transaktionen und Time Travel, vereinfachen die Komplexität realer Data-Engineering-Architekturen drastisch.

Delta Pipelines: Es ist schwierig, selbst eine einzige Data-Engineering-Pipeline zu verwalten. Das Ziel des Delta Pipelines-Projekts ist es, die Orchestrierung und den Betrieb von zehntausenden Datenpipelines einfach und möglich zu machen. Es bietet eine höhere Abstraktion zur Darstellung von Datenpipelines und ermöglicht es Kunden, Pipelines bereitzustellen, zu testen & zu aktualisieren und den operativen Aufwand für die Verwaltung und den Aufbau hochwertiger Datenpipelines zu eliminieren.

Performance Engineering: Bauen Sie den nächsten Generation Query Optimizer und die Execution Engine, die schnell, tuning-frei, skalierbar und robust ist.

Was wir suchen:

• BS (oder höher) in Informatik, einem verwandten technischen Bereich oder gleichwertiger praktischer Erfahrung.
• Erfahrung in der Arbeit an einer mehrjährigen Vision mit inkrementellen Ergebnissen.
• Motiviert durch die Bereitstellung von Kundennutzen und Wirkung.
• 5+ Jahre Erfahrung auf Produktionsebene in Java, Scala oder C++.
• Fundierte Kenntnisse in Algorithmen und Datenstrukturen sowie deren realen Anwendungsfällen.
• Erfahrung mit verteilten Systemen, Datenbanken und Big-Data-Systemen (Apache Spark, Hadoop).

Transparenz der Gehaltsspanne

Databricks setzt sich für faire und gerechte Vergütungspraktiken ein. Die Gehaltsspanne(n) für diese Rolle ist unten aufgeführt und stellt die erwartete Gehaltsspanne für nicht provisionsbasierte Rollen oder das Zielgehalt für provisionsbasierte Rollen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf jobbezogene Fähigkeiten, Erfahrungstiefe, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne auszuschöpfen. Das gesamte Vergütungspaket für diese Position kann auch die Berechtigung für einen jährlichen Leistungsbonus, Eigenkapital (Equity) und die oben aufgeführten Zusatzleistungen umfassen. Für weitere Informationen darüber, in welcher Spanne sich Ihr Standort befindet, besuchen Sie unsere Seite hier (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Lokale Gehaltsspanne

$157,700—$213,800 USD

Über Databricks

Databricks ist das Data- und KI-Unternehmen. Mehr als 20.000 Organisationen weltweit — darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 — verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Anwendungen, Analysen und Agenten aufzubauen und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Büros auf der ganzen Welt bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks) und Instagram (https://www.instagram.com/databricksinc/?hl=en).

Benefits

Bei Databricks bemühen wir uns, umfassende Vorteile und Extras anzubieten, die den Bedürfnissen all unserer Mitarbeiter gerecht werden. Spezifische Details zu den in Ihrer Region angebotenen Benefits finden Sie hier (https://docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing).

Unser Engagement für Vielfalt und Inklusion

Bei Databricks setzen wir uns für die Förderung einer vielfältigen und inklusiven Kultur ein, in der jeder glänzen kann. Wir achten sorgfältig darauf, dass unsere Einstellungspraktiken inklusiv sind und die Standards für Chancengleichheit am Arbeitsplatz erfüllen. Personen, die eine Beschäftigung bei Databricks suchen, werden ohne Rücksicht auf Alter, Farbe, Behinderung, ethnische Zugehörigkeit, Familien- oder Familienstand, geschlechtliche Identität oder Ausdruck, Sprache, nationale Herkunft, körperliche und