Senior/Lead Databricks Engineer
🏛 Ausgeschrieben von Next Ventures GmbHWir suchen einen technisch versierten und erfahrenen Data Engineering Leader für eine 12-monatige Position mit Verlängerungsoption an unserem Standort in London oder Brüssel.
Als Senior/Lead Databricks Engineer werden Sie die technische Richtung unserer Datenplattform prägen und ein Team von Engineers führen. Sie bringen tiefe Expertise in Databricks, Spark, Python und SQL mit und setzen Standards für Qualität, Design und Datenmodellierung. Sie sind nicht nur technisch versiert, sondern auch ein überzeugender Leader, der das Vertrauen von Engineers, externen Partnern und Geschäftsstakeholdern gewinnt und behält.
Ihre Aufgaben umfassen die Weiterentwicklung unserer Databricks-Plattform in einen neuen, governierten Workspace mit AI-Ready-Funktionalität. Sie unterstützen eine wachsende Community von technischen Analysten und Analytics Engineers und arbeiten in agilen Delivery Teams mit Scrum-Struktur.
Sie zeichnen sich durch eine klare Engineering-Vision aus: Sie entwickeln wiederverwendbare Templates, Shared Libraries und CI/CD-Prozesse, die andere Engineers adoptieren. Sie verstehen, dass gute Datenmodellierung die Grundlage vertrauenswürdiger Datenprodukte ist und dass Sicherheit und AI-Readiness von Anfang an eingebaut werden müssen.
Erforderlich sind mindestens 7 Jahre Erfahrung in Data Engineering mit mindestens 2 Jahren in Führungs- oder Mentoring-Rollen. Sie verfügen über tiefe praktische Erfahrung mit Databricks, Unity Catalog, Delta Lake und DLT sowie fortgeschrittene Python- und SQL-Kenntnisse. Erfahrung mit AI Data Agents und deren Anforderungen an Datenqualität ist essentiell.
Vorteilhaft sind Kenntnisse in AI Agent Architecture, Azure Data Services, dbt, Data Contracts und FinOps auf Databricks sowie Erfahrung mit hybriden Teams.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 7 Jahre
- Sprachen
- Englisch (verhandlungssicher)
Rahmenbedingungen
- Verlängerung
- Option auf Verlängerung
Projekt
- Projektart
- Weiterentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Lakeflow
- Lakeflow ist vermutlich ein Tool oder Framework für die Verwaltung und Orchestrierung von Datenflüssen in Data Lakes. Es wird eingesetzt, um Datenverarbeitung und -pipelines zu automatisieren und zu überwachen.
- DLT
- Distributed Ledger Technology; dezentralisierte Technologie zur Speicherung und Verwaltung von Transaktionsdaten über mehrere Knoten.
- Data Modelling
- Prozess der Strukturierung und Planung von Daten, um festzulegen, wie Informationen in Systemen organisiert und gespeichert werden.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Databricks Genie
- KI-gestützte Funktion der Databricks-Plattform, die bei der Datenanalyse und Abfrageerstellung durch automatische Vorschläge unterstützt.
- Software Engineering
- Systematische Disziplin zur Planung, Entwicklung, Prüfung und Wartung von Softwareprodukten; umfasst Methoden, Prozesse und Best Practices der Softwareentwicklung.
- Scrum
- Agile Projektmanagement-Methode, die Arbeit in kurzen Zyklen (Sprints) organisiert und regelmäßige Abstimmungen vorsieht.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Databricks-Profil zum Markt?
- ✓ Market Fit gegen 133 Databricks-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,4 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 93 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Nearshore Snowflake Data Engineer (m/f/d)
- Data Engineer (AWS, Python, PostgreSQL) (m/w/d) 95% remote
- Senior KDB+/q Engineer (DRWN)
- Data Management and Governance Lead
- Data Architect (AWS Glue, Data Platform, PostgreSQL) (m/w/d) 90% remote
- Data Engineer (AWS, Python, SQL) (m/w/d) 90% remote
- Data Engineer (AWS, SQL, Python) (m/w/d) 90% remote
- Senior AWS Data Engineer (m/w/d)
- Data Engineer (m/w/d) / Microsoft Fabric & Power BI(abgelaufen)
- Data Scientist (AWS SageMaker, GraphStorm, PySpark) (m/w/d) 90% remote(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten