Databricks Data Engineer (m/w/d)
🏛 Ausgeschrieben von Constaff GmbHWir suchen einen erfahrenen Databricks Data Engineer (m/w/d) für ein spannendes Migrationsprojekt im Raum Köln. Die Position ist mit 60% Remote-Anteil ausgeschrieben und startet im Oktober 2026 mit einer Laufzeit von mindestens 3 Monaten.
Ihre Aufgaben: Sie verantworten die Migration einer bestehenden Data-Warehouse-Infrastruktur in eine moderne Lakehouse-Architektur auf Basis von Azure und Databricks. Dabei entwickeln und optimieren Sie skalierbare Datenpipelines mit Databricks, Python, PySpark und SQL. Sie überführen bestehende ETL-Prozesse in performante Databricks-Pipelines und implementieren robuste Datenmodelle inklusive Historisierung nach SCD2-Standard. Darüber hinaus sichern Sie Datenqualität, Governance und Berechtigungsmanagement ab und begleiten Tests, Parallelbetrieb und den finalen Cutover. Sie arbeiten eng mit Fachbereichen und Entwicklungsteams in einem agilen Scrum-Umfeld zusammen.
Ihre Qualifikationen: Sie bringen fundierte Erfahrung mit Databricks und Lakehouse-Architekturen mit. Tiefgreifende Kenntnisse in Delta Lake, Unity Catalog, DLT/SDP und Data Governance sind erforderlich. Sie verfügen über sehr gute Fähigkeiten in Python, PySpark und SQL sowie Erfahrung in der Verarbeitung und Optimierung großer Datenmengen. Kenntnisse in Datenmodellierung, Data Warehousing und SCD2-Historisierung sind essentiell. Erfahrung bei der Migration klassischer ETL-Prozesse zu Databricks ist von Vorteil. Sie arbeiten agil nach Scrum, nutzen KI-gestützte Entwicklungstools sicher und verfügen über eine selbstständige, strukturierte Arbeitsweise sowie ausgezeichnete Deutschkenntnisse.
Anforderungen
- Rollenfamilie
- Daten / KI
- Sprachen
- Deutsch (verhandlungssicher)
Rahmenbedingungen
- Abrechnung
- Nach Aufwand
- Gesuchte Personen
- 1
Projekt
- Projektart
- Migration / Modernisierung
- Vermittlung
- Über Vermittler
Skills erklärt
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- DLT
- Distributed Ledger Technology; dezentralisierte Technologie zur Speicherung und Verwaltung von Transaktionsdaten über mehrere Knoten.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Data Warehousing
- Konzept zur zentralisierten Speicherung und Verwaltung großer Datenmengen aus verschiedenen Quellen für Analysen und Reporting.
- ETL
- Prozess zum Extrahieren, Transformieren und Laden von Daten aus verschiedenen Quellen in Zieldatenbanken oder Data Warehouses.
- Datenmodellierung
- Strukturierung und Darstellung von Datenbeziehungen in Datenbanken oder Informationssystemen; Grundlage für effiziente Datenverwaltung.
- Azure
- Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
- Oracle
- Großes relationales Datenbanksystem für die Verwaltung großer Datenmengen in Unternehmen; wird für komplexe Geschäftsanwendungen und Datenspeicherung eingesetzt.
- Scrum
- Agile Projektmanagement-Methode, die Arbeit in kurzen Zyklen (Sprints) organisiert und regelmäßige Abstimmungen vorsieht.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Databricks-Profil zum Markt?
- ✓ Market Fit gegen 105 Databricks-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,6 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 110 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- BI / Data Engineer (m/w/d) mit Fokus auf AWS / dbt / Power BI / Microsoft Fabric
- Industrial Data & IT/OT Integration Architect / Shopfloor (m/w/d)
- Data Engineer (m/w/d)
- Data Warehouse Entwickler (w/m/d)
- Data Engineer (m/w/d) im Rahmen der Arbeitnehmerüberlassung
- Technischer Business Analyst mit Sicherheiten KnowHow (m/w/d)
- Data Analytics & Projektmanagement (m/w/d)
- Data Engineer/ Analyst (m/w/d) Aufbau Datenplattform in Stuttgart und Remote
- Data Analytics Platform Development with AI and GCP
- NeoXam DataHub Experte
- Retail & Pricing Analyst (m/w/d)
- Specialist Commercial Analytics & Performance (m/w/d)
- 100% Remote - Data Engineer (f/m/d) with Databricks Know-How
- Business Intelligence Entwickler
- Data Engineer NiFi (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten