Zum Hauptinhalt springen
Data & Analyticsvor 13 Std.

Senior Data Engineer – Databricks Lakehouse Migration

🏛 Ausgeschrieben von etengo
Contracting 🎓 Senior 🌐 Deutsch

Wir suchen einen erfahrenen Senior Data Engineer zur Modernisierung unserer Data-Warehouse-Landschaft. Sie werden die Migration bestehender Datenstrecken von klassischen Systemen auf eine moderne Azure Databricks Lakehouse-Plattform führen und gestalten.

Ihre Aufgaben umfassen die umfassende Analyse und Dokumentation von Source-to-Target-Mappings, die Bewertung von Migrationsaufwänden sowie die Entwicklung und Implementierung moderner ELT-Pipelines. Sie werden Datenpipelines auf Databricks entwickeln, Transformationslogiken mit Spark SQL und PySpark umsetzen und Datenstrukturen nach dem Medallion-Konzept (Bronze-, Silver-, Gold-Layer) mit dbt modellieren.

Ein Schwerpunkt liegt auf der Sicherstellung von Datenqualität durch technische und fachliche Validierungen, einschließlich Row-Count-, Hash- und Regressionstests. Sie optimieren Pipelines hinsichtlich Performance, Wartbarkeit und Skalierbarkeit und arbeiten eng mit Plattform-, Architektur- und Fachbereichsteams zusammen.

Wir erwarten mehrjährige Erfahrung als Senior Data Engineer im Data-Warehouse- oder Migrationsumfeld, sehr gute SQL-Kenntnisse sowie fundierte Expertise in Oracle SQL, Databricks, Spark SQL, PySpark und Delta Lake. Kenntnisse in dbt, klassischen DWH-Architekturen und der Migration von ETL- zu ELT-Systemen sind essentiell. Erfahrung mit Talend-Datenstrecken und Datenqualitätsmanagement wird vorausgesetzt. Sicherer Umgang mit Git und technischer Dokumentation runden das Profil ab.

Erfahrungen mit SAP Data Services, Qlik, Unity Catalog, Data Governance oder CDC-Architekturen sind von Vorteil.

Skills erklärt

SQL
Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
Oracle SQL
Datenbanksprache zur Abfrage und Verwaltung von Daten in Oracle-Datenbanksystemen; wird verwendet, um Daten zu extrahieren, zu ändern und zu analysieren.
PL/SQL
Programmiersprache von Oracle, die SQL mit Programmierlogik erweitert und zur Entwicklung von Datenbankprozeduren und -funktionen eingesetzt wird.
PySpark
Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
Databricks
Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
Delta Lake
Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
dbt
Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
Azure
Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
ETL/ELT
Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
Data Warehouse
Zentrales Datenspeichersystem, das große Mengen strukturierter Daten aus verschiedenen Quellen sammelt und für Analysen bereitstellt.
Talend
Datenintegrations- und ETL-Tool (Extract, Transform, Load) zur Verarbeitung und Bewegung von Daten zwischen Systemen.
SAP Data Services
ETL-Tool von SAP zur Extraktion, Transformation und Beladung von Daten aus verschiedenen Quellen.
Datenqualitätsmanagement
Prozesse und Methoden zur Sicherung, Überwachung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten.
Datenvalidierung
Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln oder Formate.
Regressionstests
Softwaretests, die überprüfen, ob bereits getestete Funktionen nach Änderungen oder Updates noch fehlerfrei funktionieren.
Unity Catalog
Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
Data Governance
Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
Data lineage
Nachverfolgung der Herkunft und des Verlaufs von Daten durch IT-Systeme; zeigt, wo Daten entstehen, verarbeitet und verwendet werden.
Kafka
Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.
CDC
Change Data Capture – Technik zur Erfassung von Datenänderungen in Datenbanken; wird eingesetzt, um Änderungen zu verfolgen und zu synchronisieren.
Performance tuning
Optimierung von Systemen, Anwendungen oder Code, um Geschwindigkeit, Effizienz und Ressourcennutzung zu verbessern.
Airflow
Open-Source-Plattform zur Planung, Überwachung und Automatisierung von Datenverarbeitungs-Workflows.
Python
Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
Data modeling
Methode zur strukturierten Darstellung und Organisation von Daten in Datenbanken oder Informationssystemen, um Beziehungen und Abhängigkeiten abzubilden.
Qlik
Business-Intelligence- und Datenvisualisierungstool zur interaktiven Analyse und Darstellung von Daten.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

  • ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
  • ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
  • ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
  • ✓ Kostenlos starten – keine Kreditkarte erforderlich

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?
Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
Wie schreibt Nexus den Bewerbungstext?
Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
Welche Projektplattformen werden unterstützt?
Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
Kostet Nexus etwas?
Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Passende Freelancer

Profile die zu den Skills dieses Projekts passen

Alle Freelancer im Verzeichnis →

Nie wieder Bewerbungen schreiben.

Nexus matcht deine Skills und schreibt Bewerbungen automatisch.

Kostenlos registrieren →

Keine Kreditkarte erforderlich

Tipp

Zeiterfassung & Projektverwaltung

Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.

Flow ausprobieren

Ähnliche Projekte

Tipp

Konferenzraum in Hamburg

Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.

Konferenzraum mieten