Senior Data Engineer – Databricks Lakehouse Migration
🏛 Ausgeschrieben von etengoWir suchen einen erfahrenen Senior Data Engineer zur Modernisierung unserer Data-Warehouse-Landschaft. Sie werden die Migration bestehender Datenstrecken von klassischen Systemen auf eine moderne Azure Databricks Lakehouse-Plattform führen und gestalten.
Ihre Aufgaben umfassen die umfassende Analyse und Dokumentation von Source-to-Target-Mappings, die Bewertung von Migrationsaufwänden sowie die Entwicklung und Implementierung moderner ELT-Pipelines. Sie werden Datenpipelines auf Databricks entwickeln, Transformationslogiken mit Spark SQL und PySpark umsetzen und Datenstrukturen nach dem Medallion-Konzept (Bronze-, Silver-, Gold-Layer) mit dbt modellieren.
Ein Schwerpunkt liegt auf der Sicherstellung von Datenqualität durch technische und fachliche Validierungen, einschließlich Row-Count-, Hash- und Regressionstests. Sie optimieren Pipelines hinsichtlich Performance, Wartbarkeit und Skalierbarkeit und arbeiten eng mit Plattform-, Architektur- und Fachbereichsteams zusammen.
Wir erwarten mehrjährige Erfahrung als Senior Data Engineer im Data-Warehouse- oder Migrationsumfeld, sehr gute SQL-Kenntnisse sowie fundierte Expertise in Oracle SQL, Databricks, Spark SQL, PySpark und Delta Lake. Kenntnisse in dbt, klassischen DWH-Architekturen und der Migration von ETL- zu ELT-Systemen sind essentiell. Erfahrung mit Talend-Datenstrecken und Datenqualitätsmanagement wird vorausgesetzt. Sicherer Umgang mit Git und technischer Dokumentation runden das Profil ab.
Erfahrungen mit SAP Data Services, Qlik, Unity Catalog, Data Governance oder CDC-Architekturen sind von Vorteil.
Skills erklärt
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Oracle SQL
- Datenbanksprache zur Abfrage und Verwaltung von Daten in Oracle-Datenbanksystemen; wird verwendet, um Daten zu extrahieren, zu ändern und zu analysieren.
- PL/SQL
- Programmiersprache von Oracle, die SQL mit Programmierlogik erweitert und zur Entwicklung von Datenbankprozeduren und -funktionen eingesetzt wird.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- dbt
- Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
- Azure
- Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Data Warehouse
- Zentrales Datenspeichersystem, das große Mengen strukturierter Daten aus verschiedenen Quellen sammelt und für Analysen bereitstellt.
- Talend
- Datenintegrations- und ETL-Tool (Extract, Transform, Load) zur Verarbeitung und Bewegung von Daten zwischen Systemen.
- SAP Data Services
- ETL-Tool von SAP zur Extraktion, Transformation und Beladung von Daten aus verschiedenen Quellen.
- Datenqualitätsmanagement
- Prozesse und Methoden zur Sicherung, Überwachung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten.
- Datenvalidierung
- Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln oder Formate.
- Regressionstests
- Softwaretests, die überprüfen, ob bereits getestete Funktionen nach Änderungen oder Updates noch fehlerfrei funktionieren.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Data lineage
- Nachverfolgung der Herkunft und des Verlaufs von Daten durch IT-Systeme; zeigt, wo Daten entstehen, verarbeitet und verwendet werden.
- Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.
- CDC
- Change Data Capture – Technik zur Erfassung von Datenänderungen in Datenbanken; wird eingesetzt, um Änderungen zu verfolgen und zu synchronisieren.
- Performance tuning
- Optimierung von Systemen, Anwendungen oder Code, um Geschwindigkeit, Effizienz und Ressourcennutzung zu verbessern.
- Airflow
- Open-Source-Plattform zur Planung, Überwachung und Automatisierung von Datenverarbeitungs-Workflows.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Data modeling
- Methode zur strukturierten Darstellung und Organisation von Daten in Datenbanken oder Informationssystemen, um Beziehungen und Abhängigkeiten abzubilden.
- Qlik
- Business-Intelligence- und Datenvisualisierungstool zur interaktiven Analyse und Darstellung von Daten.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Freelancer / Generalist
- Senior IT-Berater / Digitalisierungsexperte für Pensionsverwaltung
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior Data Integration Engineer / ASAP / 3 Monate+ / Remote
- Senior Data Architect (m/w/d) bei der Krones AG
- Senior Data Engineer (GIS) – sozialversicherungspflichtig angestellt (m/w/d)
- Healthcare Data / BI Consultant | SAP SAC / BI | HL7 & FHIR
- Azure Data Engineer / DWH Entwickler (m/w/d)
- Quantitative Modeler (m/w/d) Forecasting & Simulation
- Data Architect – SSIS, SSRS, Microsoft-Azure-Cloud, Azure Data Factory, Bicep (m/w/d)
- Datenbankexperte (m/w/d) Postgres/PLSQL in Wiesbaden und Remote
- Lead Architect Urban Data Platform (m/w/d)
- Data Engineer Urban Data Platform (m/w/d)
- Power BI / Microsoft Fabric Specialist für Remote gesucht
- Product Owner Data Analytics (m/w/d)
- Data Engineer für die Corporate Security Plattform (CSP) - Microsoft Fabric Analytics Engineer
- Integration Developer – dbt / Data Warehouse (m/w/d)
- Integration Developer – dbt / Data Warehouse (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten