Dieses Projekt ist abgelaufen (seit 06.10.2026).
Die Ausschreibung ist nicht mehr aktuell. Unten findest du ähnliche aktive Projekte, oder du siehst dir alle aktuellen IT-Projekte an.
Senior Data Engineer – Databricks Lakehouse Migration
🏛 Ausgeschrieben von etengoWir suchen einen erfahrenen Senior Data Engineer zur Modernisierung unserer Data-Warehouse-Landschaft. Sie werden die Migration bestehender Datenstrecken von klassischen Systemen auf eine moderne Azure Databricks Lakehouse-Plattform führen und gestalten.
Ihre Aufgaben umfassen die umfassende Analyse und Dokumentation von Source-to-Target-Mappings, die Bewertung von Migrationsaufwänden sowie die Entwicklung und Implementierung moderner ELT-Pipelines. Sie werden Datenpipelines auf Databricks entwickeln, Transformationslogiken mit Spark SQL und PySpark umsetzen und Datenstrukturen nach dem Medallion-Konzept (Bronze-, Silver-, Gold-Layer) mit dbt modellieren.
Ein Schwerpunkt liegt auf der Sicherstellung von Datenqualität durch technische und fachliche Validierungen, einschließlich Row-Count-, Hash- und Regressionstests. Sie optimieren Pipelines hinsichtlich Performance, Wartbarkeit und Skalierbarkeit und arbeiten eng mit Plattform-, Architektur- und Fachbereichsteams zusammen.
Wir erwarten mehrjährige Erfahrung als Senior Data Engineer im Data-Warehouse- oder Migrationsumfeld, sehr gute SQL-Kenntnisse sowie fundierte Expertise in Oracle SQL, Databricks, Spark SQL, PySpark und Delta Lake. Kenntnisse in dbt, klassischen DWH-Architekturen und der Migration von ETL- zu ELT-Systemen sind essentiell. Erfahrung mit Talend-Datenstrecken und Datenqualitätsmanagement wird vorausgesetzt. Sicherer Umgang mit Git und technischer Dokumentation runden das Profil ab.
Erfahrungen mit SAP Data Services, Qlik, Unity Catalog, Data Governance oder CDC-Architekturen sind von Vorteil.
Skills erklärt
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Oracle SQL
- Datenbanksprache zur Abfrage und Verwaltung von Daten in Oracle-Datenbanksystemen; wird verwendet, um Daten zu extrahieren, zu ändern und zu analysieren.
- PL/SQL
- Programmiersprache von Oracle, die SQL mit Programmierlogik erweitert und zur Entwicklung von Datenbankprozeduren und -funktionen eingesetzt wird.
- Spark/SQL
- Apache Spark ist ein Framework für verteilte Datenverarbeitung, SQL ist die Abfragesprache für Datenbanken. Zusammen ermöglichen sie schnelle Analyse großer Datenmengen.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- dbt
- Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
- Azure
- Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Data Warehouse
- Zentrales Datenspeichersystem, das große Mengen strukturierter Daten aus verschiedenen Quellen sammelt und für Analysen bereitstellt.
- Lakehouse-Architektur
- Hybrid-Ansatz, der Datenbank- und Data-Lake-Konzepte kombiniert, um strukturierte und unstrukturierte Daten zentral zu speichern und zu analysieren.
- Medallion-Konzept
- Architektur-Muster für Data Lakes mit Bronze-, Silver- und Gold-Schichten; strukturiert Datenverarbeitung von rohen bis zu bereinigten, nutzbaren Daten.
- Talend
- Datenintegrations- und ETL-Tool (Extract, Transform, Load) zur Verarbeitung und Bewegung von Daten zwischen Systemen.
- SAP Data Services
- ETL-Tool von SAP zur Extraktion, Transformation und Beladung von Daten aus verschiedenen Quellen.
- Git
- Versionskontrollsystem zur Verwaltung von Codeänderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Änderungen ermöglicht.
- Datenqualitätsmanagement
- Prozesse und Methoden zur Sicherung, Überwachung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten.
- Datenvalidierung
- Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln oder Formate.
- Regressionstests
- Softwaretests, die überprüfen, ob bereits getestete Funktionen nach Änderungen oder Updates noch fehlerfrei funktionieren.
- Source-to-Target Mapping
- Prozess, bei dem Datenfelder aus einem Quellsystem auf entsprechende Felder in einem Zielsystem abgebildet werden.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Data lineage
- Nachverfolgung der Herkunft und des Verlaufs von Daten durch IT-Systeme; zeigt, wo Daten entstehen, verarbeitet und verwendet werden.
- Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.
- Debezium
- Open-Source-Plattform zur Erfassung von Datenänderungen aus Datenbanken in Echtzeit; wird eingesetzt, um Datenbankänderungen in Event-Streams umzuwandeln und an andere Systeme weiterzuleiten.
- CDC
- Change Data Capture – Technik zur Erfassung von Datenänderungen in Datenbanken; wird eingesetzt, um Änderungen zu verfolgen und zu synchronisieren.
- Delta Live Tables
- Databricks-Feature für deklarative Daten-Pipeline-Verwaltung; ermöglicht die Definition und Automatisierung von Datenverarbeitungsschritten.
- Performance tuning
- Optimierung von Systemen, Anwendungen oder Code, um Geschwindigkeit, Effizienz und Ressourcennutzung zu verbessern.
- Airflow
- Open-Source-Plattform zur Planung, Überwachung und Automatisierung von Datenverarbeitungs-Workflows.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Data modeling
- Methode zur strukturierten Darstellung und Organisation von Daten in Datenbanken oder Informationssystemen, um Beziehungen und Abhängigkeiten abzubilden.
- Data Vault
- Datenmodellierungsmethode zur strukturierten Speicherung von Rohdaten in Data Warehouses mit Fokus auf Flexibilität und Nachverfolgbarkeit.
- Qlik
- Business-Intelligence- und Datenvisualisierungstool zur interaktiven Analyse und Darstellung von Daten.
- BI-Lösungen
- Business Intelligence-Systeme zur Datenanalyse und Visualisierung; werden verwendet, um Geschäftsdaten auszuwerten und Entscheidungen datengestützt zu treffen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein SQL-Profil zum Markt?
- ✓ Market Fit gegen 749 SQL-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,7 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 92 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche aktive Projekte
- Data Architect (Airflow, GitLab CI/CD, AWS) (m/w/d) remote
- AIMI DISA Data Engineer (m/w/d)
- Data Engineer (Python, Microsoft SQL Server, AWS) (m/w/d) 95% remote
- Data Steward / Scientific Expert
- Data Architect – SSIS, SSRS, Microsoft-Azure-Cloud, Azure Data Factory, Bicep (m/w/d)
- Data Warehouse Consultant (m/w/x)
- Data Scientist (m/w/d)
- Data-Warehousing Consultant (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten