Zum Hauptinhalt springen
Data & Analyticsvor 157 Tagen

Senior Data Engineer (m/w/d)

🏛 Ausgeschrieben von emagine GmbH
Contracting⏱ 15 Monate📍 Cologne 🏢 50% vor Ort 🎓 Senior 🌐 Deutsch

Wir suchen einen erfahrenen Senior Data Engineer für die Weiterentwicklung einer Analytics Plattform im Versicherungsbereich. Die Position bietet die Möglichkeit, eine entscheidende Rolle bei der Transformation zu einem modernen Lakehouse zu spielen und umfassende Erfahrungen mit Azure Databricks zu sammeln.

Zu den Hauptaufgaben gehören die Unterstützung bei der Weiterentwicklung der Plattform zu einem Lakehouse sowie die Mitarbeit an der Migration in einen neuen Azure Tenant. Sie werden die technische Anbindung weiterer IT-Systeme vorantreiben und Entwicklungsprozesse für Lakehouse-Entwickler implementieren. Weitere Schwerpunkte liegen auf der automatischen Bereitstellung von Berechtigungsgruppen und Monitoring-Dashboards, der Migration bestehender Assets und Daten-Pipelines sowie der Integration von CI/CD-Prozessen.

Wir erwarten ein tiefes Verständnis von Berechtigungsstrukturen innerhalb von Databricks mit Unity Catalog sowie Erfahrung im Design und der Administration von Databricks Workspaces. Kenntnisse in der Entwicklung resilienter Data-Pipelines mit PySpark inklusive Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles sind essentiell. Zusätzlich sind Kenntnisse von Data Contracts, Partitionierung von Daten in Delta Lake und Erfahrung mit CI/CD-Tools erforderlich.

Wünschenswert sind Erfahrungen in der Implementierung von Daten-Ingest und Transformationen, Kenntnisse im Bereich Cloud-Architekturen sowie Vertrautheit mit AI-Systemen und deren Hosting.

Die Position ist als Hybrid-Arbeitsplatz in Köln konzipiert und auf eine Laufzeit von über 12 Monaten ausgelegt. Der Start ist schnellstmöglich vorgesehen.

Skills erklärt

Azure Databricks
Cloud-Plattform von Microsoft für Datenanalyse und Machine Learning; wird zur Verarbeitung großer Datenmengen und Erstellung von Datenmodellen eingesetzt.
Unity Catalog
Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
PySpark
Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
Delta Lake
Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
Data pipelines
Automatisierte Prozesse zur Erfassung, Verarbeitung, Transformation und Bereitstellung von Daten zwischen verschiedenen Systemen.
GitLab CI/CD
Integrierte Plattform in GitLab für kontinuierliche Integration und kontinuierliche Bereitstellung von Softwareprojekten mit automatisierten Tests und Deployments.
GitHub Actions
Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
Declarative Automation Bundles
Paketierte Automatisierungslösungen, die Infrastruktur und Prozesse durch deklarative Beschreibungen (statt imperativer Befehle) konfigurieren.
Data Contracts
Vereinbarungen, die Struktur, Format und Qualitätsstandards von Daten zwischen Systemen oder Teams definieren, um Datenaustausch zuverlässig zu gestalten.
Cloud-Architekturen
Planung und Gestaltung von IT-Systemen, die auf Cloud-Infrastrukturen (wie AWS, Azure oder Google Cloud) aufgebaut sind und Skalierbarkeit sowie Flexibilität bieten.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

  • ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
  • ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
  • ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
  • ✓ Kostenlos starten – keine Kreditkarte erforderlich

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?
Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
Wie schreibt Nexus den Bewerbungstext?
Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
Welche Projektplattformen werden unterstützt?
Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
Kostet Nexus etwas?
Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Nie wieder Bewerbungen schreiben.

Nexus matcht deine Skills und schreibt Bewerbungen automatisch.

Kostenlos registrieren →

Keine Kreditkarte erforderlich

Kostenloser CV-Check

Wie gut passt dein PySpark-Profil zum Markt?

  • ✓ Market Fit gegen 35 PySpark-Ausschreibungen
  • ✓ Welche Skills dir fehlen und was sie bringen
  • ✓ Dein Stundensatz im Vergleich
CV vor die Jury bringen →

Kostenlos · anonym gespeichert · von FreelancerJury

Marktgeschwindigkeit

⏳

Projekte dieser Skills werden nach durchschnittlich 3,5 Tagen geschlossen.

Stundensatz vs. Markt

Kein Stundensatz für dieses Projekt hinterlegt.

Ø 99 €/h (für diese Skills)

Untergrenze 38 €Median 90 €Top 10% 115 €

Tipp

Zeiterfassung & Projektverwaltung

Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.

Flow ausprobieren

Ähnliche Projekte

Tipp

Konferenzraum in Hamburg

Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.

Konferenzraum mieten