Senior Data Engineer (m/w/d)

Wir suchen einen erfahrenen Senior Data Engineer für die Weiterentwicklung einer Analytics Plattform im Versicherungsbereich. Die Position bietet die Möglichkeit, eine entscheidende Rolle bei der Transformation zu einem modernen Lakehouse zu spielen und umfassende Erfahrungen mit Azure Databricks zu sammeln.

Zu den Hauptaufgaben gehören die Unterstützung bei der Weiterentwicklung der Plattform zu einem Lakehouse sowie die Mitarbeit an der Migration in einen neuen Azure Tenant. Sie werden die technische Anbindung weiterer IT-Systeme vorantreiben und Entwicklungsprozesse für Lakehouse-Entwickler implementieren. Weitere Schwerpunkte liegen auf der automatischen Bereitstellung von Berechtigungsgruppen und Monitoring-Dashboards, der Migration bestehender Assets und Daten-Pipelines sowie der Integration von CI/CD-Prozessen.

Wir erwarten ein tiefes Verständnis von Berechtigungsstrukturen innerhalb von Databricks mit Unity Catalog sowie Erfahrung im Design und der Administration von Databricks Workspaces. Kenntnisse in der Entwicklung resilienter Data-Pipelines mit PySpark inklusive Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles sind essentiell. Zusätzlich sind Kenntnisse von Data Contracts, Partitionierung von Daten in Delta Lake und Erfahrung mit CI/CD-Tools erforderlich.

Wünschenswert sind Erfahrungen in der Implementierung von Daten-Ingest und Transformationen, Kenntnisse im Bereich Cloud-Architekturen sowie Vertrautheit mit AI-Systemen und deren Hosting.

Die Position ist als Hybrid-Arbeitsplatz in Köln konzipiert und auf eine Laufzeit von über 12 Monaten ausgelegt. Der Start ist schnellstmöglich vorgesehen.