Senior Data Engineer (Python/Databricks)

Wir suchen einen erfahrenen Senior Data Engineer (m/f/d) für ein 6-monatiges Projekt im Umfang von 100 Tagen (Teilzeit) mit flexibler Remote-Arbeit und Standort Berlin. Starttermin: 01.07.2026.

Aufgaben: Sie werden verantwortlich für die Konzeption, Entwicklung und Optimierung von Databricks-Notebooks und strukturierten Workflows mit Fokus auf modularen, wiederverwendbaren Code. Sie verwalten Databricks-Tabellen, optimieren Speicherschichten und implementieren Partitionierungs-, Indexierungs- und Datenkompaktierungsstrategien für maximale Performance und Kosteneffizienz. Die Bereitstellung von Datenpipelines und Analytics-Lösungen nach Databricks Best Practices, einschließlich Versionskontrolle, Continuous Integration und Monitoring, gehört zu Ihren Kernaufgaben. Sie entwickeln Datenpipelines und Automatisierungsskripte in Python, führen Code-Reviews durch und tragen zur Sicherheit und Qualität des Codes bei. Darüber hinaus koordinieren Sie mit verschiedenen Stakeholdern, um Entwicklung mit Governance-, Sicherheits- und Compliance-Anforderungen abzustimmen, unterstützen technische Verfeinerungssitzungen und dokumentieren technische Aspekte des Projekts.

Anforderungen: Minimum 4 Jahre Erfahrung in Data Engineering mit Python und mindestens 3 Jahre mit Datenprodukten (Databricks/Spark, Data Lake). Erforderlich sind Kenntnisse in Git, Versionskontrolle, Release Management und CI/CD. Erfahrung mit Output Ports, Performance SLAs, Caching-Strategien sowie REST- und nachrichtenbasierte Output Ports ist notwendig. Sprachanforderungen: Deutsch B2 oder höher, Englisch C1 oder höher. Vorteilhaft sind Erfahrungen mit Apache Spark, Airflow, Kafka, Azure Data Engineering Stack, Clean Architecture, Data Meshing und Energiewirtschaft.