Senior Data Engineer
🏛 Ausgeschrieben von VARIUS IT GmbH & Co. KGFür einen führenden deutschen Versicherungskonzern suchen wir einen erfahrenen Senior Data Engineer zur Unterstützung einer umfassenden IT-Transformations-Roadmap. Im Rahmen einer Merger-bedingten Modernisierung verantworten Sie den Aufbau einer modernen Azure-Cloud-Plattform und die Weiterentwicklung der Lakehouse-Architektur.
Ihre Hauptaufgaben umfassen die Weiterentwicklung der Azure Databricks Plattform zu einem vollwertigen Lakehouse unter Berücksichtigung von Data Products und Data Contracts. Sie designen und administrieren Databricks Workspaces inklusive komplexer Berechtigungsstrukturen mit Unity Catalog und entwickeln resiliente Datenpipelines mit PySpark inklusive Testautomatisierung und Packaging.
Zu Ihren Verantwortlichkeiten gehört außerdem das Deployment und die Verwaltung von Databricks Assets mit Declarative Automation Bundles (DABs), die Implementierung von Datenpartitionierung in Delta Lake sowie die Sicherstellung hoher Datenqualität. Ein wesentlicher Projektbestandteil ist die Migration bestehender Datenpipelines und Daten in den neuen Azure Tenant.
Wir erwarten tiefes Verständnis von Berechtigungsstrukturen in Azure Databricks mit Unity Catalog sowie praktische Erfahrung im Design und der Administration von Databricks Workspaces. Praxiserfahrung in der Entwicklung resilienter PySpark-Datenpipelines inklusive Testautomatisierung ist ebenso erforderlich wie Kenntnisse in Declarative Automation Bundles (DABs) und Data Contracts.
Erfahrung mit Datenpartitionierung und Datenspeicherung in Delta Lake sowie mit CI/CD-Pipelines (GitLab CI/CD und/oder GitHub Actions) runden Ihr Profil ab. Sehr gute Deutschkenntnisse sind für diese Position unerlässlich.
Die Position wird ausschließlich in Arbeitnehmerüberlassung besetzt und bietet die Möglichkeit, an einem strategisch wichtigen Transformationsprojekt mitzuwirken.
Skills erklärt
- Azure Databricks
- Cloud-Plattform von Microsoft für Datenanalyse und Machine Learning; wird zur Verarbeitung großer Datenmengen und Erstellung von Datenmodellen eingesetzt.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Declarative Automation Bundles
- Paketierte Automatisierungslösungen, die Infrastruktur und Prozesse durch deklarative Beschreibungen (statt imperativer Befehle) konfigurieren.
- Data Contracts
- Vereinbarungen, die Struktur, Format und Qualitätsstandards von Daten zwischen Systemen oder Teams definieren, um Datenaustausch zuverlässig zu gestalten.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- GitLab CI/CD
- Integrierte Plattform in GitLab für kontinuierliche Integration und kontinuierliche Bereitstellung von Softwareprojekten mit automatisierten Tests und Deployments.
- GitHub Actions
- Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
- Testautomatisierung
- Einsatz von Softwaretools und Skripten zur automatisierten Durchführung von Tests statt manueller Testausführung.
- Datenpartitionierung
- Technik zur Aufteilung großer Datenmengen in kleinere, logische oder physische Segmente für bessere Performance und Verwaltbarkeit.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein PySpark-Profil zum Markt?
- ✓ Market Fit gegen 35 PySpark-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,1 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 99 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Entwicklung und Betreuung von Schnittstellen zwischen Microsoft Dynamics 365 und BI-Landschaft
- BI / Data Engineer (m/w/d) mit Fokus auf AWS / dbt / Power BI / Microsoft Fabric
- Industrial Data & IT/OT Integration Architect / Shopfloor (m/w/d)
- Data Engineer (m/w/d)
- Data Warehouse Entwickler (w/m/d)
- Data Engineer (m/w/d) im Rahmen der Arbeitnehmerüberlassung
- Technischer Business Analyst mit Sicherheiten KnowHow (m/w/d)
- Data Analytics & Projektmanagement (m/w/d)
- Data Engineer/ Analyst (m/w/d) Aufbau Datenplattform in Stuttgart und Remote
- Data Analytics Platform Development with AI and GCP
- NeoXam DataHub Experte
- Retail & Pricing Analyst (m/w/d)
- Specialist Commercial Analytics & Performance (m/w/d)
- 100% Remote - Data Engineer (f/m/d) with Databricks Know-How
- Business Intelligence Entwickler
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten