Data Engineer Python / Airflow / Azure Databricks
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
Ihre Aufgaben: - Entwicklung und Weiterentwicklung von Data Products - Aufbau und Pflege von Ingestion- und Transformationspipelines - Sicherstellung von Datenqualität und Performance - Entwicklung und Verwaltung von Apache-Airflow-DAGs - Mitarbeit bei Architekturentscheidungen rund um die Data Platform - Unterstützung der Migration in Richtung Azure Databricks - Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner - Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
Ihr Profil: - Mehrjährige Erfahrung als Data Engineer - Sehr gute Kenntnisse in Python (pandas, polars, Poetry) - Fundierte Erfahrung mit Apache Airflow - Sehr gute SQL- und PostgreSQL-Kenntnisse - Erfahrung mit Azure Databricks - Kenntnisse in Docker, Kubernetes oder OpenShift - Erfahrung mit Azure DevOps / CI/CD - Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen - Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3 - Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit
Wir bieten eine 100%-Stelle mit einer Projektdauer von mindestens 3 Monaten an einem innovativen Standort.
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Pandas
- Python-Bibliothek zur Datenanalyse und -manipulation, die Datenstrukturen wie DataFrames für tabellarische Daten bereitstellt.
- Polars
- Ein modernes Python-Framework zur schnellen Datenverarbeitung und -analyse; dient als Alternative zu Pandas mit besserer Performance bei großen Datenmengen.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Postgresql
- Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
- Azure Databricks
- Cloud-Plattform von Microsoft für Datenanalyse und Machine Learning; wird zur Verarbeitung großer Datenmengen und Erstellung von Datenmodellen eingesetzt.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- OpenShift
- Container-Orchestrierungsplattform von Red Hat auf Basis von Kubernetes; verwaltet und skaliert containerisierte Anwendungen.
- Azure DevOps
- Plattform von Microsoft für Softwareentwicklung, die Tools für Versionskontrolle, Projektmanagement, Testing und Deployment bereitstellt.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Data Contracts
- Vereinbarungen, die Struktur, Format und Qualitätsstandards von Daten zwischen Systemen oder Teams definieren, um Datenaustausch zuverlässig zu gestalten.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 874 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,9 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 109 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Data Analyst (m/w/d)
- Senior Data Engineer (PostgreSQL, PostGIS, Python) (m/w/d) 95% remote
- Remote Senior Data Engineer – Databricks / Azure Data Platform
- Reporting / Business Analyse / PL/SQL
- Business Analyst mit SQL-/PL/SQL-Erfahrung
- Spezialist Data Analytics & Projektmanagement (m/w/d)
- Denodo Solution Architect – sozialversicherungspflichtig angestellt (m/w/d)
- Data Architect (Denodo, Datenmodellierung, Security) (m/w/d) 100% remote
- Senior Data Migration Engineer (SQL / PostgreSQL / MS SQL)(abgelaufen)
- Senior Business Analyst – Data & Governance (Nachhaltigkeit)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten