Data Engineer Python / Airflow / Azure Databricks
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
Ihre Aufgaben: - Entwicklung und Weiterentwicklung von Data Products - Aufbau und Pflege von Ingestion- und Transformationspipelines - Sicherstellung von Datenqualität und Performance - Entwicklung und Verwaltung von Apache-Airflow-DAGs - Mitarbeit bei Architekturentscheidungen rund um die Data Platform - Unterstützung der Migration in Richtung Azure Databricks - Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner - Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
Ihr Profil: - Mehrjährige Erfahrung als Data Engineer - Sehr gute Kenntnisse in Python (pandas, polars, Poetry) - Fundierte Erfahrung mit Apache Airflow - Sehr gute SQL- und PostgreSQL-Kenntnisse - Erfahrung mit Azure Databricks - Kenntnisse in Docker, Kubernetes oder OpenShift - Erfahrung mit Azure DevOps / CI/CD - Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen - Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3 - Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit
Wir bieten eine 100%-Stelle mit einer Projektdauer von mindestens 3 Monaten an einem innovativen Standort.
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Pandas
- Python-Bibliothek zur Datenanalyse und -manipulation, die Datenstrukturen wie DataFrames für tabellarische Daten bereitstellt.
- Polars
- Ein modernes Python-Framework zur schnellen Datenverarbeitung und -analyse; dient als Alternative zu Pandas mit besserer Performance bei großen Datenmengen.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Postgresql
- Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
- Azure Databricks
- Cloud-Plattform von Microsoft für Datenanalyse und Machine Learning; wird zur Verarbeitung großer Datenmengen und Erstellung von Datenmodellen eingesetzt.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- OpenShift
- Container-Orchestrierungsplattform von Red Hat auf Basis von Kubernetes; verwaltet und skaliert containerisierte Anwendungen.
- Azure DevOps
- Plattform von Microsoft für Softwareentwicklung, die Tools für Versionskontrolle, Projektmanagement, Testing und Deployment bereitstellt.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Data Contracts
- Vereinbarungen, die Struktur, Format und Qualitätsstandards von Daten zwischen Systemen oder Teams definieren, um Datenaustausch zuverlässig zu gestalten.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Consultant / Full-Stack Developer
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Oracle Entwickler (m/w/d)
- Senior BI- und Data-Analyst (m/w/d)
- Data Domain Manager (m/w/d)
- Remote Senior Data Engineer – Databricks / Azure Data Platform
- Senior Data Migration Engineer (SQL / PostgreSQL / MS SQL)
- Reporting / Business Analyse / PL/SQL
- Senior Business Analyst – Data & Governance (Nachhaltigkeit)
- Business Analyst mit SQL-/PL/SQL-Erfahrung
- BI Developer / Snowflake – SQL & Power BI
- Data Engineer (m/w/d)
- Architect Expert for Databricks and Tableau Reporting Transformation (m/f/d)
- Senior Data Engineer – Azure Data Products (m/w/d)
- Spezialist Data Analytics & Projektmanagement (m/w/d)
- Lead Analyst - Master Data Operations
- Denodo Solution Architect – sozialversicherungspflichtig angestellt (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten