Data Engineer – Freelance (m/w/d)
🏛 Ausgeschrieben von Halian GmbHFür ein datengetriebenes Transformationsprojekt suchen wir einen freiberuflichen Data Engineer (m/w/d) mit Schwerpunkt auf modernen Cloud-Datenplattformen, ETL/ELT-Pipelines und Data Architecture.
Rahmenbedingungen: Start: Ab sofort Dauer: 6 Monate (Verlängerung möglich) Arbeitsort: Remote Auslastung: Vollzeit
Aufgaben: - Analyse bestehender Datenlandschaften und Datenflüsse - Konzeption und Aufbau skalierbarer Datenarchitekturen (Data Lake, Data Warehouse, Streaming) - Entwicklung und Optimierung von ETL/ELT-Pipelines - Implementierung von Datenmodellen und Datenstrukturen für Analytics und Reporting - Integration verschiedener Datenquellen (APIs, Datenbanken, Cloud-Services) - Sicherstellung von Datenqualität, Monitoring und Governance - Erstellung technischer Dokumentationen - Beratung des internen Data & Analytics Teams
Anforderungen (Must Have): - Sehr gute Kenntnisse in mindestens einer Cloud-Plattform (AWS, Azure oder GCP) - Fundierte Erfahrung in Data Engineering Projekten (Batch & Streaming) - Sehr gute Kenntnisse in SQL sowie mindestens einer Programmiersprache (Python, Scala oder Java) - Erfahrung mit modernen ETL/ELT-Tools (z. B. dbt, Airflow, Azure Data Factory, AWS Glue) - Erfahrung im Aufbau von Data Lakes und Data Warehouses - Verhandlungssichere Deutschkenntnisse - Erfahrung in Anforderungsanalyse, technischer Konzeption und Dokumentation
Nice to Have: - Kenntnisse in Big Data Technologien (Spark, Kafka, Databricks) - Erfahrung mit Data Governance, Data Quality und Observability - Kenntnisse in Container- und Orchestrierungsumgebungen (Docker, Kubernetes) - Erfahrung mit Machine Learning Pipelines oder MLOps - Erfahrung im Change oder Stakeholder Management
Skills erklärt
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Scala
- Programmiersprache, die funktionale und objektorientierte Programmierung kombiniert und auf der Java Virtual Machine läuft; wird eingesetzt für die Entwicklung skalierbarer Anwendungen und Big-Data-Verarbeitung.
- Java
- Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- Azure Data Factory
- Cloud-Service von Microsoft zur Orchestrierung und Automatisierung von Datenverarbeitungsprozessen; ermöglicht das Verschieben und Transformieren von Daten zwischen verschiedenen Quellen.
- AWS Glue
- Cloud-Service von Amazon Web Services zur automatisierten Datenintegration, Bereinigung und Vorbereitung von Daten aus verschiedenen Quellen.
- Data Lakes
- Zentrale Speichersysteme für große Mengen unstrukturierter und strukturierter Daten; werden für Datenanalyse und Business Intelligence genutzt.
- Data Warehouses
- Zentrale Datenbanksysteme, die große Mengen strukturierter Daten aus verschiedenen Quellen sammeln und für Analysen und Berichte bereitstellen.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Apache Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit, häufig für Datenaustausch zwischen Systemen genutzt.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Data Quality
- Bewertung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten; wird in Datenmanagement und Business Intelligence eingesetzt.
- MLOps
- Praktiken und Tools zur Verwaltung von Machine-Learning-Modellen in Produktion, ähnlich wie DevOps für klassische Software – umfasst Training, Deployment, Monitoring und Wartung von KI-Systemen.
- Anforderungsanalyse
- Prozess zur Erfassung, Dokumentation und Validierung von Anforderungen für IT-Projekte oder Softwareentwicklung.
- Technische Dokumentation
- Schriftliche Beschreibung von technischen Systemen, Software oder Prozessen, die Benutzern oder Entwicklern hilft, diese zu verstehen und zu nutzen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- Senior IT-Berater / Digitalisierungsexperte für Pensionsverwaltung
- IT-Consultant / Full-Stack Developer
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Data Engineering-Profil zum Markt?
- ✓ Market Fit gegen 97 Data Engineering-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,3 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 105 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Report Analyst – Dashboard Design / PL/SQL / XML
- Data Governance/Purview Expert (m/w/d)
- Data Architect (w/m/d)
- Senior Data Analyst (m/f/d)
- Entwicklung und Betreuung von Schnittstellen zwischen Microsoft Dynamics 365 und BI-Landschaft
- BI / Data Engineer (m/w/d) mit Fokus auf AWS / dbt / Power BI / Microsoft Fabric
- Industrial Data & IT/OT Integration Architect / Shopfloor (m/w/d)
- Data Engineer (m/w/d)
- Data Warehouse Entwickler (w/m/d)
- Data Engineer (m/w/d) im Rahmen der Arbeitnehmerüberlassung
- Technischer Business Analyst mit Sicherheiten KnowHow (m/w/d)
- Data Analytics & Projektmanagement (m/w/d)
- Data Engineer/ Analyst (m/w/d) Aufbau Datenplattform in Stuttgart und Remote
- Data Analytics Platform Development with AI and GCP
- NeoXam DataHub Experte
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten