Dieses Projekt ist abgelaufen (seit 24.10.2026).
Die Ausschreibung ist nicht mehr aktuell. Unten findest du ähnliche aktive Projekte, oder du siehst dir alle aktuellen IT-Projekte an.
Data Engineer – Batch & Streaming Pipelines
🏛 Ausgeschrieben von Halian GmbHWir suchen einen erfahrenen Data Engineer zur Verstärkung unseres Technologie-Teams. In dieser Rolle gestalten, entwickeln und betreiben Sie moderne Datenplattformen, die Analytics, Reporting und geschäftskritische Entscheidungsfindung ermöglichen.
Ihre Aufgaben umfassen die Definition und Entwicklung von Services für großflächige Datenerfassung, -speicherung und -verwaltung über relationale Datenbanken, NoSQL-Systeme, Log-Dateien und Event-Streams. Sie entwerfen und betreiben robuste Batch- und Streaming-Datenpipelines in Produktionsumgebungen und gewährleisten dabei Skalierbarkeit, Performance und Zuverlässigkeit. Sie entwickeln hochgradig nebenläufige, latenzarme Systeme und arbeiten mit strukturierten und unstrukturierten Datenmengen.
Sie implementieren Workflows und Pipelines mit Tools wie Apache NiFi, Kafka, Spark, Flink und Airflow für Batch- und Echtzeit-Verarbeitungsfälle. Die Zusammenarbeit mit internen Produktteams und externen Dienstleistern zur Ermöglichung von Integrationen und kontinuierlichen Verbesserungen der Datenplattformen gehört zu Ihren Verantwortungen. Sie partizipieren in Sprint-Planung und Delivery-Aktivitäten und stellen sicher, dass Lösungen deploybar, beobachtbar und operativ verwaltbar sind.
Erforderlich sind ein Bachelor-Abschluss in Informatik oder verwandtem Bereich sowie 3–5 Jahre Berufserfahrung als Data Engineer. Sie bringen starke Erfahrung in der Gestaltung und dem Betrieb von Datenpipelines mit, verstehen verteilte Datenarchitekturen, Datenmodellierung und Change Data Capture. Proficiency in Batch- und Echtzeit-Verarbeitung, Vertrautheit mit Datenformaten wie Avro und Parquet sowie starke Programmierfähigkeiten sind essentiell. Erfahrung in Agile-Umgebungen und mit Versionskontrollsystemen wird vorausgesetzt.
Skills erklärt
- Apache Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit, häufig für Datenaustausch zwischen Systemen genutzt.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Apache Flink
- Open-Source-Framework für verteilte Datenverarbeitung und Stream-Processing in Echtzeit.
- Apache NiFi
- Open-Source-Software zur Automatisierung des Datenflusses zwischen Systemen mit grafischer Bedienung und Datenrouting-Funktionen.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Big Data Engineering
- Planung und Aufbau von Systemen zur Verarbeitung sehr großer Datenmengen; umfasst Speicherung, Verarbeitung und Analyse von Daten im Terabyte- bis Petabyte-Bereich.
- Distributed Data Architectures
- Architektur-Konzepte für Datenverarbeitung über mehrere räumlich verteilte Systeme und Server; ermöglichen Skalierbarkeit und Ausfallsicherheit.
- Data modeling
- Methode zur strukturierten Darstellung und Organisation von Daten in Datenbanken oder Informationssystemen, um Beziehungen und Abhängigkeiten abzubilden.
- Data Warehousing
- Konzept zur zentralisierten Speicherung und Verwaltung großer Datenmengen aus verschiedenen Quellen für Analysen und Reporting.
- OLAP
- Technologie zur schnellen Analyse großer Datenmengen aus verschiedenen Blickwinkeln, häufig für Business-Intelligence-Berichte eingesetzt.
- Change Data Capture (CDC)
- Technik zur Erfassung von Datenänderungen in Datenbanken; ermöglicht die Identifikation und Verarbeitung von Änderungen für Synchronisation oder Replikation.
- Debezium
- Open-Source-Plattform zur Erfassung von Datenänderungen aus Datenbanken in Echtzeit; wird eingesetzt, um Datenbankänderungen in Event-Streams umzuwandeln und an andere Systeme weiterzuleiten.
- Minio
- Open-Source-Objektspeichersystem, das S3-kompatibel ist; wird eingesetzt, um große Datenmengen dezentral oder in der Cloud zu speichern und zu verwalten.
- Amazon S3
- Cloud-Speicherdienst von Amazon Web Services zum Speichern und Abrufen großer Datenmengen über das Internet.
- Batch Processing
- Verarbeitung großer Datenmengen in zeitgesteuerten Blöcken ohne direkte Benutzerinteraktion; wird für regelmäßige Massenoperationen wie Abrechnungen oder Datenimporte eingesetzt.
- Streaming Data Processing
- Echtzeit-Verarbeitung von kontinuierlich eintreffenden Datenströmen; ermöglicht sofortige Analyse und Reaktion auf Daten während ihrer Erfassung.
- Avro
- Serialisierungsformat und RPC-Framework von Apache zur effizienten Datenspeicherung und Übertragung zwischen Systemen.
- Parquet
- Spaltenorientiertes Dateiformat für effiziente Speicherung und Verarbeitung großer Datenmengen in Big-Data-Systemen.
- ORC
- Optical Character Recognition – Technologie zur automatischen Erkennung und Umwandlung von gedrucktem oder handschriftlichem Text in digitale Daten.
- Programming
- Programming ist die Erstellung von Computerprogrammen durch Schreiben von Code in Programmiersprachen. Es wird eingesetzt, um Software-Anwendungen, Automatisierungen und digitale Lösungen zu entwickeln.
- Scripting
- Programmierung von Automatisierungsskripten in Skriptsprachen, um wiederkehrende Aufgaben oder Systemvorgänge zu automatisieren.
- Git
- Versionskontrollsystem zur Verwaltung von Codeänderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Änderungen ermöglicht.
- Agile
- Iterative Projektmanagement-Methode, die Flexibilität, regelmäßiges Feedback und inkrementelle Lieferung von Ergebnissen betont.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- Cloud-native Architectures
- Softwarearchitektur-Ansatz, der Anwendungen speziell für Cloud-Umgebungen mit Containerisierung, Microservices und automatischer Skalierung entwickelt.
- NoSQL databases
- Datenbanksysteme ohne starre Tabellenstruktur, die große Mengen unstrukturierter oder semi-strukturierter Daten speichern.
- Relational Databases
- Datenbanksysteme, die Daten in Tabellen mit Beziehungen zueinander speichern und über SQL abgefragt werden.
- Machine Learning Data Workloads
- Datenverarbeitungsprozesse und -aufgaben, die speziell für das Training und die Ausführung von Machine-Learning-Modellen optimiert sind.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Apache Spark-Profil zum Markt?
- ✓ Market Fit gegen 76 Apache Spark-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,5 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 311 €/h (Gesamtmarkt)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche aktive Projekte
- Freelance technischer Produktionsplaner (m/w/d)
- Business Intelligence Developer / Qlik Sense (w/m/d)
- Data Architect mit AWS/Big-Data-Erfahrung (m/w/d) - 100% Remote
- Data Scientist Life Science (m/w/d)
- GCP Data Engineer
- Data Architect (Airflow, GitLab CI/CD, AWS) (m/w/d) remote
- AIMI DISA Data Engineer (m/w/d)
- Data Engineer (Python, Microsoft SQL Server, AWS) (m/w/d) 95% remote
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten