Zum Hauptinhalt springen

Dieses Projekt ist abgelaufen (seit 15.11.2026).

Die Ausschreibung ist nicht mehr aktuell. Unten findest du ähnliche aktive Projekte, oder du siehst dir alle aktuellen IT-Projekte an.

Data Engineer (Mid-Level)

🏛 Ausgeschrieben von Halian GmbH
Contracting📍 Abu Dhabi, United Arab Emirates 🏢 100% vor Ort ⏳ 100% Auslastung 🎓 Medior 🌐 Englisch

Wir suchen einen erfahrenen Data Engineer für eine wachsende Technologie-Abteilung in Abu Dhabi. Sie werden eine Schlüsselrolle bei der Gestaltung, Entwicklung und Wartung hochperformanter Datenplattformen spielen, die Analytics, KI und geschäftskritische Entscheidungsfindung unterstützen.

Ihre Aufgaben umfassen die Konzeption und den Aufbau skalierbarer Datenplattformen für umfangreiche Analytics- und Betriebslasten. Sie entwickeln robuste Batch- und Echtzeit-Datenpipelines zur Erfassung, Transformation und Verarbeitung strukturierter und unstrukturierter Daten. Dabei optimieren Sie Datenarchitekturen für Business Intelligence, Advanced Analytics, Machine Learning und KI-Initiativen.

Ein weiterer Schwerpunkt liegt auf Datensicherheit und -qualität: Sie implementieren Sicherheitskontrollen wie Verschlüsselung, Maskierung und Zugriffsverwaltung. Gleichzeitig etablieren Sie Datenqualitäts-Frameworks, Validierungsregeln und Governance-Kontrollen. Sie überwachen die Plattformleistung, optimieren Skalierbarkeit und Betriebskosten sowie beheben Produktionsprobleme.

Zudem arbeiten Sie eng mit Product-, Engineering-, Data Science- und Analytics-Teams zusammen, um hochwertige Datenlösungen bereitzustellen. Sie unterstützen KI- und datengesteuerte Initiativen durch die Bereitstellung skalierbarer Datensätze und Datenservices.

Wir erwarten einen Bachelor-Abschluss in Informatik, Softwareentwicklung, Data Engineering oder verwandten Feldern sowie 3–5 Jahre Erfahrung in Data Engineering oder Big Data Engineering. Sie sollten nachgewiesene Erfahrung mit Enterprise-Scale-Datenplattformen mitbringen und ein starkes Verständnis moderner Data-Engineering-Praktiken haben.

Dies ist eine unbefristete Vollzeitstelle für einen talentierten Fachmann, der sich für Big Data, Cloud-Technologien und moderne Datenengineering-Praktiken begeistert.

Anforderungen

Rollenfamilie
Daten / KI
Berufserfahrung
mindestens 3 Jahre
Zertifikate
Databricks Certification, Confluent Kafka Certification, AWS Data Analytics Certification, Microsoft Azure Data Engineer Associate, Google Professional Data Engineer
Rechtsform
Einzelfreelancer möglich

Projekt

Vermittlung
Über Vermittler

Skills erklärt

Apache Kafka
Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit, häufig für Datenaustausch zwischen Systemen genutzt.
Apache Spark
Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
Apache Flink
Open-Source-Framework für verteilte Datenverarbeitung und Stream-Processing in Echtzeit.
Apache NiFi
Open-Source-Software zur Automatisierung des Datenflusses zwischen Systemen mit grafischer Bedienung und Datenrouting-Funktionen.
Apache Airflow
Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
Python
Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
Scala
Programmiersprache, die funktionale und objektorientierte Programmierung kombiniert und auf der Java Virtual Machine läuft; wird eingesetzt für die Entwicklung skalierbarer Anwendungen und Big-Data-Verarbeitung.
Java
Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
SQL
Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
Git
Versionskontrollsystem zur Verwaltung von Codeänderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Änderungen ermöglicht.
Postgresql
Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
Oracle
Großes relationales Datenbanksystem für die Verwaltung großer Datenmengen in Unternehmen; wird für komplexe Geschäftsanwendungen und Datenspeicherung eingesetzt.
SQL Server
Relationales Datenbankmanagementsystem von Microsoft zur Speicherung, Verwaltung und Abfrage strukturierter Daten in Unternehmen.
NoSQL
Datenbanktyp, der Daten nicht in Tabellen speichert, sondern in flexiblen Formaten wie Dokumenten oder Key-Value-Paaren; geeignet für große, unstrukturierte Datenmengen.
Minio
Open-Source-Objektspeichersystem, das S3-kompatibel ist; wird eingesetzt, um große Datenmengen dezentral oder in der Cloud zu speichern und zu verwalten.
S3
Amazon Simple Storage Service, ein Cloud-Speicherdienst für große Datenmengen; wird verwendet, um Dateien, Backups und Daten flexibel in der Cloud zu speichern und zu verwalten.
Avro
Serialisierungsformat und RPC-Framework von Apache zur effizienten Datenspeicherung und Übertragung zwischen Systemen.
Parquet
Spaltenorientiertes Dateiformat für effiziente Speicherung und Verarbeitung großer Datenmengen in Big-Data-Systemen.
ORC
Optical Character Recognition – Technologie zur automatischen Erkennung und Umwandlung von gedrucktem oder handschriftlichem Text in digitale Daten.
AWS
Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
Azure
Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
Google Cloud Platform
Cloud-Computing-Dienste von Google, die Infrastruktur, Datenverarbeitung, Machine Learning und weitere IT-Services bereitstellen.
Docker
Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
Kubernetes
Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
Data Modelling
Prozess der Strukturierung und Planung von Daten, um festzulegen, wie Informationen in Systemen organisiert und gespeichert werden.
OLAP
Technologie zur schnellen Analyse großer Datenmengen aus verschiedenen Blickwinkeln, häufig für Business-Intelligence-Berichte eingesetzt.
Dimensional Modelling
Datenmodellierungstechnik für Data Warehouses, die Daten in Fakten- und Dimensionstabellen strukturiert zur Analyse und Berichterstattung.
Change Data Capture
Technik zur Erfassung von Datenänderungen in Datenbanken in Echtzeit, um diese Änderungen an andere Systeme weiterzuleiten oder zu synchronisieren.
Data Warehousing
Konzept zur zentralisierten Speicherung und Verwaltung großer Datenmengen aus verschiedenen Quellen für Analysen und Reporting.
Data Lake
Ein zentrales Speichersystem, das große Mengen an Rohdaten in verschiedenen Formaten sammelt und speichert, um sie später für Analysen und Auswertungen zu nutzen.
Lakehouse Architectures
Ein Lakehouse kombiniert die Speichereffizienz von Data Lakes mit der Datenorganisation von Data Warehouses, um strukturierte und unstrukturierte Daten zentral zu verwalten. Es wird eingesetzt, um Analytics, Machine Learning und Business Intelligence auf einer einheitlichen Plattform durchzuführen.
Batch Processing
Verarbeitung großer Datenmengen in zeitgesteuerten Blöcken ohne direkte Benutzerinteraktion; wird für regelmäßige Massenoperationen wie Abrechnungen oder Datenimporte eingesetzt.
Real-time data processing
Verarbeitung von Daten in Echtzeit, sodass Informationen sofort nach ihrer Erfassung analysiert und bereitgestellt werden.
Distributed Systems
Systeme, bei denen mehrere unabhängige Computer über ein Netzwerk zusammenarbeiten, um gemeinsame Aufgaben zu lösen.
Data Architecture
Entwurf und Struktur von Datenbanken und Datensystemen, um Daten effizient zu speichern, zu verwalten und bereitzustellen.
Data Quality
Bewertung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten; wird in Datenmanagement und Business Intelligence eingesetzt.
Data Governance
Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
Agile
Iterative Projektmanagement-Methode, die Flexibilität, regelmäßiges Feedback und inkrementelle Lieferung von Ergebnissen betont.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

  • ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
  • ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
  • ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
  • ✓ Kostenlos starten – keine Kreditkarte erforderlich

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?
Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
Wie schreibt Nexus den Bewerbungstext?
Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
Welche Projektplattformen werden unterstützt?
Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
Kostet Nexus etwas?
Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Nie wieder Bewerbungen schreiben.

Nexus matcht deine Skills und schreibt Bewerbungen automatisch.

Kostenlos registrieren →

Keine Kreditkarte erforderlich

Kostenloser CV-Check

Wie gut passt dein Apache Spark-Profil zum Markt?

  • ✓ Market Fit gegen 76 Apache Spark-Ausschreibungen
  • ✓ Welche Skills dir fehlen und was sie bringen
  • ✓ Dein Stundensatz im Vergleich
CV vor die Jury bringen →

Kostenlos · anonym gespeichert · von FreelancerJury

Marktgeschwindigkeit

⏳

Projekte dieser Skills werden nach durchschnittlich 8,8 Tagen geschlossen.

Stundensatz vs. Markt

Kein Stundensatz für dieses Projekt hinterlegt.

Ø 98 €/h (für diese Skills)

Untergrenze 15 €Median 86 €Top 10% 115 €

Tipp

Zeiterfassung & Projektverwaltung

Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.

Flow ausprobieren

Tipp

Konferenzraum in Hamburg

Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.

Konferenzraum mieten