Data Engineer (Mid-Level)
đ Ausgeschrieben von Halian GmbHWir suchen einen erfahrenen Data Engineer zur VerstĂ€rkung unseres wachsenden Technologie-Teams. Sie werden eine SchlĂŒsselrolle bei der Gestaltung, Entwicklung und Wartung hochperformanter Datenplattformen spielen, die Analytics, KI und geschĂ€ftskritische Entscheidungsfindung ermöglichen.
Ihre Aufgaben umfassen die Konzeption und den Aufbau skalierbarer Datenplattformen fĂŒr umfangreiche Analytics- und Operativ-Workloads. Sie entwickeln robuste Batch- und Echtzeit-Datenpipelines zur Erfassung, Transformation und Verarbeitung strukturierter und unstrukturierter Daten. Dabei optimieren Sie Datenarchitekturen fĂŒr Business Intelligence, Advanced Analytics, Machine Learning und KI-Initiativen.
Ein weiterer Schwerpunkt liegt auf DatenqualitĂ€t und ZuverlĂ€ssigkeit: Sie implementieren QualitĂ€ts-Frameworks, Validierungsregeln, Lineage-Tracking und Governance-Controls. Sie ĂŒberwachen und optimieren die Plattformleistung, Skalierbarkeit und Betriebskosten sowie beheben Produktionsprobleme in Datenpipelines.
Zudem arbeiten Sie eng mit Product-, Engineering-, Data Science- und Analytics-Teams zusammen, um hochwertige Datenlösungen bereitzustellen. Sie integrieren neue Datenquellen und Systeme und tragen zu architektonischen Entscheidungen bei. Sicherheit und Governance sind zentral: Sie implementieren Datenschutzkontrollen wie VerschlĂŒsselung, Maskierung und Zugriffsverwaltung und stellen die Einhaltung von Unternehmensstandards sicher.
Wir erwarten einen Bachelor-Abschluss in Informatik, Softwareentwicklung, Data Engineering oder verwandten Feldern sowie 3â5 Jahre Erfahrung in Data Engineering oder Big Data Engineering. Nachgewiesene Erfahrung mit Enterprise-Scale-Datenplattformen ist erforderlich. Standort: Abu Dhabi, VAE. Vollzeitposition.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 3 Jahre
- Zertifikate
- Databricks Certification, Confluent Kafka Certification, AWS Data Analytics Certification, Microsoft Azure Data Engineer Associate, Google Professional Data Engineer
- Sprachen
- Englisch (gut)
- Rechtsform
- Einzelfreelancer möglich
Projekt
- Projektart
- Neuentwicklung
- Vermittlung
- Ăber Vermittler
Skills erklÀrt
- Apache Kafka
- Verteilte Streaming-Plattform zur Verarbeitung groĂer Datenmengen in Echtzeit, hĂ€ufig fĂŒr Datenaustausch zwischen Systemen genutzt.
- Apache Spark
- Open-Source-Framework fĂŒr verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung groĂer Datenmengen parallel auf mehreren Computern.
- Apache Flink
- Open-Source-Framework fĂŒr verteilte Datenverarbeitung und Stream-Processing in Echtzeit.
- Apache NiFi
- Open-Source-Software zur Automatisierung des Datenflusses zwischen Systemen mit grafischer Bedienung und Datenrouting-Funktionen.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Ăberwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- Python
- Universelle Programmiersprache fĂŒr Webentwicklung, Datenanalyse, Automatisierung und kĂŒnstliche Intelligenz.
- Scala
- Programmiersprache, die funktionale und objektorientierte Programmierung kombiniert und auf der Java Virtual Machine lĂ€uft; wird eingesetzt fĂŒr die Entwicklung skalierbarer Anwendungen und Big-Data-Verarbeitung.
- Java
- Programmiersprache, die plattformunabhĂ€ngig lĂ€uft und hĂ€ufig fĂŒr Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Git
- Versionskontrollsystem zur Verwaltung von CodeĂ€nderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Ănderungen ermöglicht.
- Postgresql
- Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
- Oracle
- GroĂes relationales Datenbanksystem fĂŒr die Verwaltung groĂer Datenmengen in Unternehmen; wird fĂŒr komplexe GeschĂ€ftsanwendungen und Datenspeicherung eingesetzt.
- SQL Server
- Relationales Datenbankmanagementsystem von Microsoft zur Speicherung, Verwaltung und Abfrage strukturierter Daten in Unternehmen.
- NoSQL
- Datenbanktyp, der Daten nicht in Tabellen speichert, sondern in flexiblen Formaten wie Dokumenten oder Key-Value-Paaren; geeignet fĂŒr groĂe, unstrukturierte Datenmengen.
- Minio
- Open-Source-Objektspeichersystem, das S3-kompatibel ist; wird eingesetzt, um groĂe Datenmengen dezentral oder in der Cloud zu speichern und zu verwalten.
- S3
- Amazon Simple Storage Service, ein Cloud-Speicherdienst fĂŒr groĂe Datenmengen; wird verwendet, um Dateien, Backups und Daten flexibel in der Cloud zu speichern und zu verwalten.
- Avro
- Serialisierungsformat und RPC-Framework von Apache zur effizienten Datenspeicherung und Ăbertragung zwischen Systemen.
- Parquet
- Spaltenorientiertes Dateiformat fĂŒr effiziente Speicherung und Verarbeitung groĂer Datenmengen in Big-Data-Systemen.
- ORC
- Optical Character Recognition â Technologie zur automatischen Erkennung und Umwandlung von gedrucktem oder handschriftlichem Text in digitale Daten.
- AWS
- Amazon Web Services, Cloud-Plattform fĂŒr Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- Azure
- Cloud-Computing-Plattform von Microsoft fĂŒr Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
- Google Cloud Platform
- Cloud-Computing-Dienste von Google, die Infrastruktur, Datenverarbeitung, Machine Learning und weitere IT-Services bereitstellen.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren AbhÀngigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- Data Modelling
- Prozess der Strukturierung und Planung von Daten, um festzulegen, wie Informationen in Systemen organisiert und gespeichert werden.
- OLAP
- Technologie zur schnellen Analyse groĂer Datenmengen aus verschiedenen Blickwinkeln, hĂ€ufig fĂŒr Business-Intelligence-Berichte eingesetzt.
- Dimensional Modelling
- Datenmodellierungstechnik fĂŒr Data Warehouses, die Daten in Fakten- und Dimensionstabellen strukturiert zur Analyse und Berichterstattung.
- Change Data Capture
- Technik zur Erfassung von DatenĂ€nderungen in Datenbanken in Echtzeit, um diese Ănderungen an andere Systeme weiterzuleiten oder zu synchronisieren.
- Data Warehousing
- Konzept zur zentralisierten Speicherung und Verwaltung groĂer Datenmengen aus verschiedenen Quellen fĂŒr Analysen und Reporting.
- Data Lake
- Ein zentrales Speichersystem, das groĂe Mengen an Rohdaten in verschiedenen Formaten sammelt und speichert, um sie spĂ€ter fĂŒr Analysen und Auswertungen zu nutzen.
- Lakehouse Architectures
- Ein Lakehouse kombiniert die Speichereffizienz von Data Lakes mit der Datenorganisation von Data Warehouses, um strukturierte und unstrukturierte Daten zentral zu verwalten. Es wird eingesetzt, um Analytics, Machine Learning und Business Intelligence auf einer einheitlichen Plattform durchzufĂŒhren.
- Batch Processing
- Verarbeitung groĂer Datenmengen in zeitgesteuerten Blöcken ohne direkte Benutzerinteraktion; wird fĂŒr regelmĂ€Ăige Massenoperationen wie Abrechnungen oder Datenimporte eingesetzt.
- Real-time data processing
- Verarbeitung von Daten in Echtzeit, sodass Informationen sofort nach ihrer Erfassung analysiert und bereitgestellt werden.
- Distributed Systems
- Systeme, bei denen mehrere unabhĂ€ngige Computer ĂŒber ein Netzwerk zusammenarbeiten, um gemeinsame Aufgaben zu lösen.
- Agile
- Iterative Projektmanagement-Methode, die FlexibilitĂ€t, regelmĂ€Ăiges Feedback und inkrementelle Lieferung von Ergebnissen betont.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestĂŒtzte Plattform fĂŒr IT-Freelancer, die tĂ€glich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert â vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- â Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- â KI-Bewerbungstext in unter 30 Sekunden â individuell auf jedes Projekt zugeschnitten
- â Automatischer Versand per E-Mail + Anlage in Pipedrive
- â Kostenlos starten â keine Kreditkarte erforderlich
HĂ€ufige Fragen zu Nexus
- Was ist Nexus und fĂŒr wen ist es geeignet?
- Nexus richtet sich an selbststĂ€ndige IT-Freelancer, die regelmĂ€Ăig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess â von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar â du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstĂŒtzt?
- Nexus erhĂ€lt Projekte direkt von Projektanbietern aus dem DACH-Raum â neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. FĂŒr professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige PlĂ€ne â ohne versteckte Kosten oder automatische VerlĂ€ngerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren âKeine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Apache Spark-Profil zum Markt?
- â Market Fit gegen 76 Apache Spark-Ausschreibungen
- â Welche Skills dir fehlen und was sie bringen
- â Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 8,8 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz fĂŒr dieses Projekt hinterlegt.
Ă 98 âŹ/h (fĂŒr diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung fĂŒr IT-Freelancer und Agenturen â kostenlos starten.
Flow ausprobierenĂhnliche Projekte
- Senior Business Analyst â Data & Reporting Transformation (m/w/d)
- Business Analyst (Data & Operations)
- Senior Data Engineer â AWS Redshift
- Senior Microsoft Fabric Engineer
- Senior Specialist - Power BI Developer / Reporting
- Data Analytics & Projektmanagement (m/w/d)
- Freelance Data Engineer / Data Architect
- BI & Data Solutions Specialist â Jedox & SAP
- Senior Data Engineer â SAP BW to BigQuery Migration(abgelaufen)
- Senior Developer â Data Platform Modernisation (ETL/T-SQL)(abgelaufen)
Tipp
Konferenzraum in Hamburg
FĂŒr das nĂ€chste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz â ab 49 âŹ/h, direkt am GĂ€nsemarkt.
Konferenzraum mieten