Dieses Projekt ist abgelaufen (seit 06.10.2026).
Die Ausschreibung ist nicht mehr aktuell. Unten findest du ähnliche aktive Projekte, oder du siehst dir alle aktuellen IT-Projekte an.
Data Engineer AWS Glue & Datenpipelines (m/w/d)
🏛 Ausgeschrieben von Westhouse Consulting GmbHWir suchen einen erfahrenen Data Engineer zur Entwicklung und Optimierung von Datenpipelines in einer AWS-Umgebung. Sie werden an der Konzeption und Implementierung moderner Dateninfrastrukturen mitwirken und dabei eine Schlüsselrolle in der Datenverarbeitung und -verwaltung spielen.
Ihre Hauptaufgaben umfassen die Entwicklung von Datenpipelines für die Datenaufnahme und -verarbeitung, den Aufbau von Datenbanken und Data Warehouses sowie die Erstellung von Datenmodellen. Sie werden Daten aus verschiedenen Quellen integrieren, automatisierte Datenqualitätsprüfungen implementieren und Sicherheitsrichtlinien umsetzen. Darüber hinaus optimieren Sie Datenbanken und Verarbeitungsprozesse, erstellen Datenvisualisierungen und automatisieren Datenprozesse. Ein weiterer Fokus liegt auf der Entwicklung der Ingest-Pipeline mit S3-Transfer-Prüfung und Provisioning sowie dem Aufbau einer Provisioning-Zone für Datenkonsumenten.
Wir erwarten mindestens 5 Jahre Erfahrung im Aufbau von AWS-Datenpipelines mit Services wie S3, Step Functions, Lambda/Fargate und AWS Batch. Erforderlich sind zudem mindestens 3 Jahre Erfahrung mit AWS Glue und Datenformaten wie Parquet, CSV, JSON und YAML. Sie sollten 5+ Jahre Python-Erfahrung mitbringen und Projekterfahrung in der Datenintegration aus heterogenen Quellen nachweisen können.
Vorteilhaft sind eine AWS-Zertifizierung (Data Engineer oder Data Analytics Specialty), Erfahrung mit Event-Driven-Datenverarbeitung und Infrastructure as Code mit AWS CDK.
Das Projekt läuft bis Ende 2026 mit Start im Juli 2026. Die Position ist vollzeitig mit 108 Tagen Dauer (6 Tage vor Ort) und bietet flexible Remote-Arbeit mit Standort in Frankfurt. Deutsch auf C2-Niveau erforderlich.
Skills erklärt
- AWS Glue
- Cloud-Service von Amazon Web Services zur automatisierten Datenintegration, Bereinigung und Vorbereitung von Daten aus verschiedenen Quellen.
- AWS Datenpipeline
- Automatisierte Prozesse auf Amazon Web Services zur Erfassung, Verarbeitung und Weitergabe von Daten zwischen verschiedenen Systemen.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Parquet
- Spaltenorientiertes Dateiformat für effiziente Speicherung und Verarbeitung großer Datenmengen in Big-Data-Systemen.
- AWS S3
- Cloud-Speicherdienst von Amazon Web Services zur Speicherung und Verwaltung großer Datenmengen über das Internet.
- AWS Step Functions
- AWS-Service zur Orchestrierung und Automatisierung von Workflows, der mehrere AWS-Services in einer definierten Abfolge koordiniert und ausführt.
- AWS Lambda
- Serverless-Computing-Service von Amazon Web Services, der Code ausführt, ohne dass Server bereitgestellt oder verwaltet werden müssen.
- AWS Fargate
- Serverless-Compute-Engine von Amazon Web Services zum Ausführen von Container ohne Verwaltung der zugrunde liegenden Infrastruktur.
- AWS Batch
- Cloud-Service von Amazon Web Services zur Ausführung großer Mengen von Batch-Verarbeitungsaufträgen parallel und skalierbar.
- Datenintegration
- Prozess der Zusammenführung von Daten aus verschiedenen Quellen in ein einheitliches System oder Format.
- Schema-Validierung
- Technische Überprüfung, ob Daten oder Dokumente einer definierten Struktur oder einem Datenformat entsprechen.
- CSV
- Textformat zur Speicherung tabellarischer Daten mit komma- oder semikolongetrennten Werten, weit verbreitet für Datenaustausch.
- JSON
- JSON ist ein textbasiertes Datenformat zur strukturierten Speicherung und zum Austausch von Daten zwischen Anwendungen, das leicht lesbar und weit verbreitet ist.
- YAML
- Datenformat zur Darstellung von strukturierten Informationen in lesbarer Textform, häufig für Konfigurationsdateien verwendet.
- AWS CDK
- Infrastructure-as-Code-Framework von Amazon Web Services, das ermöglicht, Cloud-Infrastruktur mit Programmiersprachen wie Python oder TypeScript zu definieren.
- EventBridge
- AWS-Service zur Weiterleitung von Ereignissen zwischen verschiedenen Anwendungen und Services. Er wird verwendet, um ereignisgesteuerte Architekturen zu realisieren und Systeme zu verbinden.
- Event-Driven Architecture
- Ein Architektur-Ansatz, bei dem Systeme durch Ereignisse (Events) kommunizieren und reagieren statt durch direkte Aufrufe; wird für asynchrone, entkoppelte und skalierbare Systeme eingesetzt.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 873 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 5,3 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 113 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche aktive Projekte
- Senior Data Engineer (Cloud, AWS, Python, PL/SQL, Airflow) (m/w/d) 100% remote
- Data Engineer (Python, AWS, Airflow) (m/w/d) 100% remote
- Business Analyst Datenvisualisierung (m/w/d)
- Senior Power BI Consultant (Brüssel, 60% Remote, ASAP)
- Data Engineer / Analyst Automotive (m/w/d)
- Business Analyst
- Freelance Data Warehouse Engineer (AWS/Kubernetes/ClickHouse/Airflow) – 100% Remote – Start January
- Businessanalyst Datenpflege – Tarif- & Verbunddaten (m/w/d) ÖPNV / PKM-Umfeld 100% remote
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten