Zum Hauptinhalt springen

Data Engineer (AWS, Python, PostgreSQL)

Contracting⏱ 12 Monate📍 Frankfurt am Main 🏢 5% vor Ort 🚀 Start: 01.01.2027 ⏳ 100% Auslastung 🎓 Senior 🏭 Logistik 🌐 Deutsch

Für ein Projekt im Bereich Transport und Logistik suchen wir einen erfahrenen Data Engineer (m/w/d) mit Schwerpunkt auf Cloud-Technologien und Datenverarbeitung.

Aufgaben: Sie entwickeln und betreiben eine Cloud-Anwendung auf Basis von AWS, Python und PostgreSQL. Ihre Verantwortung umfasst die Konzeption und Implementierung von ETL-Pipelines, die Anbindung von Datenquellen via APIs oder Cross-Account-Zugriff, die Entwicklung automatisierter Tests (Unit- und Integrationstests) sowie Data Quality Tests. Darüber hinaus kümmern Sie sich um Monitoring, Logging und Alerting. Sie bauen und pflegen CI/CD-Pipelines mit GitLab CI und implementieren Security-Scanner.

Anforderungen: Sie bringen mindestens 3 Jahre Erfahrung in Python-Softwareentwicklung mit, einschließlich Testing und Code-Qualität. Umfangreiche Erfahrung in der AWS-Cloud-Entwicklung (Lambda, Glue, RDS, Step Functions, Athena) ist erforderlich. Sie haben nachgewiesene Expertise in der Entwicklung von ETL-Pipelines mit Python/PySpark und Erfahrung mit Infrastructure as Code mittels AWS CDK. Kenntnisse in GitLab CI und CI/CD-Prozessen sind notwendig.

Vorteilhaft sind Erfahrungen in Cloud-Architekturkonzeption, PostgreSQL/AWS RDS, AWS IAM und Data Governance sowie Kenntnisse im Schienenverkehr.

Rahmen: Das Projekt startet am 01.01.2027 und läuft für 12 Monate. Der Arbeitsort ist Frankfurt am Main mit 95% Remote-Option. Die Position ist als Freiberufler konzipiert.

Wir freuen uns auf Ihre Bewerbung mit CV und Stundensatz.

Anforderungen

Rollenfamilie
Daten / KI
Berufserfahrung
mindestens 3 Jahre
Rechtsform
Einzelfreelancer möglich

Rahmenbedingungen

Abrechnung
Nach Aufwand

Projekt

Projektart
Weiterentwicklung
Vermittlung
Über Vermittler

Skills erklärt

Python
Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
AWS
Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
Postgresql
Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
AWS Lambda
Serverless-Computing-Service von Amazon Web Services, der Code ausführt, ohne dass Server bereitgestellt oder verwaltet werden müssen.
AWS Glue
Cloud-Service von Amazon Web Services zur automatisierten Datenintegration, Bereinigung und Vorbereitung von Daten aus verschiedenen Quellen.
AWS RDS
Amazon Relational Database Service – ein Cloud-Service zum Betrieb von verwalteten relationalen Datenbanken (wie MySQL, PostgreSQL) ohne eigene Infrastruktur.
AWS Step Functions
AWS-Service zur Orchestrierung und Automatisierung von Workflows, der mehrere AWS-Services in einer definierten Abfolge koordiniert und ausführt.
AWS Athena
Cloud-Service von Amazon Web Services zur Abfrage großer Datenmengen in S3-Speichern mittels SQL, ohne separate Datenbank-Infrastruktur betreiben zu müssen.
PySpark
Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
AWS CDK
Infrastructure-as-Code-Framework von Amazon Web Services, das ermöglicht, Cloud-Infrastruktur mit Programmiersprachen wie Python oder TypeScript zu definieren.
GitLab CI
GitLab CI ist ein Continuous-Integration-System von GitLab, das automatisiert Code-Tests, Builds und Deployments durchführt, wenn Code in ein Repository gepusht wird.
CI/CD
Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
ETL-Pipelines
Datenverarbeitungsprozess (Extract-Transform-Load), der Daten aus Quellen extrahiert, transformiert und in Zielssysteme lädt.
APIs
Schnittstellen, die es verschiedenen Softwareanwendungen ermöglichen, miteinander zu kommunizieren und Daten auszutauschen.
Cross-Account-Zugriff
Technische Möglichkeit, dass Benutzer oder Systeme auf Ressourcen in mehreren separaten IT-Konten oder Cloud-Accounts zugreifen können, ohne sich neu anmelden zu müssen.
Infrastructure as Code
Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
Unit Tests
Automatisierte Tests in der Softwareentwicklung, die einzelne Funktionen oder Komponenten auf korrekte Funktionsweise überprüfen.
Integrationstests
Testverfahren, bei dem mehrere Softwarekomponenten zusammen getestet werden, um Schnittstellen und Zusammenspiel zu überprüfen.
Monitoring
Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
Logging
Technik zur automatischen Aufzeichnung von Ereignissen und Fehlern in Systemen, um Probleme zu analysieren und nachzuvollziehen.
Alerting
Benachrichtigungssystem, das automatisch Meldungen bei bestimmten Ereignissen oder Fehlern auslöst; wird in Überwachungs- und Monitoring-Systemen verwendet.
Security-Scanner
Softwaretools zur automatisierten Überprüfung von IT-Systemen auf Sicherheitslücken und Schwachstellen.
AWS IAM
Service von Amazon Web Services zur Verwaltung von Benutzeridentitäten und Zugriffsrechten auf Cloud-Ressourcen.
Data Governance
Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
AWS Lake Formation
AWS-Service zur Einrichtung und Verwaltung von Data Lakes, die große Mengen strukturierter und unstrukturierter Daten speichern und analysieren.
ADR (Architecture Decision Records)
Dokumentationsmethode, die wichtige technische Entscheidungen in Softwareprojekten festhält und begründet, um Nachvollziehbarkeit und Wissenstransfer zu sichern.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

  • ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
  • ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
  • ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
  • ✓ Kostenlos starten – keine Kreditkarte erforderlich

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?
Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
Wie schreibt Nexus den Bewerbungstext?
Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
Welche Projektplattformen werden unterstützt?
Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
Kostet Nexus etwas?
Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Passende Freelancer

Profile die zu den Skills dieses Projekts passen

Alle Freelancer im Verzeichnis →

Nie wieder Bewerbungen schreiben.

Nexus matcht deine Skills und schreibt Bewerbungen automatisch.

Kostenlos registrieren →

Keine Kreditkarte erforderlich

Kostenloser CV-Check

Wie gut passt dein Python-Profil zum Markt?

  • ✓ Market Fit gegen 1.031 Python-Ausschreibungen
  • ✓ Welche Skills dir fehlen und was sie bringen
  • ✓ Dein Stundensatz im Vergleich
CV vor die Jury bringen →

Kostenlos · anonym gespeichert · von FreelancerJury

Marktgeschwindigkeit

⏳

Projekte dieser Skills werden nach durchschnittlich 9,4 Tagen geschlossen.

Stundensatz vs. Markt

Kein Stundensatz für dieses Projekt hinterlegt.

Ø 93 €/h (für diese Skills)

Untergrenze 15 €Median 86 €Top 10% 115 €

Tipp

Zeiterfassung & Projektverwaltung

Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.

Flow ausprobieren

Ähnliche Projekte

Tipp

Konferenzraum in Hamburg

Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.

Konferenzraum mieten