Data Engineer (AWS, Python, PostgreSQL)
Für ein Projekt im Bereich Transport und Logistik suchen wir einen erfahrenen Data Engineer (m/w/d) mit Schwerpunkt auf Cloud-Technologien und Datenverarbeitung.
Aufgaben: Sie entwickeln und betreiben eine Cloud-Anwendung auf Basis von AWS, Python und PostgreSQL. Ihre Verantwortung umfasst die Konzeption und Implementierung von ETL-Pipelines, die Anbindung von Datenquellen via APIs oder Cross-Account-Zugriff, die Entwicklung automatisierter Tests (Unit- und Integrationstests) sowie Data Quality Tests. Darüber hinaus kümmern Sie sich um Monitoring, Logging und Alerting. Sie bauen und pflegen CI/CD-Pipelines mit GitLab CI und implementieren Security-Scanner.
Anforderungen: Sie bringen mindestens 3 Jahre Erfahrung in Python-Softwareentwicklung mit, einschließlich Testing und Code-Qualität. Umfangreiche Erfahrung in der AWS-Cloud-Entwicklung (Lambda, Glue, RDS, Step Functions, Athena) ist erforderlich. Sie haben nachgewiesene Expertise in der Entwicklung von ETL-Pipelines mit Python/PySpark und Erfahrung mit Infrastructure as Code mittels AWS CDK. Kenntnisse in GitLab CI und CI/CD-Prozessen sind notwendig.
Vorteilhaft sind Erfahrungen in Cloud-Architekturkonzeption, PostgreSQL/AWS RDS, AWS IAM und Data Governance sowie Kenntnisse im Schienenverkehr.
Rahmen: Das Projekt startet am 01.01.2027 und läuft für 12 Monate. Der Arbeitsort ist Frankfurt am Main mit 95% Remote-Option. Die Position ist als Freiberufler konzipiert.
Wir freuen uns auf Ihre Bewerbung mit CV und Stundensatz.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 3 Jahre
- Rechtsform
- Einzelfreelancer möglich
Rahmenbedingungen
- Abrechnung
- Nach Aufwand
Projekt
- Projektart
- Weiterentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- AWS
- Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- Postgresql
- Relationale Datenbank, die strukturierte Daten speichert und mit SQL-Abfragen verwaltet wird.
- AWS Lambda
- Serverless-Computing-Service von Amazon Web Services, der Code ausführt, ohne dass Server bereitgestellt oder verwaltet werden müssen.
- AWS Glue
- Cloud-Service von Amazon Web Services zur automatisierten Datenintegration, Bereinigung und Vorbereitung von Daten aus verschiedenen Quellen.
- AWS RDS
- Amazon Relational Database Service – ein Cloud-Service zum Betrieb von verwalteten relationalen Datenbanken (wie MySQL, PostgreSQL) ohne eigene Infrastruktur.
- AWS Step Functions
- AWS-Service zur Orchestrierung und Automatisierung von Workflows, der mehrere AWS-Services in einer definierten Abfolge koordiniert und ausführt.
- AWS Athena
- Cloud-Service von Amazon Web Services zur Abfrage großer Datenmengen in S3-Speichern mittels SQL, ohne separate Datenbank-Infrastruktur betreiben zu müssen.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- AWS CDK
- Infrastructure-as-Code-Framework von Amazon Web Services, das ermöglicht, Cloud-Infrastruktur mit Programmiersprachen wie Python oder TypeScript zu definieren.
- GitLab CI
- GitLab CI ist ein Continuous-Integration-System von GitLab, das automatisiert Code-Tests, Builds und Deployments durchführt, wenn Code in ein Repository gepusht wird.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- ETL-Pipelines
- Datenverarbeitungsprozess (Extract-Transform-Load), der Daten aus Quellen extrahiert, transformiert und in Zielssysteme lädt.
- APIs
- Schnittstellen, die es verschiedenen Softwareanwendungen ermöglichen, miteinander zu kommunizieren und Daten auszutauschen.
- Cross-Account-Zugriff
- Technische Möglichkeit, dass Benutzer oder Systeme auf Ressourcen in mehreren separaten IT-Konten oder Cloud-Accounts zugreifen können, ohne sich neu anmelden zu müssen.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- Unit Tests
- Automatisierte Tests in der Softwareentwicklung, die einzelne Funktionen oder Komponenten auf korrekte Funktionsweise überprüfen.
- Integrationstests
- Testverfahren, bei dem mehrere Softwarekomponenten zusammen getestet werden, um Schnittstellen und Zusammenspiel zu überprüfen.
- Monitoring
- Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
- Logging
- Technik zur automatischen Aufzeichnung von Ereignissen und Fehlern in Systemen, um Probleme zu analysieren und nachzuvollziehen.
- Alerting
- Benachrichtigungssystem, das automatisch Meldungen bei bestimmten Ereignissen oder Fehlern auslöst; wird in Überwachungs- und Monitoring-Systemen verwendet.
- Security-Scanner
- Softwaretools zur automatisierten Überprüfung von IT-Systemen auf Sicherheitslücken und Schwachstellen.
- AWS IAM
- Service von Amazon Web Services zur Verwaltung von Benutzeridentitäten und Zugriffsrechten auf Cloud-Ressourcen.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- AWS Lake Formation
- AWS-Service zur Einrichtung und Verwaltung von Data Lakes, die große Mengen strukturierter und unstrukturierter Daten speichern und analysieren.
- ADR (Architecture Decision Records)
- Dokumentationsmethode, die wichtige technische Entscheidungen in Softwareprojekten festhält und begründet, um Nachvollziehbarkeit und Wissenstransfer zu sichern.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 1.031 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,4 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 93 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Power BI Health Check & Advisory
- IT-P Endkundenanfrage FB Controlling - Datasets in PowerBI (m/w/d)
- Datenmanager (m/w/d)
- Daten Architekt - 100% Remote - Start ASAP
- Business Analyst DWH – PL/SQL / Bank
- Oracle database developer [SQL/PLSQL] with performance tuning
- Data Engineer – MS Azure / Python (m/w/d)
- Data Software Engineer (m/w/d)
- Data & AI Transformation Officer (m/w/d)(abgelaufen)
- Data Engineer – Cloud-Dateninfrastruktur (Azure Databricks)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten