Data Engineer (AWS & Python)
🏛 Ausgeschrieben von Westhouse Consulting GmbHWir suchen einen erfahrenen Data Engineer (m/w/d) für eine Vollzeitstelle in Mainz mit Remote-Optionen. Die Position ist als sozialversicherungspflichtige Anstellung befristet bis Ende 2027.
In dieser Rolle werden Sie die Analyse fachlicher und technischer Anforderungen durchführen und Zielarchitekturen für datengetriebene Systeme entwickeln. Sie konzipieren und erweitern unternehmensweite Datenarchitekturen in cloudbasierten Umgebungen, insbesondere mit AWS und Azure. Ihre Verantwortung umfasst die Definition von Architekturprinzipien, Standards und Best Practices für Datenplattformen und Datenprodukten.
Zu Ihren Aufgaben gehören das Design von Datenarchitekturen für Data Lakes, Data Warehouses und verteilte Datenplattformen sowie die Konzeption von Integrationsarchitekturen für heterogene Quellsysteme. Sie bewerten Architekturentscheidungen hinsichtlich Skalierbarkeit, Performance, Sicherheit und Wartbarkeit und erstellen entsprechende Konzepte und technische Spezifikationen. Darüber hinaus definieren Sie Standards für Datenqualität, Governance, Security und Compliance.
Sie führen Architektur-Reviews durch, bewerten bestehende Systeme zur Modernisierung und konzipieren Lösungsansätze für die Integration von Machine-Learning- und KI-Use-Cases. Die Erstellung und Pflege von Architektur-Dokumentationen sowie die Sicherstellung der Nachvollziehbarkeit von Designentscheidungen runden Ihre Tätigkeiten ab.
Wir erwarten mindestens 3 Jahre Erfahrung in der Entwicklung von Datenpipelines und Datenprodukten mit Python, SQL, PySpark und Apache Spark in Cloud-Umgebungen. Erforderlich sind zudem 3 Jahre Erfahrung mit AWS-Services wie Glue, S3, EMR, Step Functions und EventBridge sowie mit Azure Data Factory und PySpark. Deutschkenntnisse sind notwendig.
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- AWS
- Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- AWS Glue
- Cloud-Service von Amazon Web Services zur automatisierten Datenintegration, Bereinigung und Vorbereitung von Daten aus verschiedenen Quellen.
- Amazon S3
- Cloud-Speicherdienst von Amazon Web Services zum Speichern und Abrufen großer Datenmengen über das Internet.
- Azure
- Cloud-Computing-Plattform von Microsoft für Hosting, Datenverarbeitung, Speicherung und verschiedene IT-Services.
- Azure Data Factory
- Cloud-Service von Microsoft zur Orchestrierung und Automatisierung von Datenverarbeitungsprozessen; ermöglicht das Verschieben und Transformieren von Daten zwischen verschiedenen Quellen.
- Scala
- Programmiersprache, die funktionale und objektorientierte Programmierung kombiniert und auf der Java Virtual Machine läuft; wird eingesetzt für die Entwicklung skalierbarer Anwendungen und Big-Data-Verarbeitung.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Data pipelines
- Automatisierte Prozesse zur Erfassung, Verarbeitung, Transformation und Bereitstellung von Daten zwischen verschiedenen Systemen.
- Data Warehousing
- Konzept zur zentralisierten Speicherung und Verwaltung großer Datenmengen aus verschiedenen Quellen für Analysen und Reporting.
- Data Lakes
- Zentrale Speichersysteme für große Mengen unstrukturierter und strukturierter Daten; werden für Datenanalyse und Business Intelligence genutzt.
- Machine Learning
- Teilgebiet der künstlichen Intelligenz, bei dem Systeme aus Daten lernen und Muster erkennen, um Vorhersagen zu treffen oder Entscheidungen zu automatisieren.
- DevOps
- Kombination von Entwicklung und Betrieb, die Automatisierung, kontinuierliche Integration und schnellere Bereitstellung von Software ermöglicht.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Data Quality
- Bewertung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten; wird in Datenmanagement und Business Intelligence eingesetzt.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 874 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 4,3 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 109 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Data Architect (Denodo, Datenmodellierung, Security) (m/w/d) 100% remote
- Senior Data Engineer – GCP
- Data Engineer (AWS & Schienenverkehr) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Engineer (Schienengüterverkehr) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Engineer (Azure & Python) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Architect (OGC, GEOIT) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Engineer (ArcGIS) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Engineer (GIS, FME) – sozialversicherungspflichtig angestellt (m/w/d)
- Data Architect (KI-Anwendungsfälle Schienenverkehr) – sozialversicherungspflichtig angestellt (m/w/d)(abgelaufen)
- Data Engineer (FME, AWS) – sozialversicherungspflichtig angestellt (m/w/d)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten