Data Engineer - PySpark ETL (m/w/d)
🏛 Ausgeschrieben von Pulsar Computer Consulting GmbHWir suchen einen erfahrenen Data Engineer zur Entwicklung und Optimierung von ETL-Prozessen. In dieser Rolle werden Sie an der Modernisierung und Weiterentwicklung unserer Datenverarbeitungslösungen mitwirken und dabei moderne Technologien einsetzen.
Ihre Aufgaben umfassen die Entwicklung und Optimierung von ETL-Prozessen zur Verarbeitung großer Datenmengen, die Umsetzung von Batch-Datenverarbeitungen mit PySpark sowie die Modernisierung bestehender Datenverarbeitungs- und ETL-Lösungen. Sie werden Datenmodelle entwickeln und anpassen, Datenpipelines hinsichtlich Performance, Stabilität und Wartbarkeit optimieren und bei der Weiterentwicklung der Data-Engineering-Landschaft unterstützen. Darüber hinaus sind Sie verantwortlich für Monitoring und Logging von PySpark-Anwendungen.
Für diese Position bringen Sie fundierte praktische Erfahrung mit PySpark im Bereich der Batch-Datenverarbeitung mit. Sie verfügen über solide Kenntnisse in Apache Spark und Spark-Infrastrukturen auf AWS EKS on EC2, sehr gute Python- und SQL-Kenntnisse sowie Erfahrung mit Datenmodellen. Darüber hinaus sollten Sie fundierte Erfahrung in der Entwicklung und Umsetzung von ETL-Prozessen sowie in der Modernisierung bestehender Datenverarbeitungslösungen mitbringen.
Die Position ist auf drei Monate befristet mit Optionsverlängerung ausgeschrieben. Die Auslastung beträgt vier Tage pro Woche. Die ersten zwei Wochen finden vor Ort in Stuttgart statt, anschließend arbeiten Sie remote. Ein kurzfristiger Start ist möglich.
Anforderungen
- Rollenfamilie
- Daten / KI
Projekt
- Projektart
- Weiterentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- ETL-Prozesse
- Extract-Transform-Load beschreibt den Prozess zum Extrahieren, Umwandeln und Laden von Daten zwischen Systemen.
- AWS
- Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- EKS
- Amazon Elastic Kubernetes Service – verwalteter Cloud-Service zum Betrieb von containerisierten Anwendungen mit Kubernetes.
- EC2
- Amazon EC2 (Elastic Compute Cloud) ist ein Cloud-Computing-Service von Amazon Web Services, der virtuelle Rechenressourcen (Server) bereitstellt, die bedarfsgerecht skaliert werden können.
- Datenmodellierung
- Strukturierung und Darstellung von Datenbeziehungen in Datenbanken oder Informationssystemen; Grundlage für effiziente Datenverwaltung.
- Datenpipelines
- Automatisierte Prozesse zur Erfassung, Verarbeitung, Transformation und Bereitstellung von Daten zwischen verschiedenen Systemen.
- Monitoring
- Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
- Logging
- Technik zur automatischen Aufzeichnung von Ereignissen und Fehlern in Systemen, um Probleme zu analysieren und nachzuvollziehen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Consultant / Full-Stack Developer
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein PySpark-Profil zum Markt?
- ✓ Market Fit gegen 35 PySpark-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,4 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 122 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- BI / Data Engineer (m/w/d) mit Fokus auf AWS / dbt / Power BI / Microsoft Fabric
- Industrial Data & IT/OT Integration Architect / Shopfloor (m/w/d)
- Data Engineer (m/w/d)
- Data Warehouse Entwickler (w/m/d)
- Data Engineer (m/w/d) im Rahmen der Arbeitnehmerüberlassung
- Technischer Business Analyst mit Sicherheiten KnowHow (m/w/d)
- Data Analytics & Projektmanagement (m/w/d)
- Data Engineer/ Analyst (m/w/d) Aufbau Datenplattform in Stuttgart und Remote
- Data Analytics Platform Development with AI and GCP
- NeoXam DataHub Experte
- Retail & Pricing Analyst (m/w/d)
- Specialist Commercial Analytics & Performance (m/w/d)
- 100% Remote - Data Engineer (f/m/d) with Databricks Know-How
- Business Intelligence Entwickler
- Data Engineer NiFi (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten