Dieses Projekt ist abgelaufen (seit 06.10.2026).
Die Ausschreibung ist nicht mehr aktuell. Unten findest du ähnliche aktive Projekte, oder du siehst dir alle aktuellen IT-Projekte an.
Senior Data Engineer – Backend & AI Pipelines
🏛 Ausgeschrieben von Hays AGWir suchen einen erfahrenen Senior Data Engineer zur Entwicklung und Wartung von skalierbaren Batch-AI-Pipelines, die Produkt- und Content-Features antreiben. In dieser Remote-Position mit Standort Berlin werden Sie als Freelancer/Contractor tätig.
Ihre Aufgaben umfassen das Design und die Implementierung von produktiven AI-Pipelines, die Verwaltung von MLflow für LLM-Traces sowie die Entwicklung datengestützter Produkte auf Basis von Databricks und Delta Lake. Sie werden AWS-Services wie Lambda, API Gateway, DynamoDB, S3 und Kinesis Streams einsetzen, um robuste Backend-Services zu schaffen. Darüber hinaus verantworten Sie Infrastructure as Code mit Terraform und optimieren CI/CD-Pipelines mittels GitHub Actions. Ein wichtiger Aspekt ist die Zusammenarbeit mit Product- und Content-Teams, um technische Anforderungen in skalierbare Lösungen umzusetzen.
Wir erwarten fundierte Erfahrung als Senior Data Engineer oder Backend Engineer mit datenintensiven Systemen. Sie sollten über sehr gute Python- und SQL-Kenntnisse verfügen und Erfahrung mit AWS-Serverless-Services, Databricks, Delta Lake und MLflow mitbringen. Kenntnisse in Infrastructure as Code (Terraform) und CI/CD-Pipelines sind erforderlich. Ein tiefes Verständnis von Data-Engineering-Best-Practices wie Partitionierung, Parallelisierung und Performance-Tuning ist notwendig. Sie arbeiten eigenverantwortlich, können komplexe Systeme end-to-end betreuen und sind vertraut mit AI-gestützten Coding-Workflows. Pragmatische Kommunikation mit technischen und nicht-technischen Stakeholdern ist wichtig.
Wir bieten ein motiviertes Team und offene Kommunikationskultur. Die Position ist sofort verfügbar.
Skills erklärt
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- AWS
- Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- MLflow
- Open-Source-Framework zur Verwaltung des Machine-Learning-Lebenszyklus, einschließlich Experiment-Tracking und Modell-Deployment.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- GitHub Actions
- Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
- Lambda
- Serverlose Compute-Technologie (z.B. AWS Lambda), die Code ausführt ohne eigene Server zu verwalten.
- DynamoDB
- NoSQL-Datenbankservice von Amazon Web Services (AWS); wird für skalierbare Speicherung von unstrukturierten Daten mit hohem Durchsatz eingesetzt.
- S3
- Amazon Simple Storage Service, ein Cloud-Speicherdienst für große Datenmengen; wird verwendet, um Dateien, Backups und Daten flexibel in der Cloud zu speichern und zu verwalten.
- Kinesis
- AWS-Service für Echtzeit-Datenverarbeitung und Streaming; wird für Analyse großer Datenmengen und Event-Processing verwendet.
- dbt
- Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Data Engineering-Profil zum Markt?
- ✓ Market Fit gegen 90 Data Engineering-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 5,9 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 103 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche aktive Projekte
- Data Engineer (AWS, Spark, TypeScript) (m/w/d) 100% remote
- Senior Data Engineer (Cloud, AWS, Python, PL/SQL, Airflow) (m/w/d) 100% remote
- Data Engineer (Python, AWS, Airflow) (m/w/d) 100% remote
- Business Analyst Datenvisualisierung (m/w/d)
- Senior Power BI Consultant (Brüssel, 60% Remote, ASAP)
- Data Engineer / Analyst Automotive (m/w/d)
- Business Analyst
- Freelance Data Warehouse Engineer (AWS/Kubernetes/ClickHouse/Airflow) – 100% Remote – Start January
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten