Senior Data Engineer – Backend & AI Pipelines
🏛 Ausgeschrieben von Hays AGWir suchen einen erfahrenen Senior Data Engineer zur Entwicklung und Wartung von skalierbaren Batch-AI-Pipelines, die Produkt- und Content-Features antreiben. In dieser Remote-Position mit Standort Berlin werden Sie als Freelancer/Contractor tätig.
Ihre Aufgaben umfassen das Design und die Implementierung von produktiven AI-Pipelines, die Verwaltung von MLflow für LLM-Traces sowie die Entwicklung datengestützter Produkte auf Basis von Databricks und Delta Lake. Sie werden AWS-Services wie Lambda, API Gateway, DynamoDB, S3 und Kinesis Streams einsetzen, um robuste Backend-Services zu schaffen. Darüber hinaus verantworten Sie Infrastructure as Code mit Terraform und optimieren CI/CD-Pipelines mittels GitHub Actions. Ein wichtiger Aspekt ist die Zusammenarbeit mit Product- und Content-Teams, um technische Anforderungen in skalierbare Lösungen umzusetzen.
Wir erwarten fundierte Erfahrung als Senior Data Engineer oder Backend Engineer mit datenintensiven Systemen. Sie sollten über sehr gute Python- und SQL-Kenntnisse verfügen und Erfahrung mit AWS-Serverless-Services, Databricks, Delta Lake und MLflow mitbringen. Kenntnisse in Infrastructure as Code (Terraform) und CI/CD-Pipelines sind erforderlich. Ein tiefes Verständnis von Data-Engineering-Best-Practices wie Partitionierung, Parallelisierung und Performance-Tuning ist notwendig. Sie arbeiten eigenverantwortlich, können komplexe Systeme end-to-end betreuen und sind vertraut mit AI-gestützten Coding-Workflows. Pragmatische Kommunikation mit technischen und nicht-technischen Stakeholdern ist wichtig.
Wir bieten ein motiviertes Team und offene Kommunikationskultur. Die Position ist sofort verfügbar.
Skills erklärt
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- AWS
- Amazon Web Services, Cloud-Plattform für Bereitstellung von Rechenleistung, Speicher, Datenbanken und weiteren IT-Services.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- MLflow
- Open-Source-Framework zur Verwaltung des Machine-Learning-Lebenszyklus, einschließlich Experiment-Tracking und Modell-Deployment.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- GitHub Actions
- Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
- Lambda
- Serverlose Compute-Technologie (z.B. AWS Lambda), die Code ausführt ohne eigene Server zu verwalten.
- DynamoDB
- NoSQL-Datenbankservice von Amazon Web Services (AWS); wird für skalierbare Speicherung von unstrukturierten Daten mit hohem Durchsatz eingesetzt.
- S3
- Amazon Simple Storage Service, ein Cloud-Speicherdienst für große Datenmengen; wird verwendet, um Dateien, Backups und Daten flexibel in der Cloud zu speichern und zu verwalten.
- Kinesis
- AWS-Service für Echtzeit-Datenverarbeitung und Streaming; wird für Analyse großer Datenmengen und Event-Processing verwendet.
- dbt
- Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Freelancer / Generalist
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Data Warehouse Consultant (m/w/x)
- Big Data ETL und Data Science Engineer
- Data Analyst (m/w/x) - Revenue Assurance
- Data Scientist (m/w/d)
- Senior Data Warehouse & ETL Engineer (AWS)
- Data-Warehousing Consultant (m/w/d)
- Data Architect (m/w/d)
- Data Analyst/Scientist (Consultant - Operations Performance Management)
- Data Warehouse Consultant (m/w/x)
- Celonis Process Mining Analyst (m/w/d)
- Datenanalyst (m/w/d)
- Data Scientist (m/w/x)
- Data Integration Specialist
- Data Engineering Consultant
- Data Engineer / Data Analyst
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten