Data AI Engineer (m/w/d) – Python & SQL
🏛 Ausgeschrieben von Westhouse Consulting GmbHWir suchen einen erfahrenen Data AI Engineer (m/w/d) für ein spannendes Projekt im Bereich Data Engineering und künstliche Intelligenz. Die Position ist remote und startet zeitnah für eine Dauer von 5 Monaten mit Optionsverlängerung.
In dieser Rolle konzipieren und entwickeln Sie robuste ETL- und ELT-Pipelines, die Daten aus verschiedenen Quellen zuverlässig in ein modernes Lakehouse integrieren. Sie gestalten Datenmodelle und Schichten nach Best Practices (z. B. Medallion-Architektur) und gewährleisten hohe Datenqualität durch umfassendes Monitoring und Governance.
Ein Schwerpunkt liegt auf dem Aufbau und der Weiterentwicklung eines Feature Stores, der Features für Training und Inferenz konsistent, versioniert und teamübergreifend verfügbar macht. Sie entwickeln Data Products mit klarer Ownership und definierten Schnittstellen, die Fachbereiche eigenständig nutzen können.
Zudem bringen Sie Machine-Learning-Modelle gemeinsam mit Data Scientists in den produktiven Betrieb und etablieren MLOps-Prozesse für Training, Deployment, Monitoring und Retraining. Ein weiterer Fokus liegt auf der Entwicklung von Agentic-AI-Lösungen wie AI Agents und RAG-Anwendungen.
Sie automatisieren Bereitstellung und Betrieb durch CI/CD und Infrastructure as Code, etablieren Best Practices und evaluieren neue Technologien im Data- und KI-Umfeld auf ihren praktischen Mehrwert.
Gefordert werden ein abgeschlossenes Studium (Informatik, Wirtschaftsinformatik, Data Science oder vergleichbar), mehrjährige praktische Erfahrung im Data Engineering, Kenntnisse in Python und SQL sowie Spark/PySpark. Erfahrung mit Feature Stores, Data Products, produktiven ML-Modellen und Agentic-AI-Lösungen sind erforderlich. Gutes Verständnis für skalierbare Systemarchitekturen, APIs und Automatisierung runden das Profil ab.
Vollzeitposition, Deutschkenntnisse erforderlich.
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Data Lakes
- Zentrale Speichersysteme für große Mengen unstrukturierter und strukturierter Daten; werden für Datenanalyse und Business Intelligence genutzt.
- Data Warehouses
- Zentrale Datenbanksysteme, die große Mengen strukturierter Daten aus verschiedenen Quellen sammeln und für Analysen und Berichte bereitstellen.
- Machine Learning
- Teilgebiet der künstlichen Intelligenz, bei dem Systeme aus Daten lernen und Muster erkennen, um Vorhersagen zu treffen oder Entscheidungen zu automatisieren.
- MLOps
- Praktiken und Tools zur Verwaltung von Machine-Learning-Modellen in Produktion, ähnlich wie DevOps für klassische Software – umfasst Training, Deployment, Monitoring und Wartung von KI-Systemen.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Spark
- Apache Spark ist ein Framework zur verteilten Datenverarbeitung großer Datenmengen; wird verwendet um Daten schnell zu analysieren und zu transformieren.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- APIs
- Schnittstellen, die es verschiedenen Softwareanwendungen ermöglichen, miteinander zu kommunizieren und Daten auszutauschen.
- Agentic AI
- Künstliche Intelligenz-Systeme, die eigenständig Aufgaben planen und ausführen können, ohne ständige menschliche Anleitung.
- AI Agents
- Autonome Softwareprogramme, die mit ihrer Umgebung interagieren und eigenständig Aufgaben basierend auf Zielen ausführen.
- RAG-Systeme
- Retrieval-Augmented Generation – KI-Systeme, die externe Datenquellen nutzen, um präzisere und aktuelle Antworten zu generieren.
- LangChain
- Framework zur Entwicklung von Anwendungen mit großen Sprachmodellen (LLMs), das die Integration und Verkettung verschiedener KI-Komponenten vereinfacht.
- LangGraph
- Framework zur Orchestrierung von Workflows mit Large Language Models, das die Verwaltung von Agenten und deren Entscheidungspfaden ermöglicht.
- Microsoft Azure
- Cloud-Plattform von Microsoft für das Hosten von Anwendungen, Speicherung von Daten und IT-Infrastruktur über das Internet.
- Azure Data Factory
- Cloud-Service von Microsoft zur Orchestrierung und Automatisierung von Datenverarbeitungsprozessen; ermöglicht das Verschieben und Transformieren von Daten zwischen verschiedenen Quellen.
- Azure AI Search
- Cloud-Service von Microsoft zum Durchsuchen und Analysieren großer Datenmengen mit Hilfe von künstlicher Intelligenz und Machine Learning.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- MLflow
- Open-Source-Framework zur Verwaltung des Machine-Learning-Lebenszyklus, einschließlich Experiment-Tracking und Modell-Deployment.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- Datenqualität
- Datenqualität beschreibt die Vollständigkeit, Genauigkeit und Konsistenz von Daten und ist entscheidend für zuverlässige Geschäftsprozesse und Analysen.
- Datengovernance
- Regelwerk und Prozesse zur Verwaltung, Qualität und Sicherheit von Daten in einer Organisation.
- Monitoring
- Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Freelancer / Generalist
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 2,7 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 94 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Robotics Architect, Perception
- Robotics Architect, Perception
- Technical Lead, AI Compiler
- Technical Product Manager
- VP of Machine Learning Research
- Lead ML Engineer
- Applied AI Developer
- Product Owner (m/w/d) Datenanalyse und KI
- KI-basierte Optimierungsberatung und Implementierung
- Data & AI Engineer für Remote-Projekt
- AI/LLM-Spezialist für Prozessautomatisierung und AI-Lösungen
- Technical Lead, Machine Learning
- Solution Architekt Senior (GenAI, AI, Data-Architekturen) (m/w/d)
- AI & Data Engineer
- KI Trainer (m/w/d)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten