Senior Applied AI Engineer (GenAI & LLM Evaluation)
🏛 Ausgeschrieben von protipWir suchen einen erfahrenen Senior Applied AI Engineer zur Entwicklung und Verbesserung von KI-gestützten Datenprodukten. In dieser Rolle arbeiten Sie eng mit Data Scientists, Engineers und Delivery-Teams zusammen, um skalierbare Datenpipelines zu entwickeln, GenAI-Evaluierungsframeworks zu erstellen und produktionsreife KI-Lösungen bereitzustellen.
Als Senior Applied AI Engineer sind Sie verantwortlich für die End-to-End-Entwicklung von Lösungen – von der Konzeption bis zur Bereitstellung. Sie werden an modernsten Generative-AI-Technologien arbeiten und praktische KI-Lösungen entwickeln, die echte Probleme lösen.
Ihre Aufgaben umfassen: - Aufbau und Wartung skalierbarer Datenpipelines und Workflows - Entwicklung von Evaluierungsframeworks für GenAI und LLM-Anwendungen - Erstellung und Verwaltung von Golden Datasets für Modell-Tests - Evaluierung und Benchmarking von LLM-Performance - Entwicklung von ML-gestützten Tools zur Verbesserung von Lieferung und Automatisierung - Bereitstellung produktionsreifer KI-Lösungen - Enge Zusammenarbeit mit Delivery-Teams zur Lösung technischer Herausforderungen
Wir erwarten mindestens 5 Jahre Erfahrung in Data Engineering, Machine Learning, AI Engineering oder Data Science. Sie sollten über starke Python- und SQL-Kenntnisse verfügen und praktische Erfahrung mit Generative AI und Large Language Models haben. Erfahrung mit LLM-Evaluierung, Model Benchmarking und LLM-as-a-Judge-Techniken ist erforderlich. Zusätzlich sollten Sie Erfahrung mit der Erstellung und Bereitstellung produktionsreifer ML-Lösungen sowie mit Cloud-basierten AI-Services haben.
Wir suchen jemanden mit starken Problem-Lösungs- und Analysefähigkeiten, der Lösungen eigenverantwortlich umsetzen kann. Ausgezeichnete Kommunikations- und Stakeholder-Management-Fähigkeiten sind wichtig. Erfahrung in agilen, funktionsübergreifenden Teams und Consulting-Erfahrung sind von Vorteil.
Die Position ist remote, Vollzeit, mit Beginn ab sofort und einer Laufzeit bis 31.03.2027 mit Verlängerungsoption. Die Projektsprache ist Englisch.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 5 Jahre
- Sprachen
- Englisch (gut)
Rahmenbedingungen
- Abrechnung
- Nach Aufwand
- Gesuchte Personen
- 1
- Bewerbungsfrist
- 23.11.2026 (bald fällig)
Projekt
- Projektart
- Neuentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Machine Learning
- Teilgebiet der künstlichen Intelligenz, bei dem Systeme aus Daten lernen und Muster erkennen, um Vorhersagen zu treffen oder Entscheidungen zu automatisieren.
- AI Engineering
- Entwicklung und Implementierung von Systemen mit künstlicher Intelligenz; umfasst Modellentwicklung, Training und Integration in Anwendungen.
- Data Science
- Interdisziplinäres Feld, das Daten analysiert und interpretiert, um Erkenntnisse zu gewinnen und datengestützte Entscheidungen zu treffen.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Generative AI
- Künstliche-Intelligenz-Technologie, die neue Inhalte wie Texte, Bilder oder Code basierend auf Trainingsmuster erzeugen kann.
- Large Language Models (LLMs)
- LLMs sind trainierte neuronale Netzwerke, die große Mengen an Textdaten verarbeitet haben und zur Textgenerierung, Analyse und Beantwortung von Fragen eingesetzt werden.
- LLM Evaluation
- Bewertung und Prüfung von Large Language Models (KI-Sprachmodellen) auf Qualität, Genauigkeit und Eignung für Anwendungen.
- Model Benchmarking
- Verfahren zum Vergleich und zur Bewertung von KI- oder Datenmodellen anhand standardisierter Tests und Metriken, um ihre Leistung zu messen.
- LLM-as-a-Judge
- Ein großes Sprachmodell wird eingesetzt, um automatisch die Qualität oder Korrektheit von Texten, Antworten oder generierten Inhalten zu bewerten. Es fungiert als automatischer Bewerter statt menschlicher Evaluatoren.
- ML Solutions Deployment
- Der Prozess, trainierte Machine-Learning-Modelle in Produktionsumgebungen bereitzustellen und zu betreiben, damit sie mit echten Daten arbeiten können. Umfasst Installation, Überwachung und Wartung der Modelle.
- Data pipelines
- Automatisierte Prozesse zur Erfassung, Verarbeitung, Transformation und Bereitstellung von Daten zwischen verschiedenen Systemen.
- data validation
- Prozess zur Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln und Formate.
- Data Quality Frameworks
- Strukturierte Systeme und Werkzeuge zur Überprüfung, Bereinigung und Sicherung der Datenqualität in Datenbeständen. Sie stellen sicher, dass Daten vollständig, korrekt und konsistent sind.
- API-Integration
- Verbindung von Softwaresystemen über standardisierte Schnittstellen zum Datenaustausch.
- Cloud-based AI Services
- Künstliche-Intelligenz-Funktionen, die über das Internet von Cloud-Anbietern bereitgestellt werden, ohne dass man eigene Infrastruktur aufbauen muss. Beispiele sind Spracherkennung oder Bildanalyse aus der Cloud.
- Agile
- Iterative Projektmanagement-Methode, die Flexibilität, regelmäßiges Feedback und inkrementelle Lieferung von Ergebnissen betont.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Data Engineering-Profil zum Markt?
- ✓ Market Fit gegen 109 Data Engineering-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,5 Tagen geschlossen.
Stundensatz vs. Markt
Ø 98 €/h (für diese Skills) · -29.6%
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior KI Experten / AI Engineers / AI Solution Architects (m/w/d)
- AI Governance - 6+ Monate - Vollzeit - Hybrid - ASAP
- AI Risk Manager (w/m/d)
- PIC Design & On-Chip Laser Integration Engineer
- AI Solutions Architect – Enterprise AI & LLM Platforms
- 80% Remote: Interim Data & AI Transformation Officer (m/w/d) mit Versicherungserfahrung
- Beratung in der KI-basierten Softwareentwicklung für das Architekturmanagement (Azure, KI, Softwarearchitektur)
- Beratung IT Architekturkonzeption mit Künstlicher Intelligenz (GenAI) (Azure, MS365, Jira)
- AI Risk Management & Governance Consultant(abgelaufen)
- Senior Data Scientist - AI/ML Solutions(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten