Python / AI Data Engineer – Web Scraping, LLM & Databricks
🏛 Ausgeschrieben von protipWir suchen einen erfahrenen Python- und AI-Data-Engineer zur Konzeption, Entwicklung und Implementierung einer automatisierten Lösung für die Recherche, Extraktion und Strukturierung technischer Assetdaten aus öffentlich zugänglichen Internetquellen.
Aufgabenschwerpunkte:
Analyse und Erschließung geeigneter Webquellen hinsichtlich Relevanz, Informationsgehalt, Datenqualität und technischer Abrufbarkeit. Bewertung von HTML-, Tabellen-, PDF- und Download-Strukturen sowie rechtlicher Rahmenbedingungen für die Datenerhebung.
Konzeption einer technischen Zielarchitektur für Web-Crawling und Web-Scraping, API- und Download-Schnittstellen, Extraktion aus verschiedenen Dokumentformaten sowie KI-gestützte Informationsextraktion und Normalisierung. Entwicklung von Regelwerken zur Datenvalidierung und Dublettenerkennung.
Entwicklung und Parametrisierung modularer Komponenten zur Quellenermittlung, Datenerhebung, Extraktion, Zuordnung und Normalisierung von Herstellern, Produktreihen, Typen und technischen Merkmalen. Berücksichtigung unterschiedlicher Webseitenstrukturen durch erweiterbare Konnektoren und Parser.
Datenstrukturierung und Bereitstellung der Ergebnisse als CSV-Dateien zur fachlichen Prüfung und Weiterverarbeitung in bestehenden Systemen.
Anforderungen: - Fundierte Python-Kenntnisse - Erfahrung mit Web-Scraping und Web-Crawling - Kenntnisse in Large Language Models (LLM) und KI-gestützter Datenextraktion - Erfahrung mit Databricks oder ähnlichen Datenplattformen - Verständnis für Datenqualität und Datenvalidierung - Fähigkeit zur Analyse komplexer Datenstrukturen
Einsatzort: Remote (Nearshore, EU-Bürger erforderlich)
Anforderungen
- Rollenfamilie
- Daten / KI
- Sprachen
- Deutsch (gut)
- Rechtsform
- Einzelfreelancer möglich
Rahmenbedingungen
- Abrechnung
- Nach Aufwand
- Remote
- nur EU-Bürger (Nearshore)
- Gesuchte Personen
- 1
- Bewerbungsfrist
- 28.10.2026 (bald fällig)
Projekt
- Projektart
- Neuentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- Web Scraping
- Automatisierte Extraktion von Daten aus Webseiten durch Parsing von HTML- oder ähnlichen Strukturen.
- Large Language Models
- Large Language Models sind KI-Systeme, die auf großen Datenmengen trainiert sind und Texte verstehen sowie generieren können.
- Prompt Engineering
- Technik zur Formulierung präziser Eingabeaufforderungen für KI-Sprachmodelle; zielt darauf ab, bessere und relevantere Antworten zu erhalten.
- REST APIs
- Schnittstellen zur Datenübertragung zwischen Softwaresystemen, die auf HTTP-Protokoll und standardisierten Webmethoden basieren.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Pandas
- Python-Bibliothek zur Datenanalyse und -manipulation, die Datenstrukturen wie DataFrames für tabellarische Daten bereitstellt.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Fehlerbehandlung
- Programmierkonzept zur Erkennung, Behandlung und Protokollierung von Fehlern und Ausnahmefällen während der Ausführung von Software.
- Monitoring
- Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
- Mapping
- Prozess der Erfassung, Darstellung und Verwaltung von räumlichen oder konzeptionellen Daten in Karten oder Datenmodellen.
- Datenvalidierung
- Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln oder Formate.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Prompt Engineering-Profil zum Markt?
- ✓ Market Fit gegen 68 Prompt Engineering-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,3 Tagen geschlossen.
Stundensatz vs. Markt
Ø 122 €/h (für diese Skills) · -50.8%
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- AI Computing Architect
- Senior AI Accelerator Performance Engineer (Kernels & Operators)
- Senior Software Engineer KI-Plattform (m/w/d)
- AI Computing Architect
- Senior Python Data & AI Engineer (Web Crawling)
- AI Developer (m/w/d) – Agentic AI & RAG
- KI Trainer (m/w/d)
- Senior AI Framework Engineer (m/w/d)
- Senior AI Governance Specialist / Data Governance Consultant
- Senior AI Inference Engineer – 12 Month Initial Engagement
- AI Software Engineer (m/w/d)
- Software Engineer – AI & Cloud (m/w/d)
- Full-Stack AI Engineer (m/w/d)
- Consultant Copilot Studio
- VP of Research, Machine Learning
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten