Senior Python Data & AI Engineer (Web Crawling)
🏛 Ausgeschrieben von Hays AGWir suchen einen erfahrenen Senior Python Data & AI Engineer mit Schwerpunkt Web Crawling für ein anspruchsvolles Projekt im Bereich Datenextraktion und künstliche Intelligenz.
Ihre Aufgaben: - Analyse und Bewertung geeigneter Web-Quellen - Design einer technischen Zielarchitektur für Crawling- und Extraktionslösungen - Entwicklung von Web-Crawling-, Datenextraktions- und KI-Komponenten - Transformation und Strukturierung extrahierter Informationen - Implementierung von Qualitätssicherungsverfahren und Validierungstools - Pilot-Tests und Dokumentation
Ihr Profil: - Umfangreiche Erfahrung mit Web Crawling und Web Scraping (Scrapy, Beautiful Soup oder vergleichbare Frameworks) - Kenntnisse in HTML, DOM und Tabellenanalyse, Umgang mit dynamischen Webseiten - Expertise in Information Extraction und Generative AI (LLM, NLP, Prompt Engineering) - Erfahrung mit strukturierten Output-Formaten, Klassifizierung und Duplikatserkennung - Kompetenz in REST APIs, PDF- und Datenblatt-Extraktion - Starke Data-Engineering-Fähigkeiten: Python, Pandas, PySpark, Delta Lake - Erfahrung mit Databricks und Entwicklung von Databricks-Anwendungen
Was wir bieten: - Zusammenarbeit mit einem renommierten Unternehmen - Flexible Remote-Arbeitsmöglichkeiten - Freelance/Contracting-Projekt mit sofortiger Startmöglichkeit - Nearshore-Projektsetup
Diese Position richtet sich an Fachleute, die komplexe Datenextraktionsprojekte eigenverantwortlich umsetzen können und dabei moderne KI-Technologien nutzen.
Anforderungen
- Rollenfamilie
- Daten / KI
- Rechtsform
- Einzelfreelancer möglich
Rahmenbedingungen
- Remote
- nearshore country required
Projekt
- Projektart
- Neuentwicklung
- Vermittlung
- Über Vermittler
- Endkunde
- Konzern
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Web Scraping
- Automatisierte Extraktion von Daten aus Webseiten durch Parsing von HTML- oder ähnlichen Strukturen.
- HTML
- Auszeichnungssprache zur Strukturierung von Inhalten im Web; wird eingesetzt, um Webseiten und deren Inhalte im Browser darzustellen.
- LLM
- Large Language Model – trainierte KI-Modelle mit Milliarden von Parametern zur Verarbeitung und Generierung von natürlicher Sprache.
- NLP
- Natural Language Processing; Technologie zur automatisierten Verarbeitung und Analyse von menschlicher Sprache durch Computer.
- Prompt Engineering
- Technik zur Formulierung präziser Eingabeaufforderungen für KI-Sprachmodelle; zielt darauf ab, bessere und relevantere Antworten zu erhalten.
- REST APIs
- Schnittstellen zur Datenübertragung zwischen Softwaresystemen, die auf HTTP-Protokoll und standardisierten Webmethoden basieren.
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Pandas
- Python-Bibliothek zur Datenanalyse und -manipulation, die Datenstrukturen wie DataFrames für tabellarische Daten bereitstellt.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
- Senior AI Automation Engineer60 €/h
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
- Senior Software Developer
- IT-Consultant / Full-Stack Developer
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 871 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,6 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 122 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- AI Developer (m/w/d) – Agentic AI & RAG
- KI Trainer (m/w/d)
- Senior AI Framework Engineer (m/w/d)
- Senior AI Governance Specialist / Data Governance Consultant
- Python / AI Data Engineer – Web Scraping, LLM & Databricks
- Senior AI Inference Engineer – 12 Month Initial Engagement
- AI Software Engineer (m/w/d)
- Software Engineer – AI & Cloud (m/w/d)
- Full-Stack AI Engineer (m/w/d)
- Consultant Copilot Studio
- VP of Research, Machine Learning
- Senior GenAI Solution Architect & AI Platform Engineer (Azure)
- AI Engineer – Microsoft Copilot & Business Process Automation (m/f/d)
- AI Data Engineer – Python, Machine Learning & NLP
- KI-Entwickler (Amazon Bedrock, Python, LangChain) (m/w/d) 100% remote
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten