AI Data Engineer im Bereich Wissensmanagement Bots

Wir suchen einen erfahrenen AI Data Engineer für den Bereich Wissensmanagement Bots. Die Position bietet eine 100%ige Auslastung mit flexibler Remote-Arbeit und nur 2-3 Tagen pro Quartal vor Ort.

Ihre Hauptaufgaben umfassen die Entwicklung und Optimierung skalierbarer Datenmodelle für Big Data sowie den Aufbau und die Pflege von Datenbanken und Data-Warehouses, insbesondere mit PostgreSQL. Sie stellen die Performance und Skalierbarkeit von Datenarchitekturen für mehrere tausend parallele Nutzer sicher und entwickeln robuste ETL-/ELT-Pipelines mit Fokus auf Skalierbarkeit und Fehlerisolierung.

Zu Ihren Verantwortlichkeiten gehört das Design moderner Data-Lake- und Data-Warehouse-Architekturen mit verschiedenen Schichten sowie die Entwicklung von ETL-/ELT-Strecken mit Tools wie Airflow, dbt, Kafka oder Spark. Sie gewährleisten die Datenqualität durch Schema-Validierung, automatisierte Tests und Monitoring und konzipieren Batch- und Near-Real-Time-Pipelines.

Wir erwarten mehrjährige Erfahrung in der Datenmodellierung und im Aufbau skalierbarer Datenarchitekturen, sehr gute SQL-Kenntnisse und fundierte PostgreSQL-Erfahrung inklusive Performance-Tuning. Mehrjährige Python-Erfahrung im Data-Engineering-Umfeld mit Bibliotheken wie Pandas oder PySpark ist erforderlich, ebenso wie Erfahrung in der Entwicklung robuster ETL-/ELT-Pipelines und der Sicherstellung von Datenqualität in produktiven Umgebungen.

Kenntnisse in Observability-Tools wie Prometheus, Grafana oder OpenTelemetry runden Ihr Profil ab. Diese Position bietet die Möglichkeit, an innovativen KI-Projekten zu arbeiten und moderne Data-Engineering-Praktiken zu etablieren.