Data Engineer (Databricks, Snowflake)
Wir suchen einen erfahrenen Data Engineer zur Entwicklung und Wartung von Datenpipelines und Datenprodukten. In dieser Rolle arbeiten Sie direkt mit Clients zusammen, um deren Anforderungen zu verstehen und diverse Datenquellen in zuverlässige, wiederverwendbare Datensätze umzuwandeln.
Ihre Aufgaben umfassen die Gestaltung, Entwicklung, das Testen und Monitoring von verteilten Datenpipelines für Batch- und Streaming-Workloads. Sie integrieren strukturierte und unstrukturierte Daten und erstellen reproduzierbare Datensätze, die den Anforderungen der Datennutzer entsprechen. Darüber hinaus beraten Sie Clients zu technischen Optionen und erklären Designentscheidungen gegenüber technischen und geschäftlichen Stakeholdern. Sie arbeiten iterativ mit Architekten, Softwareentwicklern und Data Scientists zusammen, um Datenprodukte zu liefern.
Wir erwarten einen Hochschulabschluss in Informatik, Softwareentwicklung, Data Science oder einer vergleichbaren Qualifikation. Sie bringen mindestens drei Jahre Erfahrung in Data Engineering oder Softwareentwicklung mit. Praktische Kenntnisse in Python und SQL sowie Erfahrung mit relationalen und nicht-relationalen Datenbanken sind erforderlich. Sie haben Erfahrung beim Aufbau und der Wartung von Datenprodukten und kennen Architekturen wie Data Lakes, Lakehouses und Medallion Architectures. Erfahrung mit Cloud-Datenplattformen wie Databricks, Snowflake, Microsoft Fabric oder Amazon SageMaker ist notwendig. Vertrautheit mit großflächiger Datenverarbeitung, Datenanalyse, Visualisierung sowie agiler Entwicklung und DevOps wird vorausgesetzt. Hands-on-Erfahrung mit oder Interesse an Technologien wie Spark, Delta Lake, Airflow, Kafka, Kubernetes oder Terraform ist von Vorteil. Fließende Deutsch- und Englischkenntnisse sind erforderlich.
Die Position ist auf 100% Auslastung ausgelegt und beginnt am 01.12.2026 mit einer Projektdauer von mindestens 6 Monaten. Der Arbeitsort ist Zürich.
Skills
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 3 Jahre
- Sprachen
- Deutsch (verhandlungssicher), Englisch (verhandlungssicher)
Projekt
- Projektart
- Weiterentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Snowflake
- Snowflake ist eine Cloud-basierte Datenbank- und Data-Warehouse-Plattform; sie wird für Speicherung, Verarbeitung und Analyse großer Datenmengen eingesetzt.
- Microsoft Fabric
- Integrierte Datenplattform von Microsoft für Analytics, Data Engineering und Business Intelligence; vereint verschiedene Datentools in einer Umgebung.
- Amazon Sagemaker
- Cloud-Service von Amazon Web Services zur Entwicklung, Training und Bereitstellung von Machine-Learning-Modellen.
- Spark
- Apache Spark ist ein Framework zur verteilten Datenverarbeitung großer Datenmengen; wird verwendet um Daten schnell zu analysieren und zu transformieren.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Airflow
- Open-Source-Plattform zur Planung, Überwachung und Automatisierung von Datenverarbeitungs-Workflows.
- Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- Data Lakes
- Zentrale Speichersysteme für große Mengen unstrukturierter und strukturierter Daten; werden für Datenanalyse und Business Intelligence genutzt.
- Lakehouses
- Hybrid-Speichersystem, das Merkmale von Data Lakes (große Datenmengen) und Data Warehouses (strukturierte Abfragen) kombiniert, um flexibles und performantes Datenmanagement zu ermöglichen.
- Medallion Architecture
- Datenlake-Architektur mit drei Schichten (Bronze, Silber, Gold) zur schrittweisen Datenbereinigung und -anreicherung.
- Relational Databases
- Datenbanksysteme, die Daten in Tabellen mit Beziehungen zueinander speichern und über SQL abgefragt werden.
- Non-relational Databases
- Datenbanksysteme (wie MongoDB, Cassandra), die Daten nicht in Tabellen speichern, sondern in flexibleren Formaten wie Dokumenten oder Graphen.
- Data Visualization
- Darstellung von Daten in grafischer Form wie Diagrammen oder Karten, um Muster und Erkenntnisse verständlicher zu machen.
- DevOps
- Kombination von Entwicklung und Betrieb, die Automatisierung, kontinuierliche Integration und schnellere Bereitstellung von Software ermöglicht.
- Agile Development
- Iterative Softwareentwicklungsmethode mit kurzen Entwicklungszyklen, regelmäßigem Feedback und flexibler Anpassung an Anforderungen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Python-Profil zum Markt?
- ✓ Market Fit gegen 1.031 Python-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,2 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 98 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior Data Analyst – Power BI (m/w/d)
- Oracle DB Experte (m/w/d) mit PostgreSQL Erfahrung
- Big Data Engineer
- Data & AI Consultant
- Senior Oracle Data Engineer (m/w/d)
- Data Engineers - 100% remote, ASAP, 12+ months
- Senior Data Engineer – Sales Data Hub (m/w/d)
- Technical Analyst - Legal and Compliance
- Senior Data Analyst für das D4Q Team Self Service Analytics Experience (m/w/d)(abgelaufen)
- Data Analyst (m/w/d) – Business Intelligence & Data Analytics(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten