Data Engineer (m/w/d) – Microsoft Azure & Databricks
Wir suchen mehrere erfahrene Data Engineers für ein führendes Technologieunternehmen in Europa. Die Position ist vollständig remote und langfristig angelegt.
Die Rolle: Sie arbeiten in einer modernen Data-Engineering-Umgebung mit Fokus auf Microsoft Azure und Cloud-basierte Datenarchitekturen. Sie entwickeln, optimieren und warten Datenpipelines und sind verantwortlich für die Verarbeitung und Transformation großer Datenmengen.
Anforderungen: - Fundierte Erfahrung in Data Engineering, idealerweise mit Microsoft Azure - Sichere Kenntnisse in Databricks, Apache Spark und Medallion Architecture - Praktische Erfahrung mit Delta Lake/Delta Tables, einschließlich Row-Level Security - Kompetenz im Umgang mit Spark DataFrames, Spark SQL und UDFs - Gute Python-Kenntnisse für Datenverarbeitung, Transformation und Pipeline-Entwicklung - Fließend Englisch (Deutsch nicht erforderlich)
Rahmenbedingungen: - Freiberufliche/Vertragliche Tätigkeit - Start: Schnellstmöglich - 100% Remote - Dauer: 12+ Monate - Vollzeit oder Teilzeit möglich - Arbeitszeiten in deutscher Geschäftszeit
Wir suchen Fachleute, die eigenverantwortlich arbeiten können und sich in komplexen Datenumgebungen zurechtfinden. Wenn Sie die genannten Anforderungen erfüllen und an einer langfristigen Zusammenarbeit interessiert sind, freuen wir uns auf Ihre Bewerbung.
Anforderungen
- Rollenfamilie
- Daten / KI
- Sprachen
- Englisch (gut)
- Rechtsform
- Einzelfreelancer möglich
Rahmenbedingungen
- Remote
- German business hours
Projekt
- Vermittlung
- Über Vermittler
Skills erklärt
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Microsoft Azure
- Cloud-Plattform von Microsoft für das Hosten von Anwendungen, Speicherung von Daten und IT-Infrastruktur über das Internet.
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Delta Tables
- Tabellenformat (von Databricks) für Data Lakes, das ACID-Transaktionen und Versionskontrolle ermöglicht. Verbessert Zuverlässigkeit und Nachverfolgbarkeit von Daten.
- Row-Level Security
- Sicherheitsmechanismus in Datenbanken, der Zugriff auf einzelne Datensätze basierend auf Benutzerrechten beschränkt; wird für Datenschutz und Zugriffskontrolle verwendet.
- Spark DataFrames
- Datenstruktur in Apache Spark für verteilte Datenverarbeitung, ähnlich Tabellen mit Zeilen und Spalten. Ermöglicht schnelle Analyse großer Datenmengen auf mehreren Computern.
- Spark/SQL
- Apache Spark ist ein Framework für verteilte Datenverarbeitung, SQL ist die Abfragesprache für Datenbanken. Zusammen ermöglichen sie schnelle Analyse großer Datenmengen.
- UDFs
- User Defined Functions sind benutzerdefinierte Funktionen, die Programmierer selbst schreiben. Sie erweitern die Funktionalität von Datenbank- oder Analyse-Systemen um spezifische Anforderungen.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- Medallion Architecture
- Datenlake-Architektur mit drei Schichten (Bronze, Silber, Gold) zur schrittweisen Datenbereinigung und -anreicherung.
- Azure Data Factory
- Cloud-Service von Microsoft zur Orchestrierung und Automatisierung von Datenverarbeitungsprozessen; ermöglicht das Verschieben und Transformieren von Daten zwischen verschiedenen Quellen.
- Azure Data Lake
- Cloud-Speicherlösung von Microsoft zur Verwaltung großer Mengen strukturierter und unstrukturierter Daten für Analysen.
- Azure Data Analytics
- Cloud-basierte Analyseplattform von Microsoft zur Verarbeitung und Visualisierung großer Datenmengen; wird für Business Intelligence und Datengestützte Entscheidungsfindung verwendet.
- Datenbank-Engines
- Softwarekomponenten, die Datenbanken verwalten und Abfragen ausführen, etwa MySQL, PostgreSQL oder MongoDB. Sie organisieren Datenspeicherung, Zugriff und Sicherheit.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Data Engineering-Profil zum Markt?
- ✓ Market Fit gegen 109 Data Engineering-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,9 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 98 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Big Data Engineer
- Data & AI Consultant
- Data Engineer (Databricks, Snowflake)
- Senior Oracle Data Engineer (m/w/d)
- Senior Data Engineer – Sales Data Hub (m/w/d)
- Technical Analyst - Legal and Compliance
- Technical Data Analyst - Europe OR India (Remote)
- Technical Analyst - Legal and Compliance
- Data Analyst (m/w/d) Logistics(abgelaufen)
- Data Engineer mit KI-Pricing, Databricks und Python(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten