GCP Data Engineer
🏛 Ausgeschrieben von Next Ventures GmbHWir suchen einen erfahrenen GCP Data Engineer für ein großangelegtes Cloud-Datentechnik-Programm. Sie werden bei der Gestaltung, dem Aufbau und der Optimierung von Enterprise-Datenpipelines und verteilten Verarbeitungslösungen auf der Google Cloud Platform mitwirken.
In dieser Position entwickeln Sie skalierbare Datenverarbeitungsanwendungen und Pipelines, die Analytics, Reporting und AI/ML-Anwendungsfälle unterstützen. Sie arbeiten in einem ingenieurorientierten Umfeld mit starkem Fokus auf praktische Implementierung und technische Exzellenz.
Ihre Aufgaben umfassen das Design und die Entwicklung hochperformanter Datenpipelines mit Java und Apache Spark, die Optimierung von Spark-Workloads für große und komplexe Datenmengen sowie die Arbeit mit GCP-Services wie BigQuery, Dataflow, Pub/Sub, Cloud Storage und Dataproc. Sie entwickeln robuste Ingestions-, Transformations- und Integrationsprozesse, implementieren Datenqualitätsmechanismen und unterstützen die Bereitstellung von Datenanwendungen über alle Umgebungen hinweg.
Wir erwarten fortgeschrittene Entwicklungsfähigkeiten in Java, umfangreiche praktische Erfahrung mit Apache Spark und tiefes Verständnis der Google Cloud Platform. Erforderlich sind starke SQL-Kenntnisse, Erfahrung mit BigQuery für analytische Workloads sowie Vertrautheit mit ETL/ELT-Mustern und moderner Datentechnik-Architektur. Kenntnisse in verteiltem Computing, Datenmodellierung und CI/CD-Pipelines sind essentiell.
Sie arbeiten eng mit Data Architects, Data Scientists, Software Engineers und Business-Stakeholdern zusammen, um Anforderungen in technische Lösungen umzusetzen. Standort: Frankreich (Paris/Toulouse).
Skills erklärt
- GCP
- Google Cloud Platform ist die Cloud-Computing-Infrastruktur von Google für Hosting, Datenverarbeitung und verschiedene Cloud-Services.
- Java
- Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Spark/SQL
- Apache Spark ist ein Framework für verteilte Datenverarbeitung, SQL ist die Abfragesprache für Datenbanken. Zusammen ermöglichen sie schnelle Analyse großer Datenmengen.
- BigQuery
- Cloud-basierte Datenbank von Google zur Speicherung und Analyse großer Datenmengen; ermöglicht schnelle SQL-Abfragen auf Terabyte-Datenmengen.
- Dataproc
- Google Cloud-Dienst zur Verarbeitung großer Datenmengen mit Apache Spark und Hadoop. Wird für Datenanalyse und ETL-Prozesse in der Cloud eingesetzt.
- Dataflow
- Konzept der Bewegung und Verarbeitung von Daten zwischen Systemen oder Komponenten, wird verwendet um Datenströme zu modellieren und zu optimieren.
- Google Cloud Storage
- Cloud-Speicherdienst von Google zum Ablegen und Verwalten von Dateien und Daten über das Internet.
- Pub/Sub
- Messaging-Muster, bei dem Produzenten Nachrichten veröffentlichen und Konsumenten diese abonnieren, ohne direkt miteinander verbunden zu sein.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Git
- Versionskontrollsystem zur Verwaltung von Codeänderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Änderungen ermöglicht.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Distributed Computing
- Verarbeitung von Aufgaben auf mehreren vernetzten Computern parallel, um Rechenleistung zu erhöhen und Ausfallsicherheit zu verbessern.
- Data Modelling
- Prozess der Strukturierung und Planung von Daten, um festzulegen, wie Informationen in Systemen organisiert und gespeichert werden.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Cloud Composer
- Verwaltungstool von Google Cloud zur Orchestrierung und Automatisierung von Datenverarbeitungs-Workflows in der Cloud.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- Docker
- Software-Plattform zur Containerisierung, die Anwendungen mit ihren Abhängigkeiten in isolierten Umgebungen verpackt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- GKE
- Google Kubernetes Engine; ist ein verwalteter Kubernetes-Service von Google Cloud für die Bereitstellung und Verwaltung von containerisierten Anwendungen.
- Cloud Run
- Google-Cloud-Service zur Ausführung von containerisierten Anwendungen ohne Verwaltung von Infrastruktur; ermöglicht serverlose Deployment von Code.
- Cloud Functions
- Serverlose Compute-Dienste in der Cloud, die einzelne Funktionen oder Microservices ausführen, ohne dass eine Infrastruktur verwaltet werden muss.
- Data Lake
- Ein zentrales Speichersystem, das große Mengen an Rohdaten in verschiedenen Formaten sammelt und speichert, um sie später für Analysen und Auswertungen zu nutzen.
- Lakehouse
- Datenarchitektur-Konzept, das Merkmale von Data Lakes und Data Warehouses kombiniert für flexible und strukturierte Datenverarbeitung.
- Data Mesh
- Architektur-Ansatz, bei dem Daten dezentralisiert organisiert werden und einzelne Teams ihre Datenprodukte selbst verwalten.
- Machine Learning
- Teilgebiet der künstlichen Intelligenz, bei dem Systeme aus Daten lernen und Muster erkennen, um Vorhersagen zu treffen oder Entscheidungen zu automatisieren.
- Monitoring
- Kontinuierliche Überwachung von Systemen, Anwendungen oder Prozessen zur Erfassung von Leistungsdaten und Erkennung von Problemen.
- Observability
- Fähigkeit, den Zustand und das Verhalten von IT-Systemen durch Metriken, Logs und Traces zu überwachen und zu verstehen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein GCP-Profil zum Markt?
- ✓ Market Fit gegen 187 GCP-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 8,2 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 94 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior BI & Data Analytics Consultant (m/w/d)
- Business Intelligence Developer / Qlik Sense (w/m/d)
- Data Architect mit AWS/Big-Data-Erfahrung (m/w/d) - 100% Remote
- Data Scientist Life Science (m/w/d)
- Data Architect (Airflow, GitLab CI/CD, AWS) (m/w/d) remote
- AIMI DISA Data Engineer (m/w/d)
- Data Engineer (Python, Microsoft SQL Server, AWS) (m/w/d) 95% remote
- Data Steward / Scientific Expert
- Data Engineer (m/w/d)(abgelaufen)
- Data Engineer (B2C / Consumer Data)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten