Senior Flink Engineer – Streaming Platform
🏛 Ausgeschrieben von Darwin RecruitmentEin führender Telekommunikationsanbieter sucht einen erfahrenen Senior Flink Engineer zur Weiterentwicklung seiner zentralen Streaming-Plattform. Das Unternehmen transformiert seine Datenverarbeitung von Batch- zu Streaming-First-Ansätzen und nutzt Apache Kafka und Apache Flink im großen Maßstab für Netzwerk-Telemetrie, Sicherheitsüberwachung, Kundenanalysen und IoT-Anwendungen.
Die Position erfordert mindestens 5 Jahre Erfahrung als Software- oder Data Engineer mit 2–3 Jahren produktiver Apache-Flink-Nutzung sowie 5+ Jahre Erfahrung in der Telekommunikationsindustrie. Sie sollten tiefgreifende Flink-Expertise mitbringen, insbesondere in DataStream API, State Management (Checkpoints, Savepoints, RocksDB), Watermarks und Event-Time-Processing. Kafka-Integrationserfahrung, Cloud-Native-Technologien (Kubernetes, containerisierte Deployments) und starke Java-Kenntnisse sind erforderlich.
Ihre Aufgaben umfassen die Gestaltung und Bereitstellung produktiver Flink-Anwendungen, die Verwaltung zustandsbehafteter Streaming-Jobs und die Handhabung von Event-Time-Verarbeitung in realen Pipelines. Sie werden Flink auf Kubernetes bereitstellen, HA-Konfigurationen durchführen und Produktionsprobleme debuggen. Observability-Erfahrung mit Prometheus und Grafana sowie ein starkes Problemlösungs-Mindset für komplexe verteilte Streaming-Probleme sind essentiell.
Vorteilhaft sind Erfahrungen mit Kafka Streams, Flink SQL, Lakehouse-Integration und Telekommunikations-Netzwerk-Telemetrie-Pipelines. Sie werden in einem internationalen, verteilten Team von etwa 8 Ingenieuren arbeiten und von einem Lead Streaming Engineer geleitet. Der Standort ist Amsterdam mit hybrider Arbeitsweise.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 5 Jahre
- Sprachen
- Englisch (gut)
Projekt
- Vermittlung
- Über Vermittler
Skills erklärt
- Apache Flink
- Open-Source-Framework für verteilte Datenverarbeitung und Stream-Processing in Echtzeit.
- DataStream API
- Programmierschnittstelle zum Zugriff auf und zur Verarbeitung von kontinuierlichen Datenströmen in Echtzeit oder nahezu in Echtzeit.
- State Management (Checkpoints, Savepoints)
- Technik zum Speichern und Wiederherstellen von Systemzuständen in Stream-Processing oder Batch-Verarbeitung, um Fehlertoleranz und Konsistenz zu gewährleisten.
- RocksDB
- Hochperformante Open-Source-Datenbank-Engine für schnelle Lese- und Schreibzugriffe, häufig für lokale Speicherung und Caching eingesetzt.
- Watermarks
- Markierungen in Stream-Processing-Systemen, die anzeigen, bis zu welchem Zeitpunkt Daten verarbeitet wurden, um verspätete Daten korrekt zu handhaben.
- Event-time Processing
- Verarbeitung von Daten basierend auf dem Zeitstempel, wann ein Ereignis tatsächlich stattgefunden hat, nicht wann es im System ankommt; wird in Streaming- und Big-Data-Systemen eingesetzt.
- Exactly-once semantics
- Garantie in verteilten Systemen, dass eine Nachricht oder Operation genau einmal verarbeitet wird, nicht mehrfach und nicht gar nicht. Dies ist wichtig für Datenkonsistenz in Streaming- und Messaging-Systemen.
- Apache Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit, häufig für Datenaustausch zwischen Systemen genutzt.
- Flink Connectors
- Schnittstellen-Module für Apache Flink, die die Verbindung zu externen Datenquellen und -zielen ermöglichen; ermöglichen Datenfluss zwischen Flink und anderen Systemen.
- Avro
- Serialisierungsformat und RPC-Framework von Apache zur effizienten Datenspeicherung und Übertragung zwischen Systemen.
- Protobuf
- Serialisierungsformat von Google zur kompakten und effizienten Übertragung strukturierter Daten zwischen Systemen.
- Schema Registry
- Zentrales System zur Verwaltung und Versionierung von Datenformaten (Schemas) in verteilten Systemen, häufig bei Kafka-Umgebungen eingesetzt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- AKS
- Azure Kubernetes Service; verwalteter Kubernetes-Dienst von Microsoft zur Orchestrierung von containerisierten Anwendungen.
- EKS
- Amazon Elastic Kubernetes Service – verwalteter Cloud-Service zum Betrieb von containerisierten Anwendungen mit Kubernetes.
- GKE
- Google Kubernetes Engine; ist ein verwalteter Kubernetes-Service von Google Cloud für die Bereitstellung und Verwaltung von containerisierten Anwendungen.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- ArgoCD
- Tool für kontinuierliche Bereitstellung (CD) von Anwendungen in Kubernetes-Umgebungen mittels GitOps-Prinzipien.
- GitHub Actions
- Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
- Java
- Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
- Prometheus
- Open-Source-Monitoring- und Alerting-System für IT-Infrastrukturen; wird zur Überwachung von Servern, Anwendungen und Metriken verwendet.
- Grafana
- Visualisierungs- und Monitoring-Tool, das Metriken und Logs aus verschiedenen Datenquellen grafisch darstellt und zur Überwachung von Systemen eingesetzt wird.
- Distributed Systems
- Systeme, bei denen mehrere unabhängige Computer über ein Netzwerk zusammenarbeiten, um gemeinsame Aufgaben zu lösen.
- Network data
- Daten, die über Netzwerke übertragen, gespeichert oder analysiert werden, einschließlich Netzwerk-Traffic und Verbindungsinformationen.
- OSS/BSS
- Betriebssysteme für Telekommunikationsnetze: OSS (Operations Support System) für Netzmanagement, BSS (Business Support System) für Kundenmanagement und Abrechnung.
- Telco Operational Systems
- Softwaresysteme zur Verwaltung und Überwachung von Telekommunikations-Netzwerken und -Diensten; unterstützen Betrieb, Wartung und Kundenmanagement.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Kubernetes-Profil zum Markt?
- ✓ Market Fit gegen 765 Kubernetes-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 5,3 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 88 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior DevOps/MLOps Engineer (Azure, Python)
- Kubernetes Spezialist (m/w/d)
- Senior NetApp Storage & Backup Experte (m/w/d) Frankfurt und Remote
- Cloud Architect (Kubernetes, Spring Boot, Java) (m/w/d) 90% remote
- Senior Manager Cloud & IT Infrastructure
- Senior DevSecOps Engineer (m/w/d)
- PostgreSQL-Datenbankadministrator (m/w/d) für Red Hat OpenShift
- DevOps Engineer (Cloud Platform, AWS, Kubernetes) (m/w/d)
- DevOps Engineer Cloud & KI(abgelaufen)
- Senior Expert DevOps Engineer – eBanking Mission-Critical (Java · Angular · Kubernetes)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten