Senior Flink Engineer – Streaming Platform
🏛 Ausgeschrieben von Darwin RecruitmentEin führender Telekommunikationsanbieter sucht einen erfahrenen Senior Flink Engineer zur Weiterentwicklung seiner Real-Time-Datenplattform. Das Unternehmen transformiert seine Datenarchitektur von Batch- zu Streaming-First und nutzt Apache Kafka und Apache Flink als zentrale Technologien für Netzwerktelemetrie, Sicherheitsüberwachung, Kundenanalysen und IoT-Anwendungen im großen Maßstab.
Die ideale Kandidatin oder der ideale Kandidat bringt mindestens 5 Jahre Erfahrung als Software- oder Data Engineer mit, davon 2–3 Jahre produktive Apache-Flink-Entwicklung. Tiefgreifende Flink-Expertise ist erforderlich: DataStream API, State Management (Checkpoints, Savepoints, RocksDB), Watermarks, Event-Time-Processing und Exactly-Once-Semantik. Umfangreiche Erfahrung mit Kafka-Integration, Flink-Connectoren und Schema-Handling (Avro/Protobuf) ist notwendig.
Produktive Flink-Deployments, Cluster-Management und Ressourcenoptimierung gehören zum Kernrepertoire. Cloud-native Erfahrung mit Kubernetes und containerisierten Flink-Deployments sowie CI/CD-Pipelines (ArgoCD, GitHub Actions) sind erforderlich. Starke Java-Kenntnisse und idealerweise Scala oder Python für die Entwicklung und Wartung von Flink-Anwendungen sind notwendig.
Observability-Fähigkeiten mit Prometheus, Grafana oder ähnlichen Tools sowie die Fähigkeit, komplexe verteilte Streaming-Probleme in der Produktion zu debuggen, sind essentiell. Mindestens 5 Jahre Erfahrung in der Telekommunikationsindustrie mit Verständnis für Netzwerkdaten, OSS/BSS oder Telco-Betriebssysteme runden das Profil ab.
Die Position bietet die Gelegenheit, in einem internationalen Team von etwa 8 Ingenieuren an hochskalierbaren Streaming-Lösungen zu arbeiten. Der Standort ist Amsterdam mit hybrider Arbeitsweise.
Anforderungen
- Rollenfamilie
- DevOps / Cloud
- Berufserfahrung
- mindestens 5 Jahre
- Sprachen
- Englisch (gut)
Projekt
- Vermittlung
- Über Vermittler
Skills erklärt
- Apache Flink
- Open-Source-Framework für verteilte Datenverarbeitung und Stream-Processing in Echtzeit.
- DataStream API
- Programmierschnittstelle zum Zugriff auf und zur Verarbeitung von kontinuierlichen Datenströmen in Echtzeit oder nahezu in Echtzeit.
- State Management (Checkpoints, Savepoints)
- Technik zum Speichern und Wiederherstellen von Systemzuständen in Stream-Processing oder Batch-Verarbeitung, um Fehlertoleranz und Konsistenz zu gewährleisten.
- RocksDB
- Hochperformante Open-Source-Datenbank-Engine für schnelle Lese- und Schreibzugriffe, häufig für lokale Speicherung und Caching eingesetzt.
- Watermarks
- Markierungen in Stream-Processing-Systemen, die anzeigen, bis zu welchem Zeitpunkt Daten verarbeitet wurden, um verspätete Daten korrekt zu handhaben.
- Event-time Processing
- Verarbeitung von Daten basierend auf dem Zeitstempel, wann ein Ereignis tatsächlich stattgefunden hat, nicht wann es im System ankommt; wird in Streaming- und Big-Data-Systemen eingesetzt.
- Exactly-once semantics
- Garantie in verteilten Systemen, dass eine Nachricht oder Operation genau einmal verarbeitet wird, nicht mehrfach und nicht gar nicht. Dies ist wichtig für Datenkonsistenz in Streaming- und Messaging-Systemen.
- Apache Kafka
- Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit, häufig für Datenaustausch zwischen Systemen genutzt.
- Flink Connectors
- Schnittstellen-Module für Apache Flink, die die Verbindung zu externen Datenquellen und -zielen ermöglichen; ermöglichen Datenfluss zwischen Flink und anderen Systemen.
- Avro
- Serialisierungsformat und RPC-Framework von Apache zur effizienten Datenspeicherung und Übertragung zwischen Systemen.
- Protobuf
- Serialisierungsformat von Google zur kompakten und effizienten Übertragung strukturierter Daten zwischen Systemen.
- Schema Registry
- Zentrales System zur Verwaltung und Versionierung von Datenformaten (Schemas) in verteilten Systemen, häufig bei Kafka-Umgebungen eingesetzt.
- Kubernetes
- Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.
- AKS
- Azure Kubernetes Service; verwalteter Kubernetes-Dienst von Microsoft zur Orchestrierung von containerisierten Anwendungen.
- EKS
- Amazon Elastic Kubernetes Service – verwalteter Cloud-Service zum Betrieb von containerisierten Anwendungen mit Kubernetes.
- GKE
- Google Kubernetes Engine; ist ein verwalteter Kubernetes-Service von Google Cloud für die Bereitstellung und Verwaltung von containerisierten Anwendungen.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- ArgoCD
- Tool für kontinuierliche Bereitstellung (CD) von Anwendungen in Kubernetes-Umgebungen mittels GitOps-Prinzipien.
- GitHub Actions
- Automatisierungstool von GitHub, das es ermöglicht, Workflows wie Tests, Builds oder Deployments automatisch bei bestimmten Ereignissen im Code-Repository auszulösen.
- Java
- Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.
- Prometheus
- Open-Source-Monitoring- und Alerting-System für IT-Infrastrukturen; wird zur Überwachung von Servern, Anwendungen und Metriken verwendet.
- Grafana
- Visualisierungs- und Monitoring-Tool, das Metriken und Logs aus verschiedenen Datenquellen grafisch darstellt und zur Überwachung von Systemen eingesetzt wird.
- Distributed Systems
- Systeme, bei denen mehrere unabhängige Computer über ein Netzwerk zusammenarbeiten, um gemeinsame Aufgaben zu lösen.
- Network data
- Daten, die über Netzwerke übertragen, gespeichert oder analysiert werden, einschließlich Netzwerk-Traffic und Verbindungsinformationen.
- OSS/BSS
- Betriebssysteme für Telekommunikationsnetze: OSS (Operations Support System) für Netzmanagement, BSS (Business Support System) für Kundenmanagement und Abrechnung.
- Telco Operational Systems
- Softwaresysteme zur Verwaltung und Überwachung von Telekommunikations-Netzwerken und -Diensten; unterstützen Betrieb, Wartung und Kundenmanagement.
- JobManager/TaskManager Tuning
- Die Optimierung von Ressourcenverteilung und Ausführung von Jobs oder Tasks in einem System zur Verbesserung der Performance.
- Memory Optimization
- Techniken zur Reduzierung des Speicherverbrauchs von Anwendungen oder Systemen durch effizientere Nutzung des verfügbaren RAM.
- Resource Optimization
- Methode zur effizienten Nutzung verfügbarer Ressourcen wie Speicher, Rechenleistung oder Personal; wird angewendet, um Kosten zu senken und Leistung zu verbessern.
- Containerization
- Technologie zur Verpackung von Anwendungen mit ihren Abhängigkeiten in isolierte Container; wird eingesetzt, um Software konsistent über verschiedene Umgebungen hinweg auszuführen.
- Backpressure Handling
- Mechanismen zur Regulierung von Datenfluss in Systemen, um zu verhindern, dass schnelle Datenquellen langsame Verbraucher überlasten.
- Checkpoint Metrics
- Messgrößen, die an definierten Kontrollpunkten in Projekten oder Prozessen erfasst werden, um Fortschritt und Qualität zu überwachen.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Kubernetes-Profil zum Markt?
- ✓ Market Fit gegen 765 Kubernetes-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 5,5 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 88 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- AWS Cloud Operations Engineer mit ITIL/DevOps-Erfahrung (m/w/d) - 100% Remote
- Cloud Infrastructure Engineer mit Azure/Terraform-Erfahrung (m/w/d) - 100% Remote
- Erfahrener Go-Entwickler (m/w/d) - zwingend: Go + Kubernetes/Helm/relationale DBs - Homeoffice
- Senior System Engineer Linux - DevSecOps - Freelance
- Linux Cloud Engineer / RHEL Engineer (m/f/d)
- Developer Advocate / DX Lead | Performance Tooling | Devtools Startup
- Senior Linux Platform Engineer
- Architektur und Betrieb von OpenShift-Plattformen
- DevOps Engineer (AWS, Kubernetes, Terraform) (m/w/d)(abgelaufen)
- Senior DevOps Engineer – Betriebskritische Formationssysteme (Java · Angular · Kafka)(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten