Senior Data Engineer (m/w/d)

Skills erklärt

Python

Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.

GoLang

Programmiersprache von Google, die für effiziente und gleichzeitige Verarbeitung sowie für Backend- und Cloud-Anwendungen entwickelt wurde.

SQL (MPP)

SQL-Abfragesprache optimiert für Massively Parallel Processing, um große Datenmengen verteilt auf mehreren Servern schnell zu verarbeiten.

Bash

Bash ist eine Kommandozeilen-Shell und Skriptsprache für Unix/Linux-Systeme; sie wird verwendet, um Befehle auszuführen und Automatisierungsaufgaben zu programmieren.

Java

Programmiersprache, die plattformunabhängig läuft und häufig für Unternehmensanwendungen, Web-Services und Android-Apps verwendet wird.

Kubernetes

Open-Source-Plattform zur automatisierten Verwaltung, Skalierung und Orchestrierung von containerisierten Anwendungen.

Linux

Freies Betriebssystem, das als Basis für Server, Desktops und eingebettete Systeme verwendet wird.

Apache Iceberg

Open-Source-Tabellenformat für große Datenmengen, das Versionskontrolle und effiziente Abfragen ermöglicht und in Data-Lakes eingesetzt wird.

Dagster

Open-Source-Framework zur Orchestrierung und Verwaltung von Daten-Pipelines und ETL-Prozessen.

Spark

Apache Spark ist ein Framework zur verteilten Datenverarbeitung großer Datenmengen; wird verwendet um Daten schnell zu analysieren und zu transformieren.

Kafka

Verteilte Streaming-Plattform zur Verarbeitung großer Datenmengen in Echtzeit zwischen verschiedenen Systemen.

Flink

Open-Source-Framework für verteilte Datenverarbeitung in Echtzeit, das große Datenmengen schnell verarbeitet und analysiert.

Airflow

Open-Source-Plattform zur Planung, Überwachung und Automatisierung von Datenverarbeitungs-Workflows.

Risingwave

Open-Source Stream-Processing-System zur Verarbeitung und Analyse von kontinuierlichen Datenströmen in Echtzeit.

NATS.io

Open-Source-Messaging-System für asynchrone Kommunikation zwischen verteilten Anwendungen und Microservices.

GitOps

Methode zur Infrastruktur- und Anwendungsverwaltung, bei der Git als zentrale Quelle für Konfigurationen und Deployments dient.

S3

Amazon Simple Storage Service, ein Cloud-Speicherdienst für große Datenmengen; wird verwendet, um Dateien, Backups und Daten flexibel in der Cloud zu speichern und zu verwalten.

Datenplattform-Architekturen

Grundkonzepte für den Aufbau von Systemen zur Speicherung, Verarbeitung und Bereitstellung großer Datenmengen.

Kappa-Architektur

Datenarchitektur-Ansatz, der Datenverarbeitung hauptsächlich über Streaming-Pipelines durchführt statt separater Batch- und Streaming-Systeme.

Medallion-Architektur

Datenlake-Architektur mit drei Schichten (Bronze, Silber, Gold); strukturiert Daten vom rohen Zustand über bereinigt bis zu geschäftsreifer Form.

Batch-Datenpipelines

Automatisierte Prozesse zur Verarbeitung großer Datenmengen in zeitlich definierten Blöcken (Batches) statt in Echtzeit.

Streaming-Datenpipelines

Automatisierte Prozesse zur kontinuierlichen Verarbeitung von Datenströmen in Echtzeit oder nahezu Echtzeit.

Datenkatalog

Verwaltungssystem, das Metadaten über vorhandene Datenbestände dokumentiert und Nutzern hilft, relevante Datenquellen zu finden und zu verstehen.

Datenversionierung

Verwaltung verschiedener Versionen von Daten oder Datensätzen, um Änderungen nachzuverfolgbar zu machen und frühere Zustände wiederherstellen zu können.

Datenorchestrierung

Automatisierte Koordination und Verwaltung von Datenflüssen zwischen verschiedenen Systemen und Anwendungen.

Deployment-Automatisierung

Automatisierte Prozesse zur Bereitstellung von Software oder Systemkonfigurationen in Produktionsumgebungen ohne manuelle Eingriffe.

Plattformautomatisierung

Automatisierung von wiederkehrenden Aufgaben und Prozessen auf Datenplattformen oder IT-Infrastruktur-Plattformen.

Als IT-Freelancer automatisch auf Projekte wie dieses bewerben

Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.

• ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
• ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
• ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
• ✓ Kostenlos starten – keine Kreditkarte erforderlich

Häufige Fragen zu Nexus

Was ist Nexus und für wen ist es geeignet?

Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.

Wie schreibt Nexus den Bewerbungstext?

Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.

Welche Projektplattformen werden unterstützt?

Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.

Kostet Nexus etwas?

Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.

Passende Freelancer

Profile die zu den Skills dieses Projekts passen

• Enterprise Architect | AI Platform Strategist | Technology Consultant100 €/h

  Enterprise Architect und AI Platform Strategist mit über 25 Jahren Erfahrung in der Entwicklung, Architektur und Skalierung komplexer Softwareplattformen sowie der Integration moderner AI-Technologien in Enterprise-Umgebungen.

  Enterprise ArchitectureSolution ArchitectureTechnical LeadershipLarge Language Models (LLMs)
• Senior Backend Developer68 €/h

  20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.

  BackendCloudAI IntegrationPHP
• Senior AI Automation Engineer60 €/h

  AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.

  Claude CodeLLMMCPAgentic AI
• Senior Software Developer
  JavaPythonJavaScriptTypeScript
• IT-Consultant / Full-Stack Developer
  JavaScriptPythonJavaReact