Senior Data Engineer – AWS Redshift
🏛 Ausgeschrieben von Darwin RecruitmentWir suchen einen erfahrenen Senior Data Engineer zur Gestaltung, Optimierung und Wartung skalierbarer Cloud-Data-Warehouse-Lösungen. In dieser vollständig remote durchzuführenden Position arbeiten Sie eng mit Data-, Analytics- und Engineering-Teams zusammen, um zuverlässige Datenpipelines zu entwickeln, die Performance zu verbessern und hochwertige Analytics sowie Reporting zu unterstützen.
Ihre Aufgaben umfassen die Konzeption und Entwicklung robuster, skalierbarer Datenpipelines und ETL/ELT-Workflows. Sie bauen und optimieren Datenmodelle mit verschiedenen Ansätzen (dimensional, normalisiert, hybrid) und analysieren Query-Performance mittels Execution Plans und Workload-Metriken. Sie entwerfen effiziente Tabellenstrukturen und Verteilungsstrategien, um Datenbewegung und Query-Latenz zu minimieren.
Darüber hinaus entwickeln Sie Daten-Transformations-Workflows mit PySpark und SQL, erstellen und überwachen orchestrierte Workflows und implementieren Datenqualitätsprüfungen sowie Observability-Praktiken. Sie nutzen Monitoring-Tools zur Überwachung der Cluster-Gesundheit und unterstützen Analytics-, Product- und Engineering-Teams bei der Umsetzung von Geschäftsanforderungen in skalierbare Datenlösungen.
Gefordert werden mindestens 5 Jahre Berufserfahrung in Data Engineering mit substantiellem Cloud-Data-Warehouse-Hintergrund. Sie bringen umfangreiche praktische Expertise in Redshift-Internals, Workload Management, Query-Optimierung und Performance-Tuning mit. Erforderlich sind fortgeschrittene SQL-Kenntnisse, Hands-on-Erfahrung mit PySpark und Apache Airflow sowie solides Verständnis von Datenmodellierungsprinzipien. Erfahrung mit Monitoring-Tools, Git-Workflows und dbt-Entwicklungspraktiken runden das Profil ab.
Das Engagement ist auf 12 Monate ausgelegt und erweiterbar. Vollständig remote, starke Kommunikationsfähigkeiten und Fähigkeit zur unabhängigen Arbeit in verteilten Teams erforderlich.
Anforderungen
- Rollenfamilie
- Daten / KI
- Berufserfahrung
- mindestens 5 Jahre
- Sprachen
- Englisch (gut)
- Rechtsform
- Einzelfreelancer möglich
Projekt
- Projektart
- Weiterentwicklung
- Vermittlung
- Über Vermittler
Skills erklärt
- AWS Redshift
- Cloud-basiertes Data-Warehouse von Amazon; wird für Speicherung und Analyse großer Datenmengen eingesetzt.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- PySpark
- Ein Python-Framework zur verteilten Datenverarbeitung großer Datenmengen auf Clustern, basierend auf Apache Spark.
- Apache Airflow
- Open-Source-Plattform zur Orchestrierung und Überwachung von Datenverarbeitungs-Workflows und automatisierten Prozessen.
- ETL/ELT
- Datenverarbeitungsprozesse zum Extrahieren von Daten aus Quellen, Transformieren in das gewünschte Format und Laden in Zielsysteme (ETL) oder Laden vor der Transformation (ELT).
- Data modeling
- Methode zur strukturierten Darstellung und Organisation von Daten in Datenbanken oder Informationssystemen, um Beziehungen und Abhängigkeiten abzubilden.
- Kimball Dimensional Modeling
- Datenmodellierungsmethode für Data Warehouses, die Daten in Fakten- und Dimensionstabellen strukturiert, um analytische Abfragen zu optimieren.
- Normalized Relational Models
- Datenbankdesign-Ansatz, der Daten in mehrere zusammenhängende Tabellen aufteilt, um Redundanz zu minimieren und Datenintegrität zu gewährleisten.
- Workload-Management (WLM)
- Verwaltung und Optimierung der Ressourcenverteilung (CPU, Speicher) auf IT-Systemen zur Gewährleistung von Performance und Stabilität.
- Query Optimization
- Verfahren zur Verbesserung der Effizienz von Datenbankabfragen, um schnellere Ergebnisse und geringere Ressourcennutzung zu erreichen.
- AWS CloudWatch
- Monitoring- und Observability-Service von Amazon Web Services; wird zur Überwachung von Cloud-Ressourcen, Logs und Metriken verwendet.
- dbt
- Data Build Tool; Framework zur Transformation von Rohdaten in Data Warehouses mittels SQL und Versionskontrolle.
- Git
- Versionskontrollsystem zur Verwaltung von Codeänderungen, das Zusammenarbeit mehrerer Entwickler und Nachverfolgung von Änderungen ermöglicht.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Data Quality
- Bewertung und Verbesserung der Genauigkeit, Vollständigkeit und Konsistenz von Daten; wird in Datenmanagement und Business Intelligence eingesetzt.
- data validation
- Prozess zur Überprüfung von Daten auf Korrektheit, Vollständigkeit und Einhaltung definierter Regeln und Formate.
- Explain Plans
- Datenbankfunktion, die zeigt, wie eine SQL-Abfrage intern ausgeführt wird; dient zur Analyse und Optimierung von Datenbankperformance.
- Distribution Keys
- In verteilten Datenbanksystemen verwendete Spalten, die bestimmen, wie Datensätze auf verschiedene Knoten oder Server verteilt werden.
- Sort Keys
- Spalten in Datenbanken oder Data-Warehouse-Systemen, nach denen Daten physisch sortiert werden, um Abfrageleistung zu verbessern.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Passende Freelancer
Profile die zu den Skills dieses Projekts passen
- Senior Backend Developer68 €/h
20+ Jahre Java, 15+ Jahre PHP, 10+ Jahre Frontend – Senior Fullstack-Entwickler mit umfassender Expertise in modernen Web- und Cloud-Technologien.
AI Automation Engineer mit Fokus auf agentische Workflows, LLM-Integration, Fullstack-Entwicklung und intelligente Prozessautomatisierung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein SQL-Profil zum Markt?
- ✓ Market Fit gegen 749 SQL-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 9,3 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 88 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Senior Databricks Data Engineer (m/w/d) mit GenAI-Erfahrung Remote und München
- Entwicklung und Optimierung cloudbasierter Data Products auf Google Cloud Platform
- Senior Business Analyst – Data & Reporting Transformation (m/w/d)
- Business Analyst (Data & Operations)
- Senior Microsoft Fabric Engineer
- Data Engineer
- Senior Specialist - Power BI Developer / Reporting
- Data Analytics & Projektmanagement (m/w/d)
- Data Scientist (AWS SageMaker, GraphStorm, PySpark) (m/w/d) 90% remote(abgelaufen)
- Senior Data Engineer – SAP BW to BigQuery Migration(abgelaufen)
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten