Data Architect mit Databricks Erfahrung (m/w/d)
🏛 Ausgeschrieben von Westhouse Consulting GmbHWir suchen einen erfahrenen Data Architect zur Architektur und Weiterentwicklung einer modernen Databricks-basierten Data-Lakehouse-Plattform. Die Position ist überwiegend remote (60–80%) mit optionalen Präsenztagen vor Ort.
Ihre Hauptaufgaben umfassen die Gestaltung und Optimierung unserer Databricks-Infrastruktur basierend auf der Medallion-Architektur und Delta Lake. Sie verantworten die Datenmodellierung, entwerfen skalierbare und wiederverwendbare Datenmodelle und definieren Standards sowie Best Practices für Datenintegration und -verwaltung. Darüber hinaus kümmern Sie sich um Administration und Governance, einschließlich Workspace- und Cluster-Management, Rollen- und Berechtigungskonzepten sowie Kostensteuerung.
Ein weiterer Schwerpunkt liegt auf der Weiterentwicklung von CI/CD- und DevOps-Praktiken, um einen zuverlässigen Plattformbetrieb zu gewährleisten. Sie befähigen Fachbereiche zu datengetriebenen Entscheidungen durch performante Datenprodukte und unterstützen die Anbindung von BI- und Analytics-Tools. Enge Zusammenarbeit mit Data Engineers, Fachbereichen und externen Partnern gehört zum Alltag.
Wir erwarten mindestens 5 Jahre Berufserfahrung in Data Engineering oder Data Architecture mit fundierter praktischer Erfahrung in produktiven Databricks-Umgebungen. Erforderlich sind tiefes Verständnis von Data-Lakehouse-Konzepten, Delta Lake und Apache Spark sowie Erfahrung mit Unity Catalog und Data Governance. Sicherer Umgang mit Cloud-Plattformen (vorzugsweise Microsoft Azure), Python und SQL ist notwendig. Erfahrung mit CI/CD und Infrastructure as Code (z. B. Terraform) wird vorausgesetzt. Wünschenswert sind Kenntnisse in SAP-Systemen. Analytisches Denken, ausgeprägte Kommunikationsfähigkeit und sehr gute Deutschkenntnisse runden das Profil ab.
Skills erklärt
- Databricks
- Plattform für Datenverarbeitung und Machine Learning basierend auf Apache Spark; wird für Big-Data-Analysen und kollaborative Datenarbeit eingesetzt.
- Data Engineering
- Data Engineering umfasst den Aufbau und die Verwaltung von Dateninfrastrukturen, Pipelines und Systemen zur Verarbeitung großer Datenmengen für Analysen und Anwendungen.
- Delta Lake
- Open-Source-Speicherformat, das strukturierte Daten mit Transaktionsfähigkeit und Versionskontrolle verwaltet und häufig in Big-Data-Umgebungen eingesetzt wird.
- Medallion Architecture
- Datenlake-Architektur mit drei Schichten (Bronze, Silber, Gold) zur schrittweisen Datenbereinigung und -anreicherung.
- Apache Spark
- Open-Source-Framework für verteilte Datenverarbeitung und Datenanalyse; ermöglicht schnelle Verarbeitung großer Datenmengen parallel auf mehreren Computern.
- Unity Catalog
- Datenverwaltungs-Feature in der Databricks-Plattform zur zentralisierten Kontrolle von Daten-Assets und Zugriffsrechten.
- Data Governance
- Rahmenwerk für Regeln und Verantwortlichkeiten im Umgang mit Daten; wird implementiert, um Datenqualität, Sicherheit und Compliance zu gewährleisten.
- Datenqualität
- Datenqualität beschreibt die Vollständigkeit, Genauigkeit und Konsistenz von Daten und ist entscheidend für zuverlässige Geschäftsprozesse und Analysen.
- Microsoft Azure
- Cloud-Plattform von Microsoft für das Hosten von Anwendungen, Speicherung von Daten und IT-Infrastruktur über das Internet.
- Azure Databricks
- Cloud-Plattform von Microsoft für Datenanalyse und Machine Learning; wird zur Verarbeitung großer Datenmengen und Erstellung von Datenmodellen eingesetzt.
- Azure DevOps
- Plattform von Microsoft für Softwareentwicklung, die Tools für Versionskontrolle, Projektmanagement, Testing und Deployment bereitstellt.
- Python
- Universelle Programmiersprache für Webentwicklung, Datenanalyse, Automatisierung und künstliche Intelligenz.
- SQL
- Programmiersprache zur Abfrage und Verwaltung von Daten in Datenbanken.
- CI/CD
- Automatisierte Prozesse für kontinuierliche Integration von Code-Änderungen und kontinuierliche Bereitstellung von Software-Updates.
- Infrastructure as Code
- Methode, bei der IT-Infrastruktur (Server, Netzwerke, Speicher) durch Code definiert und automatisiert bereitgestellt wird.
- Terraform
- Infrastructure-as-Code-Tool zur automatisierten Bereitstellung und Verwaltung von Cloud-Infrastruktur über Konfigurationsdateien.
- Datenmodellierung
- Strukturierung und Darstellung von Datenbeziehungen in Datenbanken oder Informationssystemen; Grundlage für effiziente Datenverwaltung.
- Cluster-Management
- Verwaltung und Koordination mehrerer verbundener Computer oder Server, um diese als eine Einheit zu betreiben.
- FinOps
- Praktiken zur Optimierung und Kontrolle von Cloud-Kosten durch Monitoring, Budgetierung und Effizienzmaßnahmen.
- Power BI
- Ein Business-Intelligence-Tool von Microsoft zur Visualisierung und Analyse von Daten durch interaktive Dashboards und Berichte.
- SAP BW
- Business-Warehouse-Lösung von SAP zur Sammlung, Speicherung und Analyse großer Datenmengen aus verschiedenen Quellen für Reporting und Entscheidungsfindung.
- SAP-Systeme
- Arbeit mit SAP-Unternehmenssoftware zur Verwaltung von Geschäftsprozessen wie Finanzen, Personal, Logistik und Produktion.
Als IT-Freelancer automatisch auf Projekte wie dieses bewerben
Nexus ist die KI-gestützte Plattform für IT-Freelancer, die täglich neue Projektausschreibungen analysiert und passgenaue Bewerbungstexte generiert – vollautomatisch, in Sekunden. Kein manuelles Schreiben mehr: Nexus liest die Ausschreibung, erkennt die gefragten Skills und erstellt einen individuellen Bewerbungstext, den du per Klick versendest.
- ✓ Projektausschreibungen direkt von Anbietern aus dem DACH-Raum
- ✓ KI-Bewerbungstext in unter 30 Sekunden – individuell auf jedes Projekt zugeschnitten
- ✓ Automatischer Versand per E-Mail + Anlage in Pipedrive
- ✓ Kostenlos starten – keine Kreditkarte erforderlich
Häufige Fragen zu Nexus
- Was ist Nexus und für wen ist es geeignet?
- Nexus richtet sich an selbstständige IT-Freelancer, die regelmäßig auf Projektausschreibungen antworten. Die Plattform automatisiert den gesamten Bewerbungsprozess – von der Analyse der Ausschreibung bis zum Versand der Bewerbung.
- Wie schreibt Nexus den Bewerbungstext?
- Nexus analysiert die Projektbeschreibung mit Claude (Anthropic) und gleicht die Anforderungen mit deinem hinterlegten Profil ab. Der generierte Text ist individuell, professionell und direkt versendbar – du kannst ihn vor dem Absenden noch anpassen.
- Welche Projektplattformen werden unterstützt?
- Nexus erhält Projekte direkt von Projektanbietern aus dem DACH-Raum – neue Ausschreibungen erscheinen automatisch in deiner Pipeline, ohne dass du Plattformen manuell durchsuchen musst.
- Kostet Nexus etwas?
- Der Einstieg ist dauerhaft kostenlos. Für professionelle Nutzung mit erweiterten Funktionen gibt es kostenpflichtige Pläne – ohne versteckte Kosten oder automatische Verlängerung.
Nie wieder Bewerbungen schreiben.
Nexus matcht deine Skills und schreibt Bewerbungen automatisch.
Kostenlos registrieren →Keine Kreditkarte erforderlich
Kostenloser CV-Check
Wie gut passt dein Databricks-Profil zum Markt?
- ✓ Market Fit gegen 105 Databricks-Ausschreibungen
- ✓ Welche Skills dir fehlen und was sie bringen
- ✓ Dein Stundensatz im Vergleich
Kostenlos · anonym gespeichert · von FreelancerJury
Marktgeschwindigkeit
Projekte dieser Skills werden nach durchschnittlich 3,7 Tagen geschlossen.
Stundensatz vs. Markt
Kein Stundensatz für dieses Projekt hinterlegt.
Ø 103 €/h (für diese Skills)
Tipp
Zeiterfassung & Projektverwaltung
Projekte, Stunden und Rechnungen in einer App. Flow ist die schlanke Lösung für IT-Freelancer und Agenturen – kostenlos starten.
Flow ausprobierenÄhnliche Projekte
- Entwicklung und Betreuung von Schnittstellen zwischen Microsoft Dynamics 365 und BI-Landschaft
- BI / Data Engineer (m/w/d) mit Fokus auf AWS / dbt / Power BI / Microsoft Fabric
- Industrial Data & IT/OT Integration Architect / Shopfloor (m/w/d)
- Data Engineer (m/w/d)
- Data Warehouse Entwickler (w/m/d)
- Data Engineer (m/w/d) im Rahmen der Arbeitnehmerüberlassung
- Technischer Business Analyst mit Sicherheiten KnowHow (m/w/d)
- Data Analytics & Projektmanagement (m/w/d)
- Data Engineer/ Analyst (m/w/d) Aufbau Datenplattform in Stuttgart und Remote
- Data Analytics Platform Development with AI and GCP
- NeoXam DataHub Experte
- Retail & Pricing Analyst (m/w/d)
- Specialist Commercial Analytics & Performance (m/w/d)
- 100% Remote - Data Engineer (f/m/d) with Databricks Know-How
- Business Intelligence Entwickler
Tipp
Konferenzraum in Hamburg
Für das nächste Kunden- oder Teammeeting in Hamburg: vollausgestattet mit Beamer, Whiteboard und Videokonferenz – ab 49 €/h, direkt am Gänsemarkt.
Konferenzraum mieten