Deine Aufgaben:
-
Konzeption, Aufbau und Tuning performanter Pipelines auf Basis von Databricks.
- Datenmodellierung mit dbt sowie Orchestrierung robuster DAGs via Apache Airflow.
- Governance & Performance:
-
Etablierung automatisierter Data-Quality-Prüfungen, Data Lineage und Cluster-Optimierung.
- Analytics & Data Apps (ca. 25%):
-
Aufbau einer semantischen Metriken-Schicht und Self-Service-BI in Lightdash.
- Entwicklung interaktiver Analyse-Tools und Data Apps in Python (Streamlit).
- Data Science & ML (ca. 25%):
-
Explorative Analysen, Prototyping und Training von ML-Modellen (z. B. Prognosen, Anomalien).
- MLOps & Business-Integration:
-
Experiment-Tracking auf Databricks und Bereitstellung der Ergebnisse für Fachbereiche.
-
-
-
-
Dein Profil:
-
Mindestens 2–4 Jahre Praxis im Data Engineering, Analytics Engineering oder einer vergleichbaren Rolle.
- Core Engineering Stack:
-
Fundierte Praxis mit Databricks (Delta Lake, Unity Catalog), dbt und Apache Airflow.
- BI & Data Apps:
-
Erfahrung mit Lightdash (oder Interesse an code-basierter BI) sowie mit Streamlit.
- Code & Datenbanksprachen:
-
Exzellentes SQL (Performance-Tuning, komplexe Joins) und sehr gutes Python (pandas, PySpark, scikit-learn).
- Methodik & Best Practices:
-
Routinierter Umgang mit Git / CI/CD und modernen Modellierungskonzepten (Star-Schema).
- Mindset & Sprachen:
-
Pragmatische Hands-on-Mentalität, starke Kommunikationsfähigkeit und sehr gutes Deutsch & Englisch.
-
-
-
-
-
- Nachhaltig unterwegs mit unserem E-Auto-Leasing
Find Jobs in Germany on Arbeitnow