Data Engineer - Berlin (m/w/d)

Schwarz Digits schafft das technologische Fundament für digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei.

Bei uns arbeitest du an der Schnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.

Einleitungstext

Schwarz Digits schafft das technologische Fundament für digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen. Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei.

Bei uns arbeitest du an der Schnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.

Deine Aufgaben

• Develop and operate productive ETL pipelines for reports, analysis and machine learning and ensure their quality and sustainability
• Use your software development skills and set new standards for development and deployment
• Optimize the performance of data engineering solutions and guarantee their scalability
• Ensure data quality and consistency through data validation and cleansing
• Monitor and fix errors in the data infrastructure to minimize downtime
• Implement data security and privacy measures
• Work in interdisciplinary agile teams with data scientists, data engineers, product owners and departments

Dein Profil

• +4 years of industry experience as a Data Engineer
• Experience developing large scale batch & streaming ETLs in spark, preferably in Databricks
• Expertise developing in Python. Scala knowledge is a plus
• Good command of Apache Airflow for workflow orchestration
• Experience working in cloud environments, preferably GCP
• Strong hands-on experience with modern, open-source table formats such as Apache Iceberg or Delta Lake to manage large-scale data lakehouse architectures
• Proven track record managing data access controls, CLS, RLS and cataloging workflows. Experience with Unity Catalog is a plus
• Hands-on experience working with containerized applications, preferably orchestrated in Kubernetes
• Experience working with Google Pub/Sub is preferred
• Knowledge of the software development cycle and its best practices (e.g. CI/CD, DevOps, testing)
• Analytical skills, an eye for data quality, agile mindset, independence and hands-on mentality