Deine Mission
\nDabei stellst du sicher, dass alle relevanten Datenquellen strukturiert verarbeitet werden und entwickelst Backend-Services und APIs, um aufbereitete Daten effizient für das Frontend und andere interne Systeme bereitzustellen.
- Du entwickelst robuste ETL-Pipelines mit Python und orchestrierst deren Ausführung mit Apache Airflow, damit strukturierte Daten automatisch und verlässlich bereitstehen.
- Du betreibst produktive Workloads auf Azure mit Diensten wie Azure Batch, Queue, Blob Storage und virtuellen Maschinen und stellst durch Monitoring und Optimierung einen stabilen Betrieb sicher.
- Du modellierst relationale Datenstrukturen in PostgreSQL (z. B. in 3NF oder Star-Schema), damit Daten effizient gespeichert und abgefragt werden können.
- Du optimierst Datenbanken gezielt – durch Indexierung, Partitionierung und andere Maßnahmen – um die Performance auch bei wachsender Datenmenge zu sichern.
- Du entwickelst Datenmodelle und Schemas für strukturierte und unstrukturierte Quellen und realisierst Crawler zur automatisierten Erfassung von Rohdaten.
- Du integrierst Elasticsearch für durchsuchbare Datenbestände und entwickelst passende Indexstrukturen zur schnellen Abfrage.
- Du setzt ELT-Prozesse mit dbt um und entwickelst Reports und Dashboards in Metabase, um datenbasierte Entscheidungen im Unternehmen zu ermöglichen.
- Du entwickelst APIs und Backend-Services mit Python (FastAPI), um aufbereitete Daten für andere Systeme wie das Frontend oder interne Services effizient bereitzustellen.