Data Engineer

Opis roli

Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.

Zakres obowiązków

• Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
• Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
• Automatyzacja procesów CI/CD (GitLab-CI).
• Monitorowanie platformy (Prometheus).
• Badania, rozwój i utrzymanie komponentów platformy.
• Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.

Wymagania

• Minimum 5 lat doświadczenia jako Data Engineer.
• Biegłość w programowaniu w Pythonie oraz Scala.
• Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
• Znajomość Hadoop.
• Praktyczna znajomość Kubernetes.
• Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
• Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
• Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.