Data Engineer
Offer summary
Qualifications:
Minimum 5 years of experience as a Data Engineer., Proficiency in Python and Scala., Experience with Spark and messaging systems., Practical knowledge of Kubernetes..Key responsabilities:
- Develop and maintain ETL platforms and data processing.
- Automate CI/CD processes and monitor the platform.
Job description
Opis roli
Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.
Zakres obowiązków
- Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
- Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
- Automatyzacja procesów CI/CD (GitLab-CI).
- Monitorowanie platformy (Prometheus).
- Badania, rozwój i utrzymanie komponentów platformy.
- Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.
Wymagania
- Minimum 5 lat doświadczenia jako Data Engineer.
- Biegłość w programowaniu w Pythonie oraz Scala.
- Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
- Znajomość Hadoop.
- Praktyczna znajomość Kubernetes.
- Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
- Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
- Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.
Required profile
Experience
Spoken language(s):
Polish
Check out the description to know which languages are mandatory. Other Skills
- Communication
- Problem Solving