Offer summary

Qualifications:

Minimum 5 years of experience as a Data Engineer., Proficiency in Python and Scala., Experience with Spark and messaging systems., Practical knowledge of Kubernetes..

Key responsibilities:

Develop and maintain ETL platforms and data processing.

Automate CI/CD processes and monitor the platform.

Welcome to Eager Devs! We are a cutting-edge IT company connecting you to a pool of exceptional tech talent mainly from Poland. We specialize in providing dedicated software developers who strive to breathe life into your visions. EAGERDEVS.COM is a part of the Netinteractive group.Our team comprises tech enthusiasts who are passionate about delivering innovative digital solutions. Whether you need to scale up your team or require a complete development squad, we offer tailored IT solutions to fit your unique needs. We're eager to code, eager to innovate, and eager to propel your business to new digital heights. Eager Devs - for businesses ready to outpace the ordinary and embrace the extraordinary.

Job description

Opis roli

Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.

Zakres obowiązków

Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
Automatyzacja procesów CI/CD (GitLab-CI).
Monitorowanie platformy (Prometheus).
Badania, rozwój i utrzymanie komponentów platformy.
Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.

Wymagania

Minimum 5 lat doświadczenia jako Data Engineer.
Biegłość w programowaniu w Pythonie oraz Scala.
Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
Znajomość Hadoop.
Praktyczna znajomość Kubernetes.
Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.

Required profile