Role overview

Qualifications

Minimum 5 years of experience as a Data Engineer
Proficiency in programming with Python and Scala
Experience working with Spark and messaging systems
Knowledge of Hadoop

Responsibilities

Develop and maintain ETL platforms and data processing
Develop applications supporting data access for business users
Automate CI/CD processes
Monitor the platform

Key facts

Remote from: Poland
Full time
Data Engineer
English

Hard skills

Python (Programming Language) Scala (Programming Language) Kubernetes Xplenty (ETL Tools) Apache Hive Apache Airflow Jupyter MLflow Argo CD Test Automation Continuous Monitoring Prometheus (Software)

Other skills

Problem Solving
Communication
Teamwork

About the company

EAGERDEVS.COM

IT Services & IT Consulting

Welcome to Eager Devs! We are a cutting-edge IT company connecting you to a pool of exceptional tech talent mainly from Poland. We specialize in providing dedicated software developers who strive to breathe life into your visions. EAGERDEVS.COM is a part of the Netinteractive group.Our team comprises tech enthusiasts who are passionate about delivering innovative digital solutions. Whether you need to scale up your team or require a complete development squad, we offer tailored IT solutions to fit your unique needs. We're eager to code, eager to innovate, and eager to propel your business to new digital heights. Eager Devs - for businesses ready to outpace the ordinary and embrace the extraordinary.

Company details

Company typeTPE

IndustryIT Services & IT Consulting

Company size2 - 10

Links

Website LinkedIn See all jobs

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

Opis roli

Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.

Zakres obowiązków

Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
Automatyzacja procesów CI/CD (GitLab-CI).
Monitorowanie platformy (Prometheus).
Badania, rozwój i utrzymanie komponentów platformy.
Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.

Wymagania

Minimum 5 lat doświadczenia jako Data Engineer.
Biegłość w programowaniu w Pythonie oraz Scala.
Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
Znajomość Hadoop.
Praktyczna znajomość Kubernetes.
Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.