Key Facts

Remote From:

Full time

English

Hard Skills

Python (Programming Language) Scala (Programming Language) Kubernetes Xplenty (ETL Tools) Apache Hive Apache Airflow Jupyter MLflow Argo CD Test Automation +2 more

Other Skills

•
Problem Solving
•
Communication
•
Teamwork

Roles & Responsibilities

Minimum 5 years of experience as a Data Engineer
Proficiency in programming with Python and Scala
Experience working with Spark and messaging systems
Knowledge of Hadoop

Requirements:

Develop and maintain ETL platforms and data processing
Develop applications supporting data access for business users
Automate CI/CD processes
Monitor the platform

EAGERDEVS.COM

About EAGERDEVS.COM

Welcome to Eager Devs! We are a cutting-edge IT company connecting you to a pool of exceptional tech talent mainly from Poland. We specialize in providing dedicated software developers who strive to breathe life into your visions. EAGERDEVS.COM is a part of the Netinteractive group.Our team comprises tech enthusiasts who are passionate about delivering innovative digital solutions. Whether you need to scale up your team or require a complete development squad, we offer tailored IT solutions to fit your unique needs. We're eager to code, eager to innovate, and eager to propel your business to new digital heights. Eager Devs - for businesses ready to outpace the ordinary and embrace the extraordinary.

Company type: TPE

Founded: 2018

Company size: 2 - 10

Website LinkedIn See all jobs →

Job description

Opis roli

Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.

Zakres obowiązków

Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
Automatyzacja procesów CI/CD (GitLab-CI).
Monitorowanie platformy (Prometheus).
Badania, rozwój i utrzymanie komponentów platformy.
Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.

Wymagania

Minimum 5 lat doświadczenia jako Data Engineer.
Biegłość w programowaniu w Pythonie oraz Scala.
Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
Znajomość Hadoop.
Praktyczna znajomość Kubernetes.
Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.