Offer summary

Qualifications:

Minimum 3 years experience as Data Engineer or similar., Proficient in SQL and data transformation design., Experience with Databricks and Apache Spark., Knowledge of ETL tools and data modeling principles..

Key responsabilities:

Designing and developing data pipelines on Databricks.

Implementing data transformations using SQL.

Welcome to Eager Devs! We are a cutting-edge IT company connecting you to a pool of exceptional tech talent mainly from Poland. We specialize in providing dedicated software developers who strive to breathe life into your visions. EAGERDEVS.COM is a part of the Netinteractive group.Our team comprises tech enthusiasts who are passionate about delivering innovative digital solutions. Whether you need to scale up your team or require a complete development squad, we offer tailored IT solutions to fit your unique needs. We're eager to code, eager to innovate, and eager to propel your business to new digital heights. Eager Devs - for businesses ready to outpace the ordinary and embrace the extraordinary.

Job description

Poszukujemy Data Engineera, który wesprze zespół w projektowaniu, budowie i optymalizacji potoków danych, koncentrując się na wydajności i utrzymaniu czystości architektury danych.

Obowiązki:

Projektowanie i rozwijanie potoków danych na platformie Databricks.
Implementacja transformacji danych przy użyciu SQL (widoki, widoki materializowane).
Tworzenie i optymalizacja notebooków Apache Spark.
Zapewnienie wysokiej wydajności oraz skalowalności procesów przetwarzania danych.
Integracja różnych źródeł danych, tworzenie modeli danych i zapewnianie ich zgodności z wymaganiami biznesowymi.
Monitorowanie, utrzymanie i optymalizacja istniejących rozwiązań ETL.
Współpraca z zespołami analitycznymi i biznesowymi w celu zrozumienia potrzeb danych.

Wymagania:

Minimum 3 lata doświadczenia na stanowisku Data Engineer lub podobnym.
Bardzo dobra znajomość SQL i doświadczenie w projektowaniu złożonych transformacji danych.
Doświadczenie z platformą Databricks oraz Apache Spark.
Znajomość koncepcji widoków i widoków materializowanych w hurtowniach danych.
Praktyczna znajomość narzędzi ETL oraz zasad modelowania danych.
Doświadczenie w integracji danych z różnych źródeł (strukturalnych i niestrukturalnych).
Umiejętność pisania optymalnego i wydajnego kodu dla dużych wolumenów danych.
Bardzo dobra znajomość języka angielskiego (praca w międzynarodowym środowisku).

Mile widziane: