Offer summary

Qualifications:

8+ years of experience as a data engineer or in related roles., Strong knowledge of DataBricks and Apache Spark., Proficiency in Python and experience with Azure or AWS environments., Good interpersonal skills and the ability to work independently..

Key responsibilities:

Migrating data, functions, and logic from Yellowbrick to Databricks.

Ensuring data security and building scalable frameworks and data pipelines.

Processing and indexing data, as well as validating and creating data processing pipelines.

Collaborating closely with teams including data engineers, data scientists, and project managers.

Job description

🌴 Forma pracy: długoterminowo, fulltime, 100% zdalnie 👈
⏰ Start: ASAP 👈

Cześć! 👋
Dla naszego klienta z USA poszukujemy DataBrick Engineerów. Klient zajmuje się wsparciem firm w transformacjach chmurowych w oparciu o DataBricks. Przekrój projektów i branż jest szeroki. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań opartych na DataBricks. Klientowi zależy na długoterminowej współpracy. Prowadzone projekty są różnej długości, ale dzięki stałemu zapotrzebowaniu specjaliści zatrudnieni u klienta swobodnie przechodzą z zakończonego projektu do nowych tematów. Obecnie poszukiwani są kolejni specjaliści do projektu z wykorzystaniem YellowBrick.
Projekt dla klienta zajmującego się analizą zachowań konsumenckich i marketingiem opartym na danych. Prace dotyczą migracji hurtowni danych z systemu Yellowbrick do Databricks. Celem jest stworzenie nowoczesnej warstwy konsumpcyjnej danych („Consumption Layer”) w architekturze Lakehouse na Databricks, w oparciu o Unity Catalog i zoptymalizowane tabele Photon.
Dla klienta kluczowe jest obycie w środowiskach chmurowych (Azure i/lub AWS) oraz znajomość DataBricks i Apache Spark. Projekty prowadzone przede wszystkim dla firm z USA, ale wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), więc chętnie dogadamy się jeśli chodzi o godziny pracy.

Ogólny zakres obowiązków:
📍 Przeniesienie danych, funkcji i logiki z Yellowbrick do Databricks
📍 Zapewnienie bezpieczeństwa przechowywanie danych
📍 Zbudowanie skalowalnego frameworka oraz pipeline’ów danych
📍 Przetwarzanie i indeksowanie danych
📍 Walidacja danych, tworzenie pipeline'ów przetwarzania danych, tworzenie i udostępnianie kohort
📍 Zaplanowanie i przeprowadzenie migracji baz danych
📍 Ścisła współpraca z zespołem (m.in. data engineers, data scientists, project managers, zespoły wsparcia) + wsparcie użytkowników biznesowych

Wymagania:
⚡️ Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)
⚡️ Bardzo dobra znajomość platformy DataBricks oraz Apache Spark
⚡️ Bardzo dobra znajomość Python
⚡️ Doświadczenie w pracy w środowisku Azure (Data Factory, Synapse, Logic Apps, Data Lake) i/lub AWS
⚡️ Umiejętności interpersonalne i zespołowe
⚡️ Umiejętność podejmowania inicjatywy i samodzielność
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane:
⚡️ Doświadczenie w prowadzeniu projektów związanych z ML
⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)
⚡️ Doświadczenie z YellowBrick

Jak działamy i co oferujemy?
🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów

👉📩 Jak aplikować?
Prześlij nam zgłoszenie za pomocą formularza!

Required profile