Offer summary

Qualifications:

6+ years of experience in data engineering or data science, Strong knowledge of Apache Spark and DataBricks, Solid experience in Machine Learning and MLOps with MLflow, Experience working in AWS environments and conducting similar migrations..

Key responsabilities:

Assess project requirements and analyze current and new model architecture

Prepare the platform for integration with DataBricks and ensure compliance with Unity Catalog

Create ETL pipelines for processing data related to platform visits and users

Implement MLOps using MLflow and launch models on Databricks Serving Endpoints for latency testing.

Job description

🌴 Forma pracy: fulltime, 100% zdalnie👈
⏰ Start: w przeciągu 2-3 tygodni👈

Cześć! 👋
Dla naszego klienta z USA poszukujemy Senior DataBricks Engineera, który ma również doświadczenie w zakresie Machine Learning. Klient zajmuje się wspieraniem firm w migracjach chmurowych. Projekty które prowadzi klient przeważnie są krótkoterminowe (często są przedłużane), a ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat bezpośrednio po zakończeniu danego projektu.
Projekt, do którego obecnie poszukujemy specjalisty, dotyczy migracji modelu ML (bez wprowadzania zmian w modelu) z różnych narzędzi AWS do DataBricks dla firmy tworzącej platformę do zarządzania danymi klientami. Klient przeprowadza migrację narzędzie ML dlatego projekt wymaga doświadczenia zarówno w AWS jak i zastosowaniu ML w DataBricks (z naciskiem na Databricksy oraz MLFlow). Projekt przewidziany jest na około 3 miesiące , ale klientowi zależy na długoterminowej współpracy (możliwej ze względu na ilość podobnych projektów nad którymi pracują). Praca w zespole, nad którym będzie czuwać architekt (z zespołu z USA) odpowiedzialny za główną komunikację z klientem. Mimo to zależy nam by kandydaci wykazywali się dobrymi umiejętnościami komunikacji biznesowej.
Projekt dla klienta z USA, natomiast nie wymagamy pracy w pełnej zakładce godzinowej - jesteśmy otwarci na dostosowanie godzin pracy (np. od 10:00 do 18:00).

Czym będziesz się zajmować?
📍 Ocena wymagań projektowych, analiza obecnej oraz stworzenie nowej architektury modelu
📍 Przygotowanie platformy do integracji z Databricks oraz zapewnienie zgodności i konfiguracji Unity Catalog
📍Przetwarzanie i transformacja danych z agregacją metryk dla dwóch powiązanych zadań Glue
📍Tworzenie pipeline’ów ETL do przetwarzania danych o wizytach na platformie i użytkownikach, uwzględniających spłaszczanie danych na potrzeby modelu
📍 Implementacja MLOps z wykorzystaniem MLflow
📍 Uruchomienie modelu na Databricks Serving Endpoints w celu testowania opóźnień
📍 Stworzenie ram testowych i wsparcie zespołu Tealium w testowaniu
📍 Przygotowanie planu implementacji do uruchomienia na żywo
📍 Dokumentacja wyników pracy z wykorzystaniem Unity Catalog

Jak wygląda idealne doświadczenie?
⚡️ 6+ lat doświadczenia w obszarach data engineering/ data science
⚡️ Bardzo dobra znajomość Apache Spark oraz platformy DataBricks
⚡️ Solidne doświadczenie w obszarach ML
⚡️ Doświadczenie z MLOps oraz MLflow
⚡️Doświadczenie w pracy w środowisku AWS
⚡️ Doświadczenie w przeprowadzaniu podobnych migracji
⚡️ Umiejętności interpersonalne i zespołowe - zależy nam na osobach kładących nacisk na efektywną (niekoniecznie efektowną 😄) komunikację
⚡️ Umiejętność podejmowania inicjatywy i samodzielność
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane:
⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL)
⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?
🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów

Jak aplikować 📩👈
Prześlij nam swoją aplikację poprzez formularz!

Required profile