DataBricks Engineer at Crodu

Work set-up: 
Full Remote
Contract: 
Experience: 
Senior (5-10 years)
Work from: 

Offer summary

Qualifications:

Minimum 8 years of experience as a data engineer or similar role., Strong knowledge of DataBricks and Apache Spark., Proficiency in Python programming., Experience with data migration and working in Azure and AWS environments..

Key responsibilities:

  • Planning and selecting appropriate tools for data projects.
  • Integrating databases with near real-time data processing.
  • Creating ETL processes and migrating data platforms.
  • Collaborating closely with data engineers, data scientists, and architects.

CRODU logo
CRODU Information Technology & Services Scaleup https://crodu.com/
51 - 200 Employees
See all jobs

Job description

💸 Stawka: 140-190 zł/godz 👈
🌴 Forma pracy: fulltime, 100% zdalnie👈
Start: ASAP 👈

Cześć! 👋
Dla naszego klienta z USA poszukujemy Azure DataBrick Engineerów. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań opartych na DataBricks. Klient posiada stałe zapotrzebowanie na specjalistów. Projekty, które prowadzą przeważnie są krótkoterminowe (ze sporym prawdopodobieństwem na przedłużenia), a ze względu na stałość zapotrzebowania klient jest w stanie zaproponować nowy temat po zakończeniu danego projektu.
Obecnie poszukiwany jest specjaliści do 3 projektów:
- dwa dotyczą migracji do DataBricks (SageMaker do AWS, oraz wewnętrzna platforma do Azure)
- jeden dotyczy prac nad platformą do analizy danych medycznych (również w oparciu o DataBricks)

Dla klienta kluczowe jest obycie w środowisku Azure (i/lub) AWS oraz znajomość DataBricks i Apache Spark. Projekty prowadzone przez klienta przede wszystkim dla firm z USA - w większości przypadków wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00) natomiast jesteśmy otwarci na kandydatów preferujących pracę w innych godzinach.

Ogólny zakres obowiązków:
📍 Planowanie prac i dobór odpowiednich narzędzi
📍 Integracja baz danych w czasie zbliżonym do rzeczywistego
📍 Tworzenie procesów ETL
📍 Przeprowadzanie migracji baz danych/ platform/ modelil ML
📍 Optymalizacja oraz automatyzacja platform
📍 Ścisła współpraca z zespołem data engineerów, data scientistów oraz architektów

Wymagania:
⚡️Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)
⚡️ Bardzo dobra znajomość platformy DataBricks oraz Apache Spark
⚡️ Bardzo dobra znajomość Python
⚡️ Doświadczenie w przeprowadzaniu migracji danych
⚡️ Doświadczenie w pracy w środowisku Microsoft Azure (np. Data Factory, Synapse, Logic Apps, Data Lake)
⚡️ Doświadczenie w pracy w środowisku AWS
⚡️ Umiejętności interpersonalne i zespołowe
⚡️ Umiejętność podejmowania inicjatywy i samodzielność
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane:
⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?
🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów

Jak aplikować? 👈
Prześlij nam zgłoszenie za pomocą formularza!

Required profile

Experience

Level of experience: Senior (5-10 years)
Industry :
Information Technology & Services
Spoken language(s):
English
Check out the description to know which languages are mandatory.

Other Skills

  • Social Skills
  • Teamwork
  • Self-Motivation

Related jobs