Azure DataBricks Engineer at Crodu

⏳ Czas projektu: 9 tygodni (prawdopodobne przedłużenie) 👈
🌴 Forma pracy: 100% zdalnie 👈
⏰ Start: 10.2024 👈

Cześć! 👋
Dla naszego klienta z USA poszukujemy Azure DataBrick Engineera. Projekt nad Data Warehouse dla firmy zajmującej się usługami finansowymi. Twoim zadaniem będzie migracja pipeline'ów z SQL, Yellowbrick i Oracle (300 baz danych). Dodatkowo mogą pojawić się zadania związane z integracją baz w czasie zbliżonym do rzeczywistego (przy wykorzystaniu systemu komunikacji NATS). Projekt jest obszerny, dlatego po zakończeniu migracji przewidujemy możliwość podjęcia u klienta innych zadań.
Poszukujemy osoby, która biegle zna Pythona. Dla klienta kluczowa jest obycie w środowisku Azure oraz znajomość DataBricks i Apache Spark.
Zespól jest europejsko-amerykański z przewagą na specjalistów z Europy (Rumunia), dzięki temu praca nie wymaga standardowego overlapu z USA (praca od 9-10 do 17-18).

Zakres obowiązków:
📍 Zaplanowanie i przeprowadzenie migracji baz danych
📍 Integracja baz danych w czasie zbliżonym do rzeczywistego
📍 Ścisła współpraca z zespołem data engineerów, data scientistów oraz architektów

Wymagania:
⚡️ Udokumentowane solidne doświadczenie w pracy jako Data Engineer
⚡️ Bardzo dobra znajomość platformy DataBricks oraz Apache Spark
⚡️ Bardzo dobra znajomość Python
⚡️ Doświadczenie w przeprowadzaniu migracji danych
⚡️ Doświadczenie w pracy w środowisku Microsoft Azure (np. Data Factory, Synapse, Logic Apps, Data Lake)
⚡️ Doświadczenie w pracy z SQL i Oracle
⚡️ Znajomość YellowBrick lub podobnych platform
⚡️ Umiejętności interpersonalne i zespołowe
⚡️ Umiejętność podejmowania inicjatywy i samodzielność
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane:
⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
⚡️ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)

Jak działamy i co oferujemy?
🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów