Offer summary

Qualifications:

Minimum 5 years of experience as a DevOps Engineer in mass client projects., Proficient in managing HDFS and using Apache Hadoop ecosystem software (e.g., Airflow, Ranger)., Experience with CI/CD standards and practical skills in Kubernetes and Docker., Strong programming skills in Python or Scala for Apache Spark processes..

Key responsibilities:

Work in a Big Data database environment, focusing on Spark and Apache Hadoop.

Design, implement, and optimize data processing workflows in Big Data settings.

Lead a DevOps team responsible for launching a Big Data Hadoop cluster and EDB Postgres clusters.

Develop and maintain applications on the Hadoop platform, ensuring data quality and integration from various sources.

Job description

Dołącz do Detable Sp. Z o.o. - prężnie rozwijającej się firmy, która stawia na długofalową współpracę z doświadczonymi profesjonalistami.

Od ponad 2 lat jesteśmy partnerem dla instytucji z sektora publicznego, współpracujemy m.in. z Centrum e-zdrowia, Aplikacjami Krytycznymi Ministerstwa Finansów, Głównym Urzędem Nadzoru Budowlanego, Urzędem Do Spraw Cudzoziemców, Narodowym Funduszem Zdrowia i wieloma innymi. Nasi konsultanci pracują nad rozwojem aplikacji i systemów, z których korzystają miliony Polaków!

Z sukcesem działamy na rzecz informatyzacji polskiej służby zdrowia. Bierzemy udział w rozwijaniu systemu e-zdrowie -P1 (e-recepty, gabinet gov.pl, KSO – krajowa sieć onkologiczna) a także e-krew oraz RIZM - Centralny Rejestr Osób Uprawnionych do Wykonywania Zawodu Medycznego.

Możemy pochwalić się także udziałem w realizacji kluczowych projektów w obszarze finansowym, takich jak KSeF - Krajowy System e-Faktur, JSP - Jednolity System Podatkowy.

Jeśli chcesz pracować nad aplikacjami, z których będziesz potem korzystać w codziennym życiu, dołącz do naszego zespołu jako Senior DevOps/ Big Data Engineer.

Ta rola jest właśnie dla Ciebie jeśli:

Posiadasz minimum 5 lat doświadczenia na stanowisku DevOps Engineer, w projektach dla klienta masowego;
Realizowałeś projekty związane z klastrami High Availability;
Brałeś udział w wdrożeniu standardami CI/CD;
Posiadasz znajomość i umiejętność zarządzania HDFS;
Biegle posługujesz się oprogramowaniem ekosystemu Apache Hadoop (Airflow, Ranger itd.) w zakresie instalacji i konfiguracji;
Swobodnie poruszasz się używając Ansible;
Standardy CI/CD są Ci bardzo dobrze znane;
Posiadasz praktyczne umiejętności z Kubernetes oraz Docker;
Masz udokumentowane doświadczenie w zakresie pisania skryptów shellowych;
Miałeś okazje pracować w obszarze Big Data, Hurtowni Danych i Zarządzania Danymi minimum 3 lata;
Nie jest Ci obca platforma programistyczna Hadoop Cloudera/Hortonworks;
Z łatwością odnajdujesz się w programowaniu procesów Apache Spark w Python(lub Scala);
Pracowałeś z różnymi formatami danych (np. JSON, ORC, PARQUET);
Znasz typy baz danych i scenariuszy użycia (np. Hive, Kudu, Hbase);
Możesz pochwalić się doświadczeniem w integracji danych;
Wśród Twoich umiejętności znajdują się również kompetencje liderskie;
Biegle posługujesz się językiem polskim.

Jeśli dołączysz do naszego zespołu Twoim zadaniem będzie:

Praca w środowisku bazodanowym Big Data, Spark, Apache Hadoop;
Projektowanie, implementacja i optymalizacja procesów przetwarzania danych w środowiskach Big Data;
Kierowanie zespołem DevOpsowym odpowiedzialnym za uruchomienie klastra BigData Hadoop opartego na dystrybucji Apache Bigtop oraz klastrów EDB Postgres wraz z wszystkimi wymaganymi usługami oraz aplikacjami;
Rozwój i utrzymanie aplikacji opartych na platformie Hadoop (Cloudera lub Hortonworks);
Tworzenie i rozwijanie procesów ETL z wykorzystaniem Apache Spark (Python lub Scala);
Projektowanie i zarządzanie hurtowniami danych oraz zapewnienie jakości danych;
Integracja danych z wielu źródeł o różnych formatach (m.in. JSON, PARQUET, ORC, AVRO);
Tworzenie zaawansowanych zapytań SQL oraz optymalizacja dostępu do danych;
Wykorzystywanie odpowiednich technologii bazodanowych (np. Hive, Kudu, HBase) w zależności od scenariusza użycia;
Udział w projektowaniu architektury danych oraz wdrażaniu najlepszych praktyk zarządzania danymi;
Monitorowanie i zapewnianie wysokiej wydajności systemów Big Data.

Z naszej strony możesz liczyć na;

Konkurencyjne wynagrodzenie w oparciu o kontrakt B2B ( 140-170pln netto/h);
Długofalową współpracę opartą o wzajemny szacunek i partnerstwo;
Dedykowanego opiekuna kontraktu po stronie Detable;
Możliwość 100% pracy zdalnej lub z naszego biura w Białymstoku;
Możliwość podnoszenia swoich kwalifikacji poprzez skorzystanie z budżetu szkoleniowego;
Realny wpływ na rozwój projektu;
Atrakcyjny program poleceń pracowniczych;
Zdalny proces rekrutacji.

Jak wygląda u nas proces rekrutacji?