Role overview

Qualifications

Minimum 3 years of experience as a Data Engineer or similar role
Strong knowledge of SQL and experience designing complex data transformations
Experience with Databricks and Apache Spark
Practical knowledge of ETL tools and data modeling principles

Responsibilities

Design and develop data pipelines on the Databricks platform
Implement data transformations using SQL (views, materialized views)
Create and optimize Apache Spark notebooks
Ensure high performance and scalability of data processing processes

Key facts

Remote from: Poland
Full time
Data Engineer
English

Hard skills

SQL (Programming Language) Databricks Apache Spark Data Modeling Data Integration Data Transformation Performance Improvement Amazon Web Services Microsoft Azure gRPC Python (Programming Language) Scala (Programming Language)

Other skills

Collaboration
Problem Solving

About the company

EAGERDEVS.COM

IT Services & IT Consulting

Welcome to Eager Devs! We are a cutting-edge IT company connecting you to a pool of exceptional tech talent mainly from Poland. We specialize in providing dedicated software developers who strive to breathe life into your visions. EAGERDEVS.COM is a part of the Netinteractive group.Our team comprises tech enthusiasts who are passionate about delivering innovative digital solutions. Whether you need to scale up your team or require a complete development squad, we offer tailored IT solutions to fit your unique needs. We're eager to code, eager to innovate, and eager to propel your business to new digital heights. Eager Devs - for businesses ready to outpace the ordinary and embrace the extraordinary.

Company details

Company typeTPE

IndustryIT Services & IT Consulting

Company size2 - 10

Links

Website LinkedIn See all jobs

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

Poszukujemy Data Engineera, który wesprze zespół w projektowaniu, budowie i optymalizacji potoków danych, koncentrując się na wydajności i utrzymaniu czystości architektury danych.

Obowiązki:

Projektowanie i rozwijanie potoków danych na platformie Databricks.
Implementacja transformacji danych przy użyciu SQL (widoki, widoki materializowane).
Tworzenie i optymalizacja notebooków Apache Spark.
Zapewnienie wysokiej wydajności oraz skalowalności procesów przetwarzania danych.
Integracja różnych źródeł danych, tworzenie modeli danych i zapewnianie ich zgodności z wymaganiami biznesowymi.
Monitorowanie, utrzymanie i optymalizacja istniejących rozwiązań ETL.
Współpraca z zespołami analitycznymi i biznesowymi w celu zrozumienia potrzeb danych.

Wymagania:

Minimum 3 lata doświadczenia na stanowisku Data Engineer lub podobnym.
Bardzo dobra znajomość SQL i doświadczenie w projektowaniu złożonych transformacji danych.
Doświadczenie z platformą Databricks oraz Apache Spark.
Znajomość koncepcji widoków i widoków materializowanych w hurtowniach danych.
Praktyczna znajomość narzędzi ETL oraz zasad modelowania danych.
Doświadczenie w integracji danych z różnych źródeł (strukturalnych i niestrukturalnych).
Umiejętność pisania optymalnego i wydajnego kodu dla dużych wolumenów danych.
Bardzo dobra znajomość języka angielskiego (praca w międzynarodowym środowisku).

Mile widziane:

Doświadczenie z technologiami chmurowymi (AWS, Azure, GCP).
Znajomość Python i/lub Scala w kontekście przetwarzania danych.
Doświadczenie w pracy z narzędziami do wersjonowania kodu (np. Git).