Logo for Grupo Data Portugal

Engenheiro(a) de Dados Pleno – Big Data / Spark

Role overview

Qualifications

  • Minimum of 3 years of experience in Data Engineering and development
  • Solid knowledge in SQL, including ANSI SQL, Hive SQL, Spark SQL
  • Experience with Apache Spark
  • Knowledge in at least one of the following languages: Scala, Python, Java

Responsibilities

  • Develop, maintain and optimize data processing solutions
  • Design and develop ETL processes and data transformation
  • Implement and maintain pipelines using Apache Spark
  • Support data integration initiatives between different systems

Key facts

  • Remote from: Brazil
  • Full time
  • Mid-level (2-5 years)
  • Portuguese

Hard skills

Key skills for this role

Other skills

  • Collaboration

About the company

Grupo Data Portugal logo

Grupo Data Portugal

  • IT Services & Consulting
  • Startup
  • 11–50
Grupo Data is a multinational IT services company with a strong focus on the European market, providing development and support solutions. We make technology simple and close, creating innovative IT solutions that help clients around the world. We are expanding in Portugal and believe that growing side by side with leading companies is only possible when we also grow with our talents. Here, people are at the center of everything we do. We value ideas, encourage creativity, and believe that every contribution makes a difference. If you are looking for a collaborative, dynamic environment full of opportunities to excel, your next challenge may be with us!

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

Engenheiro(a) de Dados Pleno – Big Data / Spark

Sobre a oportunidade

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.

Responsabilidades

  • Desenvolver, manter e otimizar soluções de processamento de dados;
  • Projetar e desenvolver processos de ETL e transformação de dados;
  • Implementar e manter pipelines utilizando Apache Spark;
  • Apoiar iniciativas de integração de dados entre diferentes sistemas;
  • Analisar e solucionar incidentes relacionados a dados;
  • Garantir a qualidade, performance e confiabilidade das soluções de dados;
  • Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile.

Requisitos obrigatórios

  • Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;
  • Conhecimento sólido em SQL, incluindo:
    • ANSI SQL;
    • Hive SQL;
    • Spark SQL;
  • Experiência com Apache Spark;
  • Conhecimento em pelo menos uma das seguintes linguagens:
    • Scala;
    • Python;
    • Java;
  • Experiência com plataformas Big Data, como:
    • Azure Databricks;
    • Amazon EMR;
    • Hive;
    • Cloudera;
    • ou outro ambiente baseado em Spark;
  • Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;
  • Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis;
  • Conhecimento em ferramentas como:
    • Git;
    • GitHub;
    • SonarQube;
    • Nexus;
  • Capacidade de análise de requisitos e trabalho colaborativo;
  • Inglês nível B2 ou superior.
  • Espanhol nível B2 ou superior.

Diferenciais

  • Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;
  • Conhecimento em automação de processos utilizando IA;
  • Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.

Condições da posição

  • Atuação 100% remota;
  • É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;
  • Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;
  • Os currículos deverão ser apresentados em inglês.

Related jobs

See all jobs

Other jobs at Grupo Data Portugal