Match score not available

Engenheiro de dados

Remote:

Full Remote

Contract:

Full time

Experience:

Senior (5-10 years)

Work from:

Brazil

Offer summary

Qualifications:

Proficiency in Python, Experience with PySpark, Advanced experience in NoSQL and Relational Databases, Advanced SQL for Datalake/Lakehouse scenarios, Intermediate experience in cloud (preferably AWS).

Key responsabilities:

Develop and maintain data pipelines (ETL/ELT/EL)
Support Data Engineering, Data Science, and B.I teams
Ensure code adheres to best practices and standards
Autonomously deliver complex features and projects
Implement improvements to engineering team workflows

INTERA | Talent Hacking

51 - 200 Employees

See more INTERA | Talent Hacking offers

Job description

Your missions

Seja Engenheiro de Dados na Frete.com

Remoto | Sênior | CLT | Dados

Responsabilidades e Atribuições

Participar ativamente da construção da maior plataforma de dados de frete da América Latina;
Realizar o desenvolvimento e sustentação de pipeline de dados (ETL/ELT/EL), com orquestrações em estratégia Datalake/Lakehouse;
Realizar o desenvolvimento e sustentação de processos batch, real time e observabilidade, utilizando-se de arquitetura Kappa e Lambda em Cloud AWS;
Realizar automatizações em ambiente Cloud AWS;
Apoiar os times da Comunidade de Dados - ED (Engenharia de Dados), DS (Data Science) e B.I em fluxos de Analytics (levantamento de requisitos com foco em resolução de problemas);
Garantir que os códigos entregues estejam em conformidade com as boas práticas e padrões estabelecidos pelo time de Engenahria de Dados;
Quebrar as estórias em tarefas de tamanho adequado e ajuda o time fazer o mesmo;
Apoia o time na utilização das ferramentas e tecnologias homologadas dentro do time, garantindo a aderência aos processos e diretrizes de Engenahria de Dados;
Remove proativamente impedimentos nas definições das tarefas;
Entrega novas funcionalidades e projetos de alta complexidade com autonomia;
Contribui com a implementação de melhorias no processo de trabalho do time de Engenahria de Dados;
Garante que as entregas estejam de acordo com as premissas de confiabilidade estabelecidas pelo time de Engenharia de Dados e Governança de Dados.

Habilidades e pré-requisitos

Proficiência em Python;
Experiência com PySpark;
Experiência avançada em BDs (NoSQL e Relacional);
Experiência avançada em SQL para cenários de Datalake/Lakehouse e integrações com tecnologias DataViz;
Experiência com Datalake; Experiência com Kafka;
Experiência com as principais tecnologias de pipeline de dados (Airflow e/ou DMS e/ou Airbyte);
Experiência intermediário em cloud (preferencialmente AWS);
Experiência em GIT (Gitlab ou Github);
Experiência em microsserviços;
Experiência em Docker; Conhecimento em políticas de governança de dados, assim como conceitos LGPD / GDPR.