Data Engineer

JOB DESCRIPTION

Buscamos por um Engenheiro de Dados (Sênior ou Especialista) altamente qualificado para se juntar à nossa equipe de entrega técnica de Dados e desempenhar um papel crucial no desenvolvimento e gerenciamento de pipelines ETL que centralizem os dados de nossas operações globais, fornecendo aos nossos usuários acesso a informações críticas em uma única plataforma.

Esta função exige uma alta proficiência em Python, PySpark, Azure Databricks e Azure Data Factory. 

A oportunidade é para atuação em um projeto internacional, trabalhando com um time multicultural! Por isso o Inglês fluente é um pré-requisito obrigatório para participar do processo seletivo.

Nosso cliente tem sede no Reino Unido e África do Sul, por isso buscamos por pessoas que residam em países com o mesmo fuso horário desses locais.

RESPONSIBILITIES AND ASSIGNMENTS

Principais Atividades 

•  Trabalhar em estreita colaboração com a equipe de Engenharia de Dados para elaborar estratégias eficazes de ingestão de dados alinhadas aos objetivos de negócios. 
• Definir e implementar padrões e processos robustos de ingestão de dados para garantir um fluxo de dados eficiente e confiável para a plataforma de dados da organização. 
• Desenvolver e manter pipelines de engenharia de dados ou ETL reutilizáveis e base de código usando Python, PySpark, Databricks, Airflow e a plataforma de nuvem Azure. 
• Colaborar com equipes multifuncionais para entender os requisitos de dados e fornecer soluções escaláveis de engenharia de dados. 
• Projetar e implementar arquiteturas de dados em lote e streaming, aproveitando os serviços de nuvem Azure, como Azure Data Factory e Azure Databricks. 
• Garantir a adesão às melhores práticas de engenharia de software, incluindo controle de versão, testes e processos de integração/implantação contínua (CI/CD). 
• Participar de revisões de código, discussões técnicas e sessões de compartilhamento de conhecimento dentro da equipe. 

REQUIREMENTS AND QUALIFICATIONS

Requisitos e qualificações técnicas:

• Inglês fluente 
• Forte compreensão dos conceitos e princípios fundamentais de engenharia de dados. 
• Boa experiência na linguagem de programação Python. 
• Proficiência na escrita de código PySpark para processamento e transformação de dados. 
• Experiência sólida com os serviços de nuvem Azure, incluindo Azure Data Factory e Azure Databricks, com foco em desempenho e otimização. 
• Capacidade de projetar e implementar pipelines de engenharia de dados e base de código reutilizáveis e escaláveis. 
• Sólida compreensão das práticas de desenvolvimento de engenharia de software, incluindo controle de versão, testes e integração/implantação contínua (CI/CD). 
• Experiência no design de arquiteturas de dados em lote e streaming utilizando serviços da plataforma Azure. 
• Capacidade de trabalhar efetivamente em ambiente de equipe, fornecer treinamento e documentar processos. 

Habilidades que farão você se destacar 

• Experiência com Apache Airflow. 
• Familiaridade com Delta Lake, catálogo de unidade e sua implementação. 
• Conhecimento das melhores práticas de governança e segurança de dados. 

 Habilidades comportamentais:

• Capacidade analítica 
• Orientação a dados 
• Resolução de problemas 
• Excelentes habilidades de comunicação  
• Relacionamento interpessoal   
• Trabalho em equipe
• Colaboração 
• Proatividade  
• Dinamismo 

ADDITIONAL INFORMATION

Vantagens de fazer parte do nosso time: 

🧡 Cultura anywhere office gostamos de ter liberdade para trabalhar com autonomia, flexibilidade e confiança;  

🍀 Acolhimento Psicológico para o cuidado da nossa saúde mental;  

🎓 Temos Auxílio Certificação  

🎓 FIAP: Graduação e pós-graduação - 10% OFF em cursos de graduação e 20% OFF em cursos de MBA, POSTECH e SHIFT, tanto na modalidade presencial quanto online. 

SER #teamMGInfo é ser especialista em dados

Nossa missão é potencializar os resultados das empresas para a tomada de decisões orientadas a dados, de forma confiável, ágil, inovadora e com alto valor agregado. 

Para esse desafio, contamos com um time incrível de especialistas em dados que atuam em projetos globais, conectando conhecimento com parcerias de sucesso e soluções personalizadas para a necessidade de cada cliente. 

Vem conhecer um pouco mais sobre nossa atuação aqui. 

Nosso DNA Data Driven se baseia em valores que inspiram nosso ambiente e ideais: 

• Bem-Estar: acolhemos e cuidamos do bem-estar das pessoas. 
• Aprendizado Contínuo: somos incansáveis na arte de aprender. De forma contínua, estimulamos nosso time a desenvolver novas habilidades, aprender novos conceitos e propor novas soluções. 
• Colaboração: temos um forte senso de comunidade (e camaradagem), somos orientados para o compartilhamento de aprendizado e ajuda mútua. 
• Agilidade: aprendemos com as mudanças, nos adaptamos rapidamente aproveitando as oportunidades e superando os desafios. 
• Orientação a Dados: nos guiamos por dados confiáveis e relevantes para perseguir nosso objetivo de impulsionar a tomada de decisão de forma mais assertiva e eficiente. 

GREAT PEOPLE MAKE A GREAT PLACE! 

Orgulho de ser e pertencer. Aqui na MG Info nos comprometemos a criar, juntos, um ambiente plural e de acolhimento com oportunidades para todos os talentos se desenvolverem e crescerem conosco!  

Já deu match? Então vem ser #teamMGINFO!