ENGENHEIRO DADOS PL

JOB DESCRIPTION

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de migração de dados, realizando a transição de tabelas, pipelines e processos do ambiente Cloudera Hadoop para a AWS. O profissional atuará de ponta a ponta no projeto, desde o levantamento do ambiente atual até a implantação e estabilização das soluções em produção.

RESPONSIBILITIES AND ASSIGNMENTS

• Realizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL.
• Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script.
• Migrar queries HQL para serviços AWS, utilizando Amazon Athena, AWS Glue ou Amazon EMR, conforme critérios de custo, performance e necessidade do negócio.
• Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow).
• Projetar e implementar a arquitetura do Data Lake em Amazon S3, estruturando as camadas Raw, Trusted e Refined.
• Modelar e implementar estruturas analíticas em Amazon Redshift, quando necessário.
• Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance.
• Atuar na implantação, homologação e estabilização das soluções em produção.
• Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura.
• Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto.

REQUIREMENTS AND QUALIFICATIONS

O que precisamos que você tenha de conhecimento:

Experiência como Engenheiro(a) de Dados.

Vivência em projetos de migração de ambientes de dados.

Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language).

Experiência com desenvolvimento e manutenção de Shell Script.

Conhecimento sólido dos serviços AWS voltados para engenharia de dados, especialmente:

• Amazon Athena;
• AWS Glue;
• Amazon EMR;
• Amazon S3;
• Amazon Redshift;
• AWS Step Functions;
• AWS Lambda;
• Amazon EventBridge;
• Amazon MWAA (Airflow).

Experiência com modelagem de Data Lake e pipelines de dados.

Conhecimento em SQL e boas práticas de modelagem de dados.

Experiência com processos de ETL/ELT.



Diferenciais:

• Certificações AWS.
• Conhecimento em Python para desenvolvimento de pipelines e automações.
• Experiência com CI/CD aplicado à engenharia de dados.
• Vivência em projetos de modernização de plataformas de dados e migração para Cloud.

ADDITIONAL INFORMATION

🍛 Vale-alimentação ou vale-refeição;

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;

📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;

🗣 Mentoring;

💉 Clube de vantagens para consultas e exames;

🏥 Assistência médica;

🦷 Assistência odontológica;

💰 Clube de vantagens e descontos nos melhores estabelecimentos;

🛫 Clube de viagens;

🐶 Convênio para pets.

Stefanini: Acreditar para Cocriar 🌟

Na Stefanini, a inovação não é apenas uma meta; é uma jornada que trilhamos juntos, onde a colaboração se torna a essência da transformação. 🤝 Com 37 anos de história e uma presença global em mais de 40 países, contamos com uma equipe de 38 mil talentos apaixonados, prontos para transformar desafios em oportunidades por meio da tecnologia. 💡

Acreditamos que cada projeto é uma oportunidade e que, juntos, podemos moldar um futuro mais ágil, eficiente e conectado. Nossa missão vai além de oferecer soluções: buscamos cocriar com nossos clientes, integrando inteligência artificial e tecnologias emergentes para revolucionar o cotidiano das empresas. 🌍✨

Aqui, cada voz conta e cada ideia tem o poder de impactar. Valorizamos a humildade, o respeito, o comprometimento e a coragem, construindo uma cultura onde a inovação floresce. Aqui, liderar é dar o exemplo, e é por isso que inspiramos um ambiente dinâmico onde tecnologia e talento se complementam.

Se você sonha grande, tem coragem de desafiar o convencional e quer fazer parte de uma equipe que acredita no poder da cocriação, junte-se a nós! Vamos, juntos, acreditar e cocriar um futuro brilhante, onde cada passo representa uma nova conquista!🚀✨