Engenheiro de Dados GCP - Sênior

JOB DESCRIPTION

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. 

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!  

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. 

Cadastre-se agora mesmo em nossas vagas!

RESPONSIBILITIES AND ASSIGNMENTS

• Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery;
• Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes;
• Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer;
• Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos;
• Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo;
• Contagem de linhas: Verificação por tabela e por partição;
• Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery);
• Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados;
• Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

REQUIREMENTS AND QUALIFICATIONS

• Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), experiência profissional de no mínimo 6 anos;
• Sólido domínio técnico em SQL avançado e Python/PySpark, experiência profissional de no mínimo 6 anos;
• Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta;
• Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt;
• Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes).

ADDITIONAL INFORMATION

• Projeto temporário com prazo de até 4 meses de duração, podendo haver continuidade.

Onde a inteligência humana amplifica o poder dos dados

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas.

Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.