Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg

JOB DESCRIPTION

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. 

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!  

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. 

Cadastre-se agora mesmo em nossas vagas!

RESPONSIBILITIES AND ASSIGNMENTS

Buscamos um Engenheiro de Dados Senior para atuar em uma arquitetura lakehouse na AWS, na qual o Snowflake e o Data Warehouse principal e

consome tabelas Apache Iceberg armazenadas no S3. O profissional será referencia técnica do ecossistema de dados, responsável por projetar, construir e evoluir pipelines robustos e a interoperabilidade entre o data lake e o warehouse, garantindo qualidade, performance, controle de custo e governança das soluções entregues.

Principais responsabilidades: 

- Projetar e implementar pipelines de ingestão, transformação e disponibilização de dados em ambiente AWS, escrevendo e mantendo tabelas Apache Iceberg no S3.

- Desenvolver jobs de processamento distribuído em Spark (EMR e/ou AWS Glue), incluindo cargas incrementais, upserts (MERGE) e reprocessamentos históricos.

- Garantir a integração entre Snowflake e o lakehouse Iceberg: external volumes, catalog integration (Glue Data Catalog), tabelas gerenciadas pelo Snowflake versus externamente gerenciadas e sincronização de metadados.

- Executar e automatizar a manutenção das tabelas Iceberg: compactação  de arquivos pequenos, expiração de snapshots, remoção de arquivos órfãos,  evolução de schema e de particionamento.

- Modelar e otimizar modelos de dados e queries no Snowflake, garantindo performance e uso eficiente de recursos.

- Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake (dimensionamento de warehouses, clustering, politicas de cache, custo

  de leitura no data lake).

- Atuar na definição de boas praticas de engenharia de dados:  versionamento em Git, CI/CD, testes de dados, documentação e linhagem.

- Implementar controles de governança e segurança: RBAC, politicas de mascaramento e de row access no Snowflake e permissionamento via Lake    Formation.

- Diagnosticar e solucionar problemas de performance e disponibilidade em ambientes de dados críticos.

- Atuar como referencia técnica do time: revisão de código, mentoria de profissionais menos experientes e registro de decisões de arquitetura. 

- Colaborar com times de dados, produto e negocio no levantamento de requisitos e na definição de soluções.

REQUIREMENTS AND QUALIFICATIONS

Requisitos obrigatórios:

- Experiencia comprovada de no mínimo 5 anos atuando em ambiente Cloud AWS.

- Experiencia comprovada de no mínimo 3 anos com Snowflake, incluindo modelagem, otimização de queries e gestão de warehouses e custo.

- Experiencia comprovada em produção com Apache Iceberg (desejavel 2 anos ou mais): particionamento, evolução de schema, snapshots e time

  travel, MERGE e rotinas de manutenção e compactação. 

- Experiencia com Apache Spark em escala (PySpark), incluindo tuning de jobs e diagnostico de skew e shuffle.

- Conhecimento em serviços AWS voltados a dados: S3, Glue (ETL e Data Catalog), EMR, Athena, Lambda e Step Functions.

- Domínio de SQL avançado para consultas complexas e otimização em ambientes de grande volume de dados.

- Experiencia com modelagem de dados e arquiteturas de Data Warehouse, Data Lake e Lakehouse.

- Python aplicado a automação e engenharia de dados.

- Experiencia com orquestração de pipelines (Airflow, Step Functions, dbt ou equivalente).

- Git e cultura de versionamento, testes e code review.

- Inglês técnico para leitura de documentação.

Diferenciais:

- Certificação SnowPro (Core ou Advanced).

- Certificações AWS (Solutions Architect, Data Engineer ou Data Analytics).

- Experiencia com Terraform ou outra ferramenta de Infraestrutura como Código.

- dbt em produção.

- Experiencia com catálogos abertos (Glue Data Catalog, Polaris / Open Catalog, Unity) e cenários multi-engine.

- Experiencia com streaming (Kinesis, Kafka / MSK, Snowpipe Streaming).

- Ferramentas de observabilidade e qualidade de dados (dbt tests, Great

  Expectations, Monte Carlo).

Competências comportamentais:

- Autonomia para conduzir entregas técnicas com pouca supervisão.

- Comunicação clara para interagir com áreas de negocio e times multidisciplinares.

- Pensamento analítico e foco em resolução de problemas complexos.

- Postura colaborativa e proatividade na proposição de melhorias técnicas.

ADDITIONAL INFORMATION

A apresentação de um case em PPT sobre atuação de Snowflake

INDISPENSÁVEL Conhecimento/Atuação em:

• AWS (experiência comprovada de no mínimo 5 anos).
• Snowflake (experiência comprovada de no mínimo 3 anos).

Modelo de atuação REMOTO

Onde a inteligência humana amplifica o poder dos dados

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas.

Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.