DESCRIÇÃO
O foco deste cargo será o desenvolvimento e a manutenção de pipelines de dados estruturados e desestruturados, utilizando melhores práticas de ETL para garantir a eficiência e qualidade dos dados.
Funções e responsabilidades:
- Projetar, construir e manter pipelines de dados escaláveis e eficientes no GCP usando Dataflow, BigQuery e outras tecnologias relevantes.
- Desenvolver scripts em Python para automação de processos de ETL e para integração de dados estruturados e desestruturados.
- Utilizar Terraform para a gestão de infraestrutura como código, assegurando a criação e manutenção de ambientes de dados seguros e escaláveis.
- Analisar e melhorar continuamente a eficiência, escalabilidade e estabilidade dos sistemas de dados existentes.
- Colaborar com equipes multidisciplinares (analistas de dados, cientistas de dados, desenvolvedores) para entender as necessidades de dados e implementar soluções que suportem os objetivos de negócios.
- Documentar claramente todos os sistemas de dados e processos de ETL para garantir a transparência e a compreensibilidade dentro da equipe.
- Identificar, diagnosticar e resolver problemas relacionados à integridade e ao desempenho dos dados.
Natuvion
Kantar XTEL
Blinq
Nagarro
Careem
