Match score not available

Desenvolvedor Python DataOps Pleno

Remote:

Full Remote

Work from:

Brazil

Offer summary

Qualifications:

Experience with GCP and Python, Familiarity with Dataflow and Terraform, Data pipeline development skills, Knowledge in data integrity and security.

Key responsabilities:

Develop and maintain scalable data pipelines
Monitor and optimize data lakes and solutions

ONR • Registro de Imóveis Eletrônico https://www.registradores.onr.org.br/

51 - 200 Employees

See more ONR • Registro de Imóveis Eletrônico offers

Job description

Descrição:

Fundamental para construir, otimizar e manter nossos pipelines de dados robustos e escaláveis no Google Cloud Platform (GCP), utilizando ferramentas como Dataflow e Terraform.

Funções:

- Desenvolver e manter pipelines de dados escaláveis, eficientes e automatizados no GCP, usando Python e outras tecnologias relevantes.
- Utilizar o Google Dataflow para processamento de dados em larga escala, garantindo a integridade e disponibilidade dos dados.
- Gerenciar recursos de infraestrutura como código usando Terraform, garantindo a melhor prática em segurança e custo-benefício.
- Colaborar com equipes de análise e ciência de dados para entender as necessidades de dados e implementar soluções eficazes.
- Monitorar, otimizar e garantir a segurança dos dados no data lake.
- Documentar todas as operações de data pipeline e procedimentos de manutenção de sistema. - Resolver problemas e desafios relacionados à qualidade dos dados e ao desempenho dos sistemas.