Engenheiro de Dados Especialista

Quem somos...

O objetivo da RPE é  viabilizar o amplo crescimento dos negócios varejistas e da economia nacional por meio de soluções ágeis, robustas, seguras e integradas a todo ecossistema de serviços financeiros.
Com mais de oitenta profissionais especialistas em tecnologia e meios de pagamento, atendemos mais de quarenta negócios varejistas, desenvolvendo soluções voltadas para a democratização do crédito nos pontos de vendas.

Se você está pronto para crescer e voar com a gente, esta é sua chance.

Estamos esperando por você!

Responsabilidades e Atribuições:

Projetar, desenvolver, e manter pipelines de dados, garantindo a ingestão, processamento, armazenamento e disponibilização eficientes e confiáveis dos dados.
Definir e evoluir a arquitetura das plataformas de dados, visando escalabilidade, segurança, observabilidade, custo e eficiência no processamento de dados, garantido que a arquitetura atende aos requisitos de negócio.
Especificar e desenvolver integrações de dados entre as plataformas de dados da empresa e outras plataformas externas, garantindo a interoperabilidade e a troca segura, eficiente e eficaz de dados.
Observar a garantia de qualidade e monitorar a performance das plataformas de dados, identificando e implementando melhorias para otimizar o desempenho e reduzir custos. Identificar, projetar e implementar melhorias internas de processos e padrões, automatizando tarefas manuais, e visando entregas de qualidade e no prazo.
Atuar como referência técnica para o time, oferecendo suporte e mentoria, bem como avaliando e direcionando a adoção das melhores práticas e uso adequado das tecnologias.


Para Este Desafio, é Necessário:

Capacidade de trabalhar em equipe e colaborar com outros profissionais de tecnologia.
Capacidade de adaptação a novas tecnologias e metodologias. Habilidade de comunicação clara e eficaz.
Propriedade e proatividade para propor e implementar melhorias nos processos e soluções.
Domínio em ferramentas de dados distribuídos e processamento paralelo, como Spark e Databricks.
Domínio de linguagens de programação aplicadas ao desenvolvimento de pipelines de dados, como Python e SQL.
Domínio em bancos de dados SQL e NoSQL, como PostgreSQL e MongoDB.
Experiência no projeto de arquiteturas e implementação de soluções de dados.
Experiência em implementação, manutenção e orquestração de pipelines de dados, principalmente com o Airflow;
Experiência com serviços de nuvem AWS, especialmente em soluções de armazenamento e processamento de dados. (EC2, RDS, S3, Athena, Lambda, etc);
Experiência em ferramentas e técnicas de garantia da qualidade dos dados, como o Great Expectations ou Apache Griffin.
Conhecimentos em metodologias de engenharia de dados e aplicação de boas práticas, incluindo DataOps, para assegurar eficiência e qualidade na esteira de desenvolvimento e operação.
Conhecimento sobre práticas e técnicas relacionadas à segurança e proteção de dados, incluindo controle de acesso, autenticação e autorização, anonimização e criptografia de dados, dentre outras.
Experiência de atuação em times ágeis utilizando Scrum ou Kanban.

Será desejável, também:
Experiência com desenvolvimento de APIs REST. Experiência com ferramentas e tecnologias de ETL, como Pentaho PDI, dbt e Apache Nifi.
Conhecimentos sobre ferramentas de visualização de dados como Tableau, Power BI e Qlik.
Conhecimentos em observabilidade e performance, incluindo logs centralizados (stack ELK), métricas e APMs (Datadog).
Conhecimentos e familiaridade com infraestrutura como código, com Terraform.

Informações Importantes:

- Modelo de trabalho Remoto
- Modelo de Contrato PJ.