Match score not available

Engenheiro de Dados Especialista

Remote: 
Full Remote
Contract: 
Experience: 
Mid-level (2-5 years)
Work from: 

Offer summary

Qualifications:

Experience with data pipelines using Spark and Databricks., Proficient in Python and SQL for data development., Experience with SQL and NoSQL databases like PostgreSQL and MongoDB., Knowledge in AWS services such as EC2, RDS, S3., Familiarity with DataOps methodologies and practices..

Key responsabilities:

  • Design, develop, and maintain data pipelines.
  • Define and evolve data architecture for scalability and efficiency.
  • Develop data integrations between internal and external platforms.
  • Monitor performance and implement quality improvements.
  • Act as a technical reference, providing support and mentoring.
Base logo
Base
11 - 50 Employees
See more Base offers

Job description

Quem somos...

O objetivo da RPE é  viabilizar o amplo crescimento dos negócios varejistas e da economia nacional por meio de soluções ágeis, robustas, seguras e integradas a todo ecossistema de serviços financeiros.
Com mais de oitenta profissionais especialistas em tecnologia e meios de pagamento, atendemos mais de quarenta negócios varejistas, desenvolvendo soluções voltadas para a democratização do crédito nos pontos de vendas.

Se você está pronto para crescer e voar com a gente, esta é sua chance.

Estamos esperando por você!

Responsabilidades e Atribuições:

Projetar, desenvolver, e manter pipelines de dados, garantindo a ingestão, processamento, armazenamento e disponibilização eficientes e confiáveis dos dados.
Definir e evoluir a arquitetura das plataformas de dados, visando escalabilidade, segurança, observabilidade, custo e eficiência no processamento de dados, garantido que a arquitetura atende aos requisitos de negócio.
Especificar e desenvolver integrações de dados entre as plataformas de dados da empresa e outras plataformas externas, garantindo a interoperabilidade e a troca segura, eficiente e eficaz de dados.
Observar a garantia de qualidade e monitorar a performance das plataformas de dados, identificando e implementando melhorias para otimizar o desempenho e reduzir custos. Identificar, projetar e implementar melhorias internas de processos e padrões, automatizando tarefas manuais, e visando entregas de qualidade e no prazo.
Atuar como referência técnica para o time, oferecendo suporte e mentoria, bem como avaliando e direcionando a adoção das melhores práticas e uso adequado das tecnologias.


Para Este Desafio, é Necessário:

Capacidade de trabalhar em equipe e colaborar com outros profissionais de tecnologia.
Capacidade de adaptação a novas tecnologias e metodologias. Habilidade de comunicação clara e eficaz.
Propriedade e proatividade para propor e implementar melhorias nos processos e soluções.
Domínio em ferramentas de dados distribuídos e processamento paralelo, como Spark e Databricks.
Domínio de linguagens de programação aplicadas ao desenvolvimento de pipelines de dados, como Python e SQL.
Domínio em bancos de dados SQL e NoSQL, como PostgreSQL e MongoDB.
Experiência no projeto de arquiteturas e implementação de soluções de dados.
Experiência em implementação, manutenção e orquestração de pipelines de dados, principalmente com o Airflow;
Experiência com serviços de nuvem AWS, especialmente em soluções de armazenamento e processamento de dados. (EC2, RDS, S3, Athena, Lambda, etc);
Experiência em ferramentas e técnicas de garantia da qualidade dos dados, como o Great Expectations ou Apache Griffin.
Conhecimentos em metodologias de engenharia de dados e aplicação de boas práticas, incluindo DataOps, para assegurar eficiência e qualidade na esteira de desenvolvimento e operação.
Conhecimento sobre práticas e técnicas relacionadas à segurança e proteção de dados, incluindo controle de acesso, autenticação e autorização, anonimização e criptografia de dados, dentre outras.
Experiência de atuação em times ágeis utilizando Scrum ou Kanban.

Será desejável, também:
Experiência com desenvolvimento de APIs REST. Experiência com ferramentas e tecnologias de ETL, como Pentaho PDI, dbt e Apache Nifi.
Conhecimentos sobre ferramentas de visualização de dados como Tableau, Power BI e Qlik.
Conhecimentos em observabilidade e performance, incluindo logs centralizados (stack ELK), métricas e APMs (Datadog).
Conhecimentos e familiaridade com infraestrutura como código, com Terraform.

Informações Importantes:

- Modelo de trabalho Remoto
- Modelo de Contrato PJ.

Required profile

Experience

Level of experience: Mid-level (2-5 years)
Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Other Skills

  • Adaptability
  • Teamwork
  • Proactivity
  • Verbal Communication Skills

Data Engineer Related jobs