Logo for Bemobi

Data Engineer Pleno

Roles & Responsibilities

  • Solid experience (3+ years) in Data Engineering or related areas.
  • Proficiency in Python for developing pipelines, automation scripts, and integrations.
  • Practical experience with advanced SQL.
  • Familiarity with Apache Airflow.

Requirements:

  • Operate and evolve the Data Lake: work with data in Raw, Processed, and Refined zones, including deduplication, cataloging, and storage optimization.
  • Operate and monitor streaming pipelines via Kafka: create topics, connectors, ACLs, credentials, and track consumer lag.
  • Contribute to the evolution of the Data Platform API: create and maintain modules abstracting data ingestion and processing.
  • Investigate and resolve incidents: interpret failures in pipelines, dataset loads, data duplication, and cluster errors.

Job description

JOB DESCRIPTION


Na Bemobi valorizamos o espírito inovador e colaboramos para que pessoas potencializem o seu melhor e, juntos, identificamos afinidades e oportunidades. 

Se você procura desenvolvimento, desafios e um ótimo ambiente de trabalho, está no lugar certo!

                                                                                                                                                                                      

O time de Data Platform faz parte da Tribo de Dados e é responsável por construir e manter a infraestrutura escalável, confiável e segura que sustenta todo o ciclo de vida dos dados na Bemobi. Nossa missão é democratizar o uso de 

dados, facilitando o acesso, garantindo disponibilidade e promovendo a exploração por todos os times da empresa.


#SejaBemober 💙🚀


RESPONSIBILITIES AND ASSIGNMENTS


  • Operar e evoluir o Data Lake: trabalhar os dados em suas zonas Raw, Processed e Refined, incluindo processos de deduplicação, catalogação e otimização de armazenamento (Parquet, Iceberg).
  • Operar e monitorar pipelines de streaming via Kafka: criação de tópicos, conectores, ACLs, credenciais e acompanhamento de consumer lag para pipelines de streaming em tempo real.
  • Contribuir com a evolução da API da Plataforma de Dados: criação e manutenção de módulos da nossa plataforma que abstraem para usuários e desenvolvedores processos de ingestão (podendo ser por arquivos, CDC ou streaming de dados), processamento de dados em plataformas de Big Data (Spark / Redshift) e orquestração de pipelines (Airflow).
  • Investigar e resolver incidentes: Saber interpretar falhas em pipelines, carga de datasets, duplicação de dados e erros em clusters e auxiliar na resolução de incidentes.
  • Utilizar e contribuir com a infraestrutura como código (IaC): Uso de Terraform, operando recursos AWS sob orientação da equipe.
  • Participar de iniciativas de modernização e integração com ferramentas de IA: Uso LLMs como ferramenta para criação de agentes e criação de ferramentas que permitem a integração da IA aos nossos sistemas (MCP Servers).
  • Manutenção de Documentação e Monitoramento: Contribuir com documentação técnica de nossas ferramentas e arquitetura. Manter as nossas ferramentas de observabilidade.

REQUIREMENTS AND QUALIFICATIONS


Obrigatórios:

  • Experiência sólida (3+ anos) em Engenharia de Dados ou áreas correlatas.
  • Proficiência em Python para desenvolvimento de pipelines, scripts de automação e integrações.
  • Noções de arquitetura de software.
  • Experiência prática com SQL avançado.
  • Conhecimento em Apache Airflow.
  • Experiência com serviços AWS: S3, Redshift, EMR (Spark).
  • Conhecimento em Apache Kafka: conceitos de tópicos, produtores/consumidores, conectores (Debezium, S3 Sink).
  • Familiaridade com Git e fluxos de CI/CD (Bitbucket Pipelines ou similares).
  • Conhecimento de arquiteturas de Data Lake (Lakehouse, Arquitetura Medalhão).
  • Boa comunicação e capacidade de atuar de forma autônoma em um time ágil.



Diferenciais:

  • Experiência com Apache Spark (PySpark, SparkSQL).
  • Experiência com Terraform ou outra ferramenta de Infrastructure as Code.
  • Conhecimento em C# / .NET.
  • Familiaridade com Debezium para Change Data Capture (CDC).
  • Experiência com formatos de tabela modernos (Apache Iceberg, Hudi, Delta).
  • Conhecimento em Grafana para monitoramento e dashboards operacionais.
  • Experiência com OpsGenie/JSM para gestão de incidentes e alertas.
  • Familiaridade com Redshift.
  • Inglês técnico para leitura de documentação e comunicação com times LATAM.

ADDITIONAL INFORMATION


O QUE VOCÊ VAI ENCONTRAR AQUI! ✌️


🥼Plano de Saúde Bradesco Rede Nacional - estendido a dependentes sem desconto por beneficiário;


🦷Plano odontológico Bradesco - opcional;


🏖️VR/VA flexível - mantido durante as férias;


🤑PLR - participação nos lucros;


💦Wellhub;


🎉Day off de aniversário;


🏠Auxílio Home Office;


🚌VT conforme necessidade - desconto permitido por lei;


❤️ Seguro de Vida;


📱Acesso gratuito a todos os nossos produtos - AppsClub, Clube de Descontos, TrueCaller, BTFit e Busuu;


📚 Acesso a treinamentos internos por meio de plataformas digitais;


🏆Programa de reconhecimento interno entre colaboradores - Bemobucks.


Olá, somos a Bemobi!


Uma empresa de tecnologia pioneira que oferece soluções mobile e plataformas para serviços digitais, microfinanças e métodos de pagamento. Na Bemobi, valorizamos o espírito de inovação e encorajamos todos a atingir sua melhor versão. Se você procura desenvolvimento, desafios e um ótimo ambiente de trabalho, aqui é o lugar certo!


Começamos a nossa trajetória em 2009 no Brasil e, hoje, somos uma empresa multinacional de capital aberto, presente em 50 países. Atuamos em um modelo B2B2C em parceria com grandes empresas dos segmentos de telefonia móvel, bancos digitais, wallets, e-commerce e mais recentemente, utilities.


Com foco em excelência, inovação e segurança, conectamos milhões de usuários a um portfólio de soluções amplo e inovador, contribuindo, assim, com a democratização de acesso a serviços digitais no Brasil e no mundo.


Nós acreditamos na diversidade e pluralidade de ideias que se transformam em ação através dos nossos #Bemobers, que promovem uma cultura de aprendizado contínuo e aperfeiçoamento constante com foco na inovação. Este ano conquistamos pela 10ª vez o certificado GPTW -Great Place to Work- e fomos reconhecidos como a 14ª melhor empresa para trabalhar no Rio de Janeiro.🚀


Seja você, #SejaBemober.


Data Engineer Related jobs

Other jobs at Bemobi

We help you get seen. Not ignored.

We help you get seen faster — by the right people.

🚀

Auto-Apply

We apply for you — automatically and instantly.

Save time, skip forms, and stay on top of every opportunity. Because you can't get seen if you're not in the race.

AI Match Feedback

Know your real match before you apply.

Get a detailed AI assessment of your profile against each job posting. Because getting seen starts with passing the filters.

Upgrade to Premium. Apply smarter and get noticed.

Upgrade to Premium

Join thousands of professionals who got noticed and hired faster.