Logo for Mellro

Engenheiro de Dados Sr. | PJ

Role overview

Summary

This role focuses on designing and evolving the data architecture for the platform, integrating various technologies to create a scalable and governed data environment. You will work closely with stakeholders to define solutions and ensure data quality and availability, while also serving as a technical reference for the team.

Qualifications

  • Minimum of 3 years of experience in Data Architecture or Engineering.
  • Practical experience in developing and maintaining ETL/ELT pipelines in production.
  • Proficiency in Databricks, including Delta Lake, Lakehouse architecture, Unity Catalog, and Workflows/Jobs.
  • Experience with AWS, especially S3, IAM, RDS/Aurora PostgreSQL, and integration and automation services.
  • Advanced knowledge of PostgreSQL, including modeling, indexing, query optimization, and extraction/CDC strategies.

Responsibilities

  • Design and evolve the data architecture of the platform using Databricks, AWS, and PostgreSQL.
  • Develop, maintain, and sustain ETL/ELT pipelines with PySpark, SQL, and AWS services.
  • Implement data ingestion processes, including incremental loads and CDC.
  • Administer data governance through Unity Catalog, ensuring access control, traceability, and lineage.

Key facts

Hard skills

Key skills for this role

Other skills

  • Analytical Thinking
  • Problem Solving
  • Communication
  • Collaboration

About the company

Mellro logo

Mellro

  • Real Estate
  • Startup
  • 11–50
A Mell.ro é uma garantidora de pagamentos de aluguel que atende corretores e imobiliárias em todo o Brasil com o objetivo de simplificar os processos de locação com ferramentas tecnológicas e gratuitas, além de garantir os pagamentos em dia e antecipar recebíveis.

Your match analysis

See how your profile stacks up against this role.

We compared the job requirements to your profile to show where you're strong and where you fall short.

Job description

Buscamos um(a) Engenheiro(a) de Dados Sênior para desenhar, desenvolver e evoluir a arquitetura de dados da plataforma, integrando Databricks, AWS e PostgreSQL em uma estrutura escalável, segura e governada. Essa pessoa será responsável por construir e sustentar pipelines de dados, garantir a qualidade e disponibilidade das informações e otimizar soluções para consumo analítico, atuando também como referência técnica para o time.

Seus principais desafios e atividades

  • Desenhar e evoluir a arquitetura de dados da plataforma, utilizando Databricks, AWS e PostgreSQL.
  • Desenvolver, manter e sustentar pipelines ETL/ELT com PySpark, SQL e serviços AWS.
  • Implementar processos de ingestão de dados, incluindo cargas incrementais e CDC.
  • Estruturar e evoluir as camadas Bronze, Silver e Gold no Delta Lake.
  • Modelar e disponibilizar dados otimizados para consumo em ferramentas de BI, especialmente Power BI.
  • Administrar a governança de dados por meio do Unity Catalog, garantindo controle de acesso, rastreabilidade e linhagem.
  • Implementar testes e controles de qualidade, assegurando a integridade e confiabilidade das informações.
  • Monitorar pipelines, clusters e bancos de dados, identificando falhas e oportunidades de melhoria de performance e custos.
  • Atuar na resolução de incidentes e problemas relacionados às soluções de dados.
  • Aplicar boas práticas de segurança, privacidade e LGPD.
  • Estruturar e manter processos de CI/CD, versionamento de código e infraestrutura.
  • Participar de projetos de implementação, evolução e modernização da plataforma de dados.
  • Elaborar documentação técnica de arquitetura, pipelines, integrações e modelos de dados.
  • Atuar em parceria com stakeholders para levantamento de requisitos e definição de soluções.
  • Ser referência técnica para o time, revisando códigos, definindo padrões e apoiando profissionais de menor experiência.

Requisitos imprescindíveis

  • Experiência mínima de 3 anos em Arquitetura ou Engenharia de Dados.
  • Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT em produção.
  • Domínio de Databricks, incluindo Delta Lake, arquitetura Lakehouse, Unity Catalog e Workflows/Jobs.
  • Experiência com AWS, especialmente S3, IAM, RDS/Aurora PostgreSQL e serviços de integração e automação.
  • Conhecimento avançado em PostgreSQL, incluindo modelagem, indexação, otimização de queries e estratégias de extração/CDC.
  • Domínio de SQL e Python.
  • Experiência com PySpark e processamento distribuído.
  • Conhecimento em modelagem de dados voltada para consumo analítico.
  • Experiência na disponibilização de dados para ferramentas de BI, preferencialmente Power BI.
  • Vivência com Git e versionamento colaborativo.
  • Conhecimentos de qualidade, segurança e governança de dados, incluindo LGPD.
  • Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
  • Experiência com documentação técnica e de arquitetura.

Buscamos alguém que tenha

  • Visão sistêmica e capacidade de desenhar soluções escaláveis.
  • Perfil analítico, investigativo e orientado à resolução de problemas.
  • Autonomia para conduzir projetos e tomar decisões técnicas.
  • Senso de responsabilidade sobre qualidade, segurança e confiabilidade dos dados.
  • Capacidade de identificar gargalos e propor melhorias de performance e custos.
  • Boa comunicação e facilidade para traduzir necessidades de negócio em soluções técnicas.
  • Postura colaborativa e habilidade para compartilhar conhecimento e apoiar o desenvolvimento do time.
  • Organização e atenção à documentação e padronização de processos.

Diferenciais

  • Certificações Databricks (Data Engineer Associate/Professional) e/ou AWS.
  • Experiência com Terraform e Databricks Asset Bundles.
  • Conhecimentos de CI/CD e práticas de DevOps/DataOps, como GitHub Actions e GitLab CI.
  • Vivência com FinOps e otimização de custos em Databricks e AWS.
  • Experiência em projetos de migração ou modernização de plataformas de dados.
  • Experiência com administração do Metabase, incluindo modelos, permissões, cache e performance de consultas.

Condições da vaga

  • Contratação: PJ
  • Atuação: Engenharia de Dados — Arquitetura e Plataforma de Dados.
  • Interface: Engenharia, Produto, BI e áreas de negócio.
  • Senioridade: Sênior. 

Related jobs

See all Data Engineer jobs

Other jobs at Mellro