Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

•  Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh.
•  Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing.
•  Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios.
•  Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma.
•  Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura.
•  Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados.
•  Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.

REQUIREMENTS AND QUALIFICATIONS

•  Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows;
•  Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage;
•  Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos;
•  Padrões de ingestão de dados: streaming e batch em escala;
• CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares);
• Ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;
• IaC (Terraform, incluindo o provider do Databricks);
• Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma;
• SQL avançado;
•  Data Contracts e ferramentas de metadados como OpenMetadata;
•  DataDog : para controles e monitoramentos de observabilidade;
• Desejáveis:
•  Vivência em projetos de Data Mesh (domínios, data products, governança federada) — diferencial importante;
•  Experiência no mercado financeiro ou de crédito — diferencial importante;
•  Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados);
•  FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute);
•  Delta Sharing em cenários cross-company, cross-cloud ou cross-region;
• Certificações AWS (ex.: Data Engineer Associate, Solutions Architect);
• Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator);
•  Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.