Data Engineer (Databricks) | SR (Remote)

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.
• Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. 
• Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).
• Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).
• Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.
• Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.
• Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.
• Desenvolver APIs REST, integrações e automações utilizando Python.
• Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

REQUIREMENTS AND QUALIFICATIONS

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.
• Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.
• Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.
• Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.
• Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).
• Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.
• Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.
• Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.
• Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.
• Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.
• Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.
• Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.
• Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

ADDITIONAL INFORMATION

Benefícios

• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Kit de boas-vindas no onboarding;
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• TotalPass;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas; 

• Programa de indicações.

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.