Databricks Data Engineer | Senior (Remote)

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

• Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks;
• Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos;
• Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark;
• Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold);
• Interpretação de regras de negócio e tradução em processos e soluções de dados;
• Participação em projetos de migração e modernização de plataformas de dados;
• Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.

REQUIREMENTS AND QUALIFICATIONS

• Domínio de PySpark, Apache Spark e SQL;
• Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines;
• Conhecimento em Lakeflow Connect para ingestão de dados;
• Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines;
• Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold);
• Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks;
• Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy;
• Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery;
• Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra.
• Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate.

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.