Databricks/Python Developer Senior | Remote

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; 
• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
• Manter documentação técnica abrangente para os processos e soluções implementadas.

REQUIREMENTS AND QUALIFICATIONS

• Experiência no desenvolvimento de soluções de dados utilizando Python;
• Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
• Vivência com processamento, transformação e análise de grandes volumes de dados;
• Experiência com manipulação e tratamento de dados utilizando Pandas;
• Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
• Experiência com plataformas de nuvem, especialmente Microsoft Azure;
• Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
• Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.

• Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
• Conhecimento em otimização de performance de pipelines e processamento distribuído;
• Familiaridade com documentação técnica de processos, pipelines e soluções de dados.

ADDITIONAL INFORMATION

Benefícios

• Vale-alimentação e/ou vale-refeição;
• Plano de saúde e plano odontológico;
• Plano de saúde para o seu pet;
• Auxílio home office (para vagas remotas);
• Kit de boas-vindas no onboarding;
• Seguro de vida;
• Zenklub, com acompanhamento psicológico e nutricional;
• TotalPass;
• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
• Parcerias e descontos para o seu desenvolvimento;
• Acesso ao conteúdo UOL;
• Kit maternidade;
• Licença maternidade e paternidade estendidas; 

• Programa de indicações.

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.