JOB DESCRIPTION
.
RESPONSIBILITIES AND ASSIGNMENTS
- Projetar, desenvolver e manter pipelines de dados em nuvem (Azure e/ou AWS) com execução recorrente (ex.: a cada X horas, diária, semanal).
- Implementar processos de ETL/ELT robustos e escaláveis, lidando com grandes volumes de dados e transformações complexas, principalmente utilizando Spark.
- Desenvolver soluções de processamento distribuído com PySpark em Databricks.
- Monitorar pipelines, garantindo qualidade, consistência e disponibilidade dos dados, com implementação de alertas, estratégias de recuperação e execução de backfills.
- Gerenciar, configurar e otimizar clusters Databricks, atuando em performance, escalabilidade, disponibilidade e controle de custos.
- Integrar múltiplas fontes de dados, incluindo APIs, bancos relacionais, não relacionais e dados em streaming.
- Realizar modelagem de dados e definição de estruturas de tabelas para diferentes camadas (raw, curated, analytics, feature).
- Desenvolver e manter pipelines de ingestão e orquestração com ferramentas como Azure Data Factory e Airflow.
- Implementar ingestão de dados em tempo quase real utilizando Kafka e conceitos de CDC (Change Data Capture).
REQUIREMENTS AND QUALIFICATIONS
- Programação em Python para processamento e automação;
- Experiência com Azure e/ou AWS aplicados à engenharia de dados;
- Conhecimento de Azure Data Factory (ADF) / Airflow ou ferramentas equivalentes;
- Conhecimento sólido em Databricks, incluindo jobs, clusters e estratégias de otimização;
- Conhecimento intermediário em consumo e integração de APIs REST (Databricks, serviços Azure e AWS;
- Experiência na construção de pipelines de features para modelos de Machine Learning (feature engineering e feature stores);
- Noções de modelagem de dados voltada para Machine Learning.
Become a Compasser, be part of AI/R.
Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.
We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.
To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.
We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.
Join us and be part of the AI-driven revolution.
