Offer summary

Qualifications:

Proven experience in data engineering, particularly in developing complex data pipelines., Strong expertise in SQL, Python, and Spark/PySpark, with proficiency in Azure cloud services., Knowledge of databases, data governance, and data modeling., Experience with ETL processes, especially using Databricks and Azure Data Factory..

Key responsibilities:

Design and implement complex and efficient data pipelines using Databricks and Azure Data Factory.

Ensure data quality throughout the ETL process from extraction to loading.

Develop and maintain code in Spark/PySpark and Python, focusing on object-oriented programming.

Collaborate with various business areas to understand data needs and translate them into effective solutions.

Job description

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 6.500 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: posições localizadas na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequência vigente.

Estamos buscando um Data Developer apaixonado por tecnologia e com expertise em construir e manter pipelines de dados robustos e escaláveis. Se você possui um profundo conhecimento de engenharia de dados, domínio de ferramentas como Databricks e Azure, e paixão por trabalhar com dados, esta é a oportunidade perfeita para você!

Suas responsabilidades serão:

- Projetar e implementar pipelines de dados complexos e eficientes utilizando Databricks e Azure Data Factory, seguindo padrões de arquitetura Medalhão.

- Dominar o processo ETL, garantindo a qualidade dos dados em todas as etapas, desde a extração até a carga.

Modelar dados dimensionalmente e implementar políticas de governança de dados rigorosas.

- Desenvolver e manter código em Spark/PySpark e Python, com foco em orientação a objetos, utilizando boas práticas de engenharia de dados.

- Escrever e otimizar consultas SQL para garantir o acesso eficiente aos dados.

- Diagnosticar e solucionar problemas relacionados aos dados, garantindo a estabilidade e o desempenho dos pipelines.

- Colaborar com diferentes áreas de negócio para entender as necessidades de dados e traduzi-las em soluções eficazes.

- Implementar testes unitários e testes de integração para garantir a qualidade do código e dos pipelines de dados.

- Aplicar princípios de FinOps para otimizar os custos relacionados à infraestrutura e aos serviços de dados.

- Orquestrar pipelines de dados complexos utilizando workflows e Azure Data Factory.

- Comunicar-se de forma clara e eficiente com a equipe, contribuindo para um ambiente colaborativo e de alto desempenho.

Requisitos essenciais para a posição:

- Experiência comprovada em engenharia de dados, incluindo o desenvolvimento de pipelines de dados complexos.

- Sólida experiência em SQL, Python e Spark/PySpark, com domínio de serviços em nuvem Azure.

- Conhecimento de bancos de dados, governança de dados e modelagem de dados.

- Experiência com processos ETL, particularmente utilizando Databricks e Azure Data Factory.

- Capacidade de se manter atualizado com as últimas tendências e tecnologias em engenharia de dados.

- Experiência com testes automatizados e familiaridade com frameworks de testes.

Diferenciais para se destacar:

- Sólida experiência em desenvolvimento com Python, com ênfase em programação orientada a objetos.

- Experiência com outras linguagens de programação.

- Certificações ou treinamento formal em serviços em nuvem Azure e Databricks.

- Habilidades de comunicação, com capacidade de explicar conceitos técnicos complexos de forma clara e concisa.

- Experiência na implementação de processos de governança de dados, utilizando ferramentas de data quality, profiling, catálogo e linhagem de dados.

- Experiência com processamento em streaming de dados, com capacidade de escolher a melhor abordagem para cada cenário.

- Experiência com Microstrategy.

Se você está pronto para assumir desafios e fazer a diferença em uma empresa inovadora, envie seu currículo!

Junte-se à nossa equipe e ajude-nos a transformar dados em insights valiosos!

#MidLevel

#LI-DR3

Nossos benefícios:

- Plano de saúde e odontológico;

- Vale alimentação e refeição;

- Auxílio-creche;

- Licença paternagem estendida;

- Wellhub (Gympass)

- TotalPass

- PLR;

- Seguro de Vida;

- CI&T University;

- Clube de descontos;

- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar.

- Curso gestante e paternagem responsável;

- Parceria com plataformas de cursos online;

- Plataforma para aprendizagem de idiomas;

- E muitos outros.

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

A colaboração é nosso superpoder, diversidade nos une, e a excelência é nosso padrão.

Valorizamos a diversidade de identidades e experiências de vida, fomentando um ambiente de trabalho diverso, inclusivo e seguro. Incentivamos a candidatura de pessoas de comunidades diversas e sub-representadas às nossas vagas.

Required profile