JOB DESCRIPTION
.
RESPONSIBILITIES AND ASSIGNMENTS
- Projetar, implementar e evoluir a esteira de CI/CD da plataforma Databricks, garantindo a promoção automatizada de artefatos entre os ambientes de desenvolvimento, homologação e produção.
- Padronizar o empacotamento e o deploy de workloads utilizando Databricks Asset Bundles, criando templates reutilizáveis para os diferentes domínios e squads de dados.
- Implementar e manter a infraestrutura como código (IaC) utilizando Terraform e o provider Databricks, contemplando workspaces, políticas de compute, service principals, secret scopes e objetos do Unity Catalog.
- Definir e evoluir estratégias de versionamento, branching, code review e release management, utilizando ferramentas como Bitbucket, GitHub ou GitLab.
- Construir e manter pipelines como código utilizando Bitbucket Pipelines, GitHub Actions ou GitLab CI, incluindo estratégias de deploy, versionamento, rollback e promoção entre ambientes.
- Estabelecer quality gates automatizados nas pipelines, incluindo testes unitários e de integração, validação de contratos de dados, análise estática, lint e métricas mínimas de cobertura como pré-requisitos para merge e deploy.
- Automatizar controles e práticas de governança e segurança, incluindo permissões via Unity Catalog, RBAC, políticas de cluster e custos, segregação de ambientes, gestão de segredos e trilhas de auditoria.
- Disseminar boas práticas de engenharia de software junto às squads de plataforma, migração e analytics engineering, promovendo modularização, reutilização de código, testabilidade, documentação e qualidade.
- Contribuir com decisões de arquitetura, definição de padrões técnicos, elaboração de documentação e mentoria técnica para outros profissionais do time.
- Apoiar o monitoramento e troubleshooting de pipelines, workloads e infraestrutura, utilizando ferramentas de observabilidade como Datadog ou similares.
REQUIREMENTS AND QUALIFICATIONS
- Experiência em DevOps, DataOps ou áreas correlatas, com atuação na construção e evolução de pipelines de CI/CD ponta a ponta.
- Experiência com CI/CD como código, utilizando pelo menos uma das seguintes plataformas: Bitbucket Pipelines, GitHub Actions ou GitLab CI.
- Domínio de Git, incluindo estratégias de branching como Trunk-Based Development, GitFlow ou similares, além de Pull Requests, Code Review, proteção de branches e versionamento de releases.
- Experiência com Databricks Asset Bundles, Databricks CLI e processos de empacotamento e deploy de jobs, workflows e configurações.
- Conhecimento avançado em Python, incluindo estruturação e modularização de projetos, criação de bibliotecas, empacotamento com wheel e publicação de artefatos.
- Experiência com testes automatizados, incluindo testes unitários e de integração utilizando Pytest ou ferramentas similares, além de mocks, fixtures e métricas de cobertura.
- Experiência com Terraform, especialmente na automação e gerenciamento de recursos utilizando o provider Databricks.
- Vivência em ambientes Cloud, preferencialmente AWS ou Azure, com conhecimentos relacionados a identidade, armazenamento, redes e serviços gerenciados.
- Conhecimento sólido em SQL para validação, análise e troubleshooting de pipelines de dados.
Diferenciais
- Experiência em projetos de migração de Data Warehouse legado para arquiteturas Lakehouse.
- Conhecimento na administração e sustentação da plataforma Databricks, incluindo workspaces, clusters, jobs, workflows e políticas de compute.
- Experiência com Unity Catalog, governança de dados, RBAC, gestão de segredos, segregação de ambientes e controles automatizados de auditoria.
- Vivência com observabilidade e monitoramento de pipelines e infraestrutura utilizando Datadog ou ferramentas equivalentes.
- Experiência com plataformas de dados, Data Engineering, Data Warehouse e processos de modernização de ambientes corporativos.
Become a Compasser, be part of AI/R.
Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.
We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.
To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.
We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.
Join us and be part of the AI-driven revolution.
