Solid experience building data pipelines in GCP (Dataflow, Pub/Sub, Cloud Storage) in production environments
Advanced proficiency in BigQuery (performance optimization, partitioning, clustering, FinOps)
Experience with Cloud Composer (Airflow) for workflow orchestration
Strong knowledge of analytical data modeling (Star Schema, Snowflake, Medallion Architecture, SCD)
Requirements:
Build data pipelines prioritized by the Data Analytics area, in collaboration with technical leadership and Product Owners
Develop, test and maintain batch and streaming data pipelines
Execute and document unit tests and support UAT testing
Coordinate deployment of pipelines (PRs, approvals, cutover, historical load and scheduling)
Job description
Este é um cargo remoto.
Oportunidade : Engenheiro(a) de Dados Sênior / Especialista (P4) – GCP Requisitos: Experiência sólida com construção de pipelines em GCP (Dataflow, Pub/Sub, Cloud Storage) em ambientes produtivos Proficiência avançada em BigQuery (otimização de performance, particionamento, clustering e FinOps) Experiência com Cloud Composer (Airflow) para orquestração de workflows Vivência com processamento de dados estruturados e não estruturados (batch e streaming) Forte conhecimento em modelagem de dados analítica (Star Schema, Snowflake, Medallion Architecture, SCD) Experiência com práticas de engenharia de software (Git, code review, Docker, CI/CD com Cloud Build) Conhecimento em fundamentos de GCP (IAM, service accounts, VPC, segurança) Proficiência em Python para processamento de dados Experiência com testes automatizados (ex.: pytest) e validação de qualidade de dados Atividades: Construir pipelines de dados priorizados pela área de D&A, em conjunto com liderança técnica e Product Owners Desenvolver, testar e manter pipelines de dados em batch e streaming Executar e documentar testes unitários e apoiar testes de UAT Coordenar o deployment de pipelines (PRs, aprovações, cutover, carga histórica e agendamentos) Traduzir necessidades de negócio em soluções técnicas end-to-end Garantir aderência às políticas de Arquitetura de Solução, Dados e Governança Documentar entregas conforme padrões de Projeto & Produto (KT) Atuar em conjunto com times multidisciplinares e stakeholders técnicos e de negócio Período: 7 meses Modelo de atuação: Remoto Idioma: Inglês Avançado
