Este é um cargo remoto.
Oportunidade: Arquiteto de Dados Especialista
Requisitos:
* Sólida experiência com integração híbrida: on-premises, AWS, GCP e Azure.
* Experiência prática com conectividade corporativa.
* Experiência em criação de desenho de arquiteturas multi-cloud com padronização e interoperabilidade.
* Profundo conhecimento em pipelines de dados multi-cloud: AWS (Kinesis, Glue, S3, Lake Formation, Redshift, EMR, lambda) GCP (BigQuery, Dataflow/Beam, Pub/Sub, Composer) Azure (Data Factory, Synapse, ADLS, Databricks, Event Hub)
* Terraform;
* Esteira de deploy;
* Experiência com ingestion patterns: CDC, streaming, batch, API ingestion, file ingestion.
* Modelagem de dados: conceitual, lógica, física, canonical models, padrões corporativos.
* Big Data e processamento distribuído (Spark, EMR, Databricksdesejável).
* Governança, metadados, qualidade, catálogo e lineage.
* Segurança e IAM.
* Ferramentas de orquestração: Step Functions, Airflow, MuleSoft
* DatabricksJobs.
* Governança de dados, metadados, Data Quality, lineage e Catálogo corporativo.
* Experiência com DW/BI (Power BI (Necessário), Looker(Desejável), Tableau (Desejável), QuickSight (Desejável)).
* Experiência com Big Data e processamento distribuído (Spark, Databricks, EMR).
* Conhecimento sólido em mensageria (Kafka, Pub/Sub, Event Hub, Kinesis).
* Experiência com BI e Self-Service (Power BI, Tableau, Looker).
* Experiência com CI/CD, Infra as Code (Terraformpreferencial), GitOps.
* Segurança em cloud.
* Perfil "Hands-on" para apoiar no desenvolvimento da extração e ingestão de dados;
Desejáveis:
* ODI
* Conceito de Datawarehouse
* Conceito de DataMesh
* Fabric
Responsabilidades principais:
* Projetar e evoluir a arquitetura corporativa de dados da C&A em um ambiente híbrido e multi-cloud(on-premises↔ AWS ↔ Azure ↔ GCP).
* Desenvolver as extrações, ingestão e transformação de dados nas camadas do lake a ser construído;
* Desenhar integrações entre sistemas legados e camadas de ingestão e processamento cloud.
* Definir padrões de integração entre data centers locais, sistemas on-premisese soluções cloud
* Garantir que a arquitetura seja resiliente, segura, performática e com custo otimizado.
* Estruturar pipelines em larga escala, distribuídos entre AWS, Azure e GCP.
* Definir e manter Lifecyclede dados nas camadas Bronze, Silver e Gold.
* Implementar políticas de Governança de Dados, Data Quality e catálogo unificado (Lake Formation,GlueCatalog,DataHub,Collibraou equivalente).
* Atuar junto às áreas de Produto, Cliente, Fornecedor na definição de domínios e modelos corporativos.
* Integrar ambientes de consumo analítico e ciência de dados entre clouds
* Construir arquiteturas para consumo real time e batch.
* Orientar squadsde engenharia, analytics e sistemas na adoção de padrões de arquitetura unificados para o ecossistema multi-cloud.
* Conduzir POCs possivelmente comparativas entre AWS, GCP e Azure.
* Apoiar no desenvolvimento das extrações e ingestão de dados.
Modelo de atuação: Remoto
