JOB DESCRIPTION
A FCamara está em busca de uma pessoa Engenheira de Dados- SR em parceria com uma das maiores empresas de solução digital, voltada ao E-commerce que tem atuação em mais de 60 anos de história, com mais de 1.000 lojas físicas, 28 centros de distribuição e mais de 33 milhões de produtos no marketplace.
RESPONSIBILITIES AND ASSIGNMENTS
REQUIREMENTS AND QUALIFICATIONS
Hard Skills:
1. Linguagens de Programação e Scripting
- Python e SQL: Essenciais para criação de pipelines de dados, consultas e análises.
- Scala (em menor grau): Pode ser utilizado no Databricks, especialmente para pipelines de dados em Spark.
2. Processamento de Dados
- Apache Spark: Conhecimento profundo em Spark, especialmente dentro do Databricks, para processamento de grandes volumes de dados.
- Delta Lake: Expertise em manuseio de Delta Lakes, especialmente para versionamento de dados e otimização de queries.
3. Data Warehousing e Modelagem de Dados
- Data Modeling (Dimensional e Relational): Habilidade para modelar dados em estruturas escaláveis e eficientes, como tabelas fact e dimensionais.
- Data Warehousing: Conhecimento em conceitos e práticas de data warehousing, como Azure Synapse Analytics ou BigQuery (GCP).
4. Orquestração e Automação de Pipelines de Dados
- Databricks Jobs e Workflows: Experiência em configurar e monitorar jobs no Databricks.
- Azure Data Factory ou GCP Cloud Composer (Airflow): Orquestração de pipelines e automação de fluxos de trabalho.
5. Armazenamento e Integração de Dados
- Azure Data Lake Storage (ADLS) ou Google Cloud Storage (GCS): Conhecimento em armazenamento e gerenciamento de dados na nuvem.
- Conectores e Integrações: Integração de fontes de dados externas (via APIs ou conectores nativos) em Databricks.
6. Cloud Platforms
- Azure ou Google Cloud Platform (GCP): Familiaridade com os serviços de dados e computação oferecidos por essas plataformas.
- Azure Key Vault e Google Secret Manager: Gestão segura de chaves e credenciais.
- Azure Databricks ou Databricks on GCP: Uso de clusters gerenciados, notebooks colaborativos e otimização de custos.
7. Gerenciamento de Ciclo de Vida de Dados (DataOps)
- CI/CD (Continuous Integration/Continuous Deployment): Habilidades para gerenciar pipelines de CI/CD usando Azure DevOps ou GCP Cloud Build.
- Versionamento e Controle de Código: Utilização de Git para versionar código e pipelines de dados.
8. Otimização e Desempenho
- Otimização de Consultas SQL: Capacidade de identificar e otimizar consultas SQL para garantir o melhor desempenho possível no Databricks.
- Cluster Management e Tuning: Gerenciamento eficiente de clusters e ajuste de configurações para melhor desempenho e custo-benefício.
ADDITIONAL INFORMATION
Transformamos mundos sonhados em trajetórias reais.🧡🚀
Aqui somos #SangueLaranja!
Estamos há 17 anos no mercado, lado a lado com nossos clientes, proporcionando experiências transformadoras.
Somos um ecossistema de tecnologia e inovação, com expansão global; Além do Brasil estamos presentes na Europa e Reino Unido com escritórios em Portugal, Londres, Dubai e Holanda. 🌎
F de Formação: acreditamos na prática da cultura do compartilhamento, no senso de comunidade, e que o conhecimento
tem o poder da transformação!
Possuímos iniciativas, e ações sociais, que promovem o desenvolvimento, como a comunidade tech Orange Juice, o Programa de Formação,
nossa escola de liderança e diversas parcerias com ONGs e Edtechs.
Na FCamara todos são bem-vindos, para nós, Diversidade, Respeito e Ética, são elementos inegociáveis e fazem parte do nosso DNA.
E aí, está pronto para fazer parte de um time incrível e ser protagonista da própria história?
