Engenheiro de Dados Azure Pleno (Remoto)

Work set-up: 
Full Remote
Contract: 
Experience: 
Mid-level (2-5 years)
Work from: 

Offer summary

Qualifications:

Graduação em Ciência da Computação, Engenharia ou áreas relacionadas., Sólida experiência com Azure Data Factory, Synapse Analytics, Databricks e PySpark., Conhecimento avançado em SQL, modelagem de dados e ETL., Habilidade para trabalhar com grandes volumes de dados e construir pipelines complexos..

Key responsibilities:

  • Construir e gerenciar pipelines de dados usando Azure Data Factory e Databricks.
  • Desenvolver modelos de dados e realizar análises exploratórias com PySpark.
  • Implementar soluções de Data Warehouse e Data Lake usando Synapse Analytics e Datalakehouse.
  • Garantir a integridade e desempenho dos modelos e pipelines de dados.

Dataside logo
Dataside Information Technology & Services SME https://www.dataside.com.br/
501 - 1000 Employees
See all jobs

Job description

Papel na empresa: Construir pipeline de dados, entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisões.

Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de dados utilizando Azure Data Factory.
Construir notebooks em Python e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synapse Analytics.
Trabalhar com ingestões de dados em Datalakehouse.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, externas e naturais.
Usar subqueries de vários tipos, como subqueries de seleção, atualização e exclusão.
Usar funções agregadas de vários tipos.
Usar SQL com grandes conjuntos de dados.
Usar PySpark para realizar análise exploratória de dados (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo.
Projetar um modelo de dados complexo que atenda a esses requisitos.
Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais:
Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
Experiência em projetos complexos de BI.
Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
Experiência em projetos complexos de DB, DW, lake e lakehouse.
Experiência em projetos complexos de ETL.
Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
Experiência em implementação de pipelines complexos em cenários desafiadores.
Expertise em conceitos avançados de DevOps.
Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.

Nossos Incentivos:
1. Auxílio médico;
2. Wellhub;
3. Auxílio terapia;
4. Teleatendimento em Nutrição;
5. Seguro de vida;
6. Day off no dia do aniversário;
7. Parceria com instituições de ensino com desconto em cursos (Anhanguera, FIAP e Instituto Infnet);
8. Gameficação interna (troque ações por prêmios);
9. English Club;
10. Reembolso + Bônus por certificação.

Entre outros
Atuação remota.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

Required profile

Experience

Level of experience: Mid-level (2-5 years)
Industry :
Information Technology & Services
Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Other Skills

  • Problem Solving

Data Engineer Related jobs