Match score not available

[HD] ENGENHEIRO DE DADOS SENIOR - HÍBRIDO - SP

Remote: 
Hybrid
Experience: 
Mid-level (2-5 years)
Work from: 
São Paulo (BR)

Offer summary

Qualifications:

Bachelor's degree in Computer Science, Engineering, Statistics, Mathematics, Physics or related fields, Proven experience with Big Data projects, Data Warehouse, Data Science, Data Lake, modeling efficient data storage architectures.

Key responsabilities:

  • Design and implement Big Data architectures on Cloud (preferably Azure)
  • Develop scalable and fault-tolerant data pipelines using tools such as Apache Spark, Airflow, Azure Data Factory
  • Collaborate with data scientists in data preparation for ML/AI models building and training
  • Configure and manage Airflow environments in Kubernetes for optimized performance
  • Collaborate effectively with multidisciplinary teams and communicate complex results clearly to non-technical stakeholders
iBlue Consulting logo
iBlue Consulting Scaleup https://www.iblueconsulting.com.br/
51 - 200 Employees
See more iBlue Consulting offers

Job description

Logo Jobgether

Your missions

JOB DESCRIPTION

Ouvir, criar e inspirar a transformação digital dos nossos clientes é o que nos motiva.cr

De pessoas para pessoas 😍

Acreditamos que, mais do que tecnologia, a transformação digital é sobre como as pessoas conduzem as mudanças nas empresas. E por entender isso, o fator humano é o que nos faz evoluir e modernizar processos.


Não é somente mais uma oportunidade ... e sim um convite para você fazer parte dessa história. Estamos entre as 50 melhores empresas para se trabalhar no Rio de Janeiro, de acordo com o ranking da GPTW.


Na iblue Consulting você vai trabalhar com uma equipe multidisciplinar, que é responsável por alavancar o crescimento do negócio através das nossas pessoas. 🚀


Essa oportunidade é híbrida, porém para candidatos com fácil acesso para cidade de Piracicaba/SP.




RESPONSIBILITIES AND ASSIGNMENTS

Como será o seu dia a dia 👩‍💻

Papéis e Responsabilidades:


Arquitetura de Dados:

  • Projetar e implementar arquiteturas Big Data em Nuvem (preferencialmente Azure).
  • Definir estratégias para organização e modelagem dos dados no Data Lake, garantindo sua integridade, segurança e governança.

Desenvolvimento de Pipelines de Dados:

  • Projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas utilizando ferramentas como Apache Spark, Airflow, Azure Data Factory;
  • Realizar processos de ingestão, limpeza, transformação e carga de dados de várias fontes para o Data Lake.

Integração com Machine Learning / Artificial Intelligence:

  • Colaborar com os cientistas de dados na preparação e disponibilização dos dados necessários para construção e treinamento de modelos de ML/AI;
  • Integrar pipelines de dados com ferramentas e serviços de ML/AI .

Configuração e Tuning do Airflow em Kubernetes (Azure ou AWS):

  • Configurar e gerenciar ambientes Airflow em Kubernetes, garantindo alta disponibilidade, escalabilidade e eficiência na execução de DAGs.
  • Realizar tuning avançado de DAGs do Airflow para otimizar o desempenho e a confiabilidade dos pipelines de dados.

Práticas de DevOps e MLOps:

  • Utilizar ferramentas como GitHub e Docker para construir e gerenciar repositórios de DataOps, facilitando o versionamento e a colaboração no desenvolvimento de pipelines de dados;
  • Apoiar os cientistas de dados na implementação de práticas de MLOps para garantir o monitoramento contínuo dos modelos de ML / AI em produção.

Colaboração e Comunicação:

  • Colaborar de forma eficaz com equipes multidisciplinares, incluindo analistas de requisitos, cientistas de dados, desenvolvedores e stakeholders;
  • Comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas, demonstrando o valor e o impacto dos insights gerados pela análise de dados.

REQUIREMENTS AND QUALIFICATIONS

O que esperamos de você 🧐
  • Graduação em Ciência da Computação, Engenharia, Estatística, Matemática, Física ou áreas relacionadas;
  • Desejável pós-graduação em áreas correlatas;
  • Experiência comprovada em projetos Big Data, Data Warehouse, Ciência de Dados, tendo a compreensão dos conceitos de Data Lake e Lake Warehouse, e experiência em projetar e implementar arquiteturas de armazenamento de dados eficientes para suportar análises Big Data;
  • Experiência em projetar, desenvolver e otimizar pipelines de dados escaláveis e tolerantes a falhas para processar, limpar, transformar e carregar dados de várias fontes para armazenamento e análise;
  • Profundo conhecimento em Python, Airflow e Big Data & Data Lake;
  • Experiência com configuração de ambiente Airflow em Kubernetes – AKS;
  • Habilidade para realizar tuning avançado de DAGs do Airflow;
  • Sólidos conhecimentos em construir pipelines de dados, escrever APIs, e realizar processos de data ingestion, cleansing e data preparation;
  • Experiência com GitHub e Docker para construção de repositórios de DataOps;
  • Conhecimento em MLOps para apoiar os Cientistas de Dados;
  • Colaborar efetivamente com equipes multidisciplinares, comunicar resultados complexos de forma clara e eficaz para partes interessadas não técnicas;
  • Experiência com manipulação de grandes volumes de dados;
  • Experiência com criação de especificação técnica e funcional;
  • Compreensão de metodologias Agile;
  • Sólidos conhecimentos em modelagem, desenvolvimento e monitoramento de processos.

ADDITIONAL INFORMATION

O que você terá do lado azul 🚀💙
CLT 👇
Programa de Saúde e Bem-Estar 🧘‍♀️🧘‍♂️
  • Plano de Saúde para você (cobertura nacional e sem carência);
  • Seguro de Vida Icatu;
  • Plano de Academias TotalPass.
Para apoiar o seu dia a dia 😁
  • Notebook de última geração;
  • Vale Transporte;
  • Cartão VR ou Flash - Vale Refeição: R$ 742,28 (média 22 dias úteis/mês)
  • Bônus por indicação de candidatos;
  • Bônus Anual de até um salário, de acordo com sua performance na avaliação de desempenho e atingimento de metas;
  • Convênio Financeira Creditas;
  • Se você é do Rio de Janeiro - Sexta é o dia Happy Hour a partir das 17h no nosso escritório.
Para sua carreira🚀
  • Avaliação de Desempenho Anual com PDI – Plano de Desenvolvimento Individual;
  • Reunião 1:1;
  • Treinamentos Udemy e SAS ; 
  • Certificações (AWS, Microsoft e IBM);
  • Parcerias educacionais (com possibilidade de ajuda de custo atrelado a sua avaliação de desempenho e PDI);
  • Trilha de carreira estruturada Y (aqui você pode escolher o caminho para ser Gestor ou Especialista)



COOPERADO (Prestador de Serviços) 👇
Para apoiar o seu dia a dia 😁
  • Notebook de última geração;
  • Vários pacotes de benefícios oferecidos pela cooperativa que você poderá escolher aquele que melhor se adequa a sua realidade;
  • Descanso remunerado de 15 dias;
  • Bônus por indicação de candidatos;
  • Se você é do Rio de Janeiro - Sexta é o dia Happy Hour a partir das 17h no nosso escritório.
  • Treinamentos; 
  • Certificações (AWS, Microsoft e IBM).


PJ (Prestador de Serviços) 👇
Para apoiar o seu dia a dia 😁
  • Notebook de última geração;
  • Bônus por indicação de candidatos;
  • Se você é do Rio de Janeiro - Sexta é o dia Happy Hour a partir das 17h no nosso escritório.
  • Treinamentos; 
  • Certificações (AWS, Microsoft e IBM).





Conheça nossa história

"O trabalho diz muito sobre você, porque você coloca energia e sentimento no que você faz” - Rafael D’Alessandro, CEO da iBlue.

 

Deixa-me fazer uma pergunta: Já sentiu como se algo estivesse faltando na sua carreira e que apesar de toda sua experiência em grandes empresas no mercado, ainda existe um déficit de energia, propósito e direção?


Esse incômodo fez com que o nosso fundador e CEO, Rafael D’Alessandro, unisse sua crença pessoal nas metodologias ágeis e na transformação digital, para arriscar seus mais de 20 anos de atuação no mercado de T.I e criar o que somos hoje.


A iBlue, uma consultoria digital, surge do desejo de formar uma empresa diferente, que acredita no fator humano como principal razão para alavancar resultados. Acreditamos no impacto grandioso de cada pequena decisão, gerada a partir de pessoas que buscam autonomia e sempre questionam processos a fim de otimizá-los.


Por aqui, empoderamos cada iBluer para que entendam o poder das microrrevoluções e absorvam que fomentar a inovação depende de cada pequeno ato, a fim de encontrar soluções, errar rápido, aprender com os erros e trabalhar em conjunto para alcançar o sucesso. 


Quer fazer parte do nosso mundo azul? #vemseriBluer 💙🚀


Required profile

Experience

Level of experience: Mid-level (2-5 years)
Spoken language(s):
Check out the description to know which languages are mandatory.

Soft Skills

  • Creative Problem Solving
  • Team Effectiveness
  • Collaboration

Data Engineer Related jobs