Especialista em Engenharia de Dados

extra holidays - extra parental leave - fully flexible
Work set-up: 
Full Remote
Contract: 
Work from: 

Offer summary

Qualifications:

Experiência com PySpark, Airflow e AWS (S3, Glue, Athena, EC2)., Sólido conhecimento em SQL, Elasticsearch e Docker., Formação em áreas relacionadas à tecnologia ou ciência da computação., Conhecimento em controle de qualidade de dados, documentação e governança de dados..

Key responsibilities:

  • Desenvolver e manter pipelines de dados escaláveis usando PySpark e Airflow.
  • Projetar processos de ingestão e transformação de dados para o datalake.
  • Garantir a qualidade, documentação e governança dos dados e pipelines.
  • Colaborar com equipes de produto para assegurar a consistência dos dados.

Logcomex logo
Logcomex Computer Software / SaaS Scaleup https://www.logcomex.com/
201 - 500 Employees
See all jobs

Job description

JOB DESCRIPTION

A Logcomex é uma empresa de tecnologia que oferece conjuntos de soluções que transformam o dia a dia no comércio exterior. Nosso objetivo é ser o sistema operacional do comércio exterior para as empresas da América Latina.


Em 2024, fomos reconhecidos pelo sexto ano consecutivo como uma das Melhores Empresas para se Trabalhar (GPTW)!


Alcançamos o 21º lugar no ranking das melhores empresas para se trabalhar no Paraná e o 65º lugar entre as melhores empresas de tecnologia para se trabalhar no Brasil. Um feito incrível que reflete nosso compromisso com um ambiente de trabalho excepcional!


Estamos comprometidos em promover uma cultura de respeito, humildade e colaboração, onde você pode ser quem é. Acreditamos que as experiências fortalecem nosso trabalho em equipe, compartilhando conhecimentos e habilidades.


Para nós, a tecnologia é a ferramenta que conecta o mundo e, como referência no que fazemos, queremos ter pessoas extraordinárias com a gente, para transformar a maneira que as empresas fazem o Comércio Exterior!


Bora?


RESPONSIBILITIES AND ASSIGNMENTS


  • Desenvolver e manter pipelines de dados robustos, escaláveis e testáveis utilizando PySpark e Airflow.
  • Projetar e implementar processos de ingestão e transformação de dados para alimentar o datalake em arquitetura de camadas (Bronze, Silver, Gold).
  • Atuar com controle de qualidade de dados, documentação e gestão de linhagem utilizando OpenMetadata.
  • Trabalhar em conjunto com os squads de produto e captura para garantir a consistência e cobertura dos dados.
  • Garantir a governança de dados, versionamento e auditoria das pipelines em produção.
  • Otimizar rotinas de ETL/ELT e desempenho de queries em bancos relacionais, data warehouses e motores como Elasticsearch e Athena.

REQUIREMENTS AND QUALIFICATIONS

Procuramos pessoas com conhecimento em...


  • PySpark
  • Apache Airflow
  • AWS S3, Glue, Athena, EC2
  • SQL (Athena, PostgreSQL),
  • Elasticsearch/OpenSearch
  • Docker
  • Pandas
  • Jupyter
  • Unix (Linux), Bash
  • DBT



Será legal se você conhecer...


  • Glue
  • Delta Lake
  • Kubernetes
  • NoSQL
  • Elasticsearch
  • Airbyte

ADDITIONAL INFORMATION

Nossos Benefícios: 

🍽️ Benefícios Caju no valor fixo de R$2.300,00 mês (CWB e RMC) ou R$ 1.840,00 (Demais regiões) (alimentação, mobilidade, saldo livre e auxílio home office);

🧪Plano de saúde Unimed ou Amil com abrangência Nacional;

🦷 Plano odontológico Odontoprev;

❤️ Seguro de vida - Metlife;

🏊‍♀️ Wellhub;

🧠 Keikein (plataforma de apoio psicológico);

💊 Convênio farmácia Panvel;

🤰 Licença maternidade e paternidade estendida pelo Programa Empresa Cidadã; 

👩‍🎓 Subsídio para desenvolvimento, em parceria com a Unico Skill, que oferece diversas opções de graduação, pós-graduação, idiomas, mentorias, etc;

🤓 Aulas de inglês particulares para liderança e especs nível II para cima;

📚 Auxilio Escola/Educação.


Mimos: (sim, porque somos destes!)

🍎 Frutas frescas, cookies, café, chá e energéticos disponíveis a qualquer momento;

🎉 Happy hours, eventos de integração e team buildings;

✈️ Viagens para o escritório dos Loggers de fora são custeadas pela empresa;

🤝 Parceria com Market 4U e KÜK Station para oferecer o melhor aos nossos Loggers em dia de escritório;

👔 Sem dress code: aqui você pode ser você e usar o que te deixa mais confortável;

🎮 Ambiente descontraído, cheio de desafios e campeonatos de videogame; Rede de descanso para um respiro no meio da correria do dia

📚 Biblioteca da Log com livros incríveis para todos os Loggers se desenvolverem;

💆 Massagem in company;

🏝️ Day-off de aniversário;

🎁 Presente de aniversário;

🏆 Presentes incríveis a cada ano de Logger;

🤝Recruta Loggers (programa de indicação com bonificação $).


Nossa tecnologia conecta. Venha fazer parte dessa transformação.

Aqui na Logcomex nossa missão é transformar a maneira que as empresas fazem o comércio exterior. Somos o sistema operacional do comércio exterior das empresas da América Latina, oferecendo soluções inteligente para toda a cadeia do supply chain. Mas, antes de conectar fronteiras, precisamos conectar pessoas! Estamos transformando o comércio exterior e, para fazer isso, precisamos de um time comprometido em inovar com a gente. Sabemos também que para inovar, é essencial ter uma cultura forte que possibilita um ambiente transparente e colaborativo. Um lugar em que podemos sugerir, errar, aprimorar, ouvir, ensinar e assim chegar mais longe.


Quer fazer parte da nossa transformação? Então corre lá se inscrever para participar dos nossos processos seletivos!


Required profile

Experience

Industry :
Computer Software / SaaS
Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Data Engineer Related jobs