Offer summary

Qualifications:

Bachelor's degree in Computer Science, Engineering, or related field., Proficiency in Java, Scala, Spark, MySQL, PostgreSQL, SQL, and Python., Experience with AWS and Microsoft Azure Cloud Services., Familiarity with Data Lake architecture and frameworks like Delta Lake, Hudi, or Iceberg..

Key responsabilities:

Evolve the data platform architecture to meet business technology strategies.

Develop large-scale Data Lake/Lakehouse solutions using Spark.

Design and implement scalable data solutions and data pipelines.

Collaborate with Data Science and QA teams to define and launch new features.

Job description

Quem é o candidato que procuramos:

Estamos à procura de um Engenheiro de Plataforma de Dados Sênior para se juntar à nossa equipe. Nosso objetivo é ser o líder da próxima geração de software de CRM para o varejo, lidando com milhões de shoppers distribuídos em centenas de clientes em todo o Brasil.
Ajudar nossos clientes a encantar e entregar as melhores ofertas para seus shoppers, nos traz o desafio de interagir e analisar com terabytes de dados, utilizando as últimas técnicas de analytics, superando diariamente os desafios tecnológicos. Nos preocupamos com a cultura de desenvolvimento, comunicação, qualidade do código e troca de conhecimento como práticas básicas de uma equipe feliz e sagaz. Algumas das tecnologias que estamos usando: Java, Scala, Spark, MySQL, Postgresql, SQL, Python, AWS Cloud Services (S3, EMR, Lambda, StepFunctions, Athena, Glue Data Calalog, Dynamodb, Kinesis, SQS, SNS, EC2, ECS, EKS, Fargate e Redshift), Microsoft Azure Cloud Services (Data Factory, Analysis Services, Synapse Analytics, Azure Data Lake), Databricks, Desenvolvimento de ETL as a Code.

Principais conhecimentos

Ajudar-nos a evoluir a arquitetura da plataforma de dados, para fornecer uma solução de melhoria contínua da melhor forma possível para as necessidades da estratégia de tecnologia da empresa;
Desenvolvimento de Data Lake / Lakehouse em larga escala utilizando Spark;
Experiência de trabalho com o Frameworks para Lakehouse: Delta Lake, ou Hudi, ou Iceberg;
Projetar Plataformas de Dados (DW, ou DM, ou Data Quality, ou Data Lake e ou Lakehouse) como Soluções estruturantes para escalabilidade de Negócio;
Projetar Data Pipelines conjugados a processos de: Linhagem de Dados, Camadas Semânticas e Catálogo de Dados;
Projetar e implementar soluções de dados escaláveis e eficientes para atender às necessidades de negócios;
Colaborar com orientação técnica aos colegas;
Colaborar com as equipes de Ciência de Dados e QA para definir, projetar e lançar novos recursos para servir modelos que suportem produtos de inteligência;
Revisão o código dos colegas, forneça feedback construtivo e garanta a aderência às práticas recomendadas;
Participação ágil em cerimônias, no que diz respeito à identificação e resolução de débitos técnicos;
Manter-se atualizado com as tendências e tecnologias emergentes, trazendo novas ideias e insights para a equipe;