Python Data Engineer | Sênior

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

• Desenvolver, implementar e manter pipelines de dados robustos e escaláveis em ambiente AWS.
• Utilizar ferramentas como Amazon S3, Apache Airflow, Apache Kafka, DBT, Kubernetes e Snowflake.
• Realizar migração segura e eficiente de grandes volumes de dados e workloads para a AWS, garantindo integridade, segurança e mínima interrupção nos processos existentes.
• Criar scripts e processos automatizados com Airflow e DBT para orquestração, transformação e validação de dados.
• Monitorar e otimizar continuamente a performance dos pipelines, focando em desempenho e redução de custos operacionais.
• Colaborar com arquitetos de soluções, engenheiros e áreas de negócio para garantir entregas alinhadas com os requisitos técnicos e de compliance.
• Garantir a aplicação de boas práticas de DevSecOps na infraestrutura e nos fluxos de dados.
• 
  

  REQUIREMENTS AND QUALIFICATIONS

  
  

  
  

  • Experiência com migração de dados em larga escala para a AWS;
  • Experiência prática com serviços AWS (S3, EC2, EKS, Lambda, IAM, CloudWatch);
  • Experiência com orquestração de dados usando Apache Airflow e DBT;
  • Vivência com streaming de dados utilizando Apache Kafka;
  • Conhecimento em Snowflake e linguagem SQL;
  • Experiência com conteinerização e orquestração usando Docker e Kubernetes;
  • Conhecimento em infraestrutura como código com Terraform;
  • Experiência com versionamento e CICD usando GitHub ou GitLab;
  • Vivência com metodologias ágeis;
  • Conhecimento em segurança de dados e práticas de DevSecOps.

  • 
    

    
    

    
    

    
    

    
    

    Não possui todos os requisitos para a vaga?

    
    

    Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

    
    

    ADDITIONAL INFORMATION

    
    

    
    

    #remote

    remote

    
    

    DREAM BIG WHEN IT COMES TO TECHNOLOGY. BE A COMPASSER! 🚀

    
    

    Compass UOL is a global company that is part of AIR, which drives the transformation of organizations through Artificial Intelligence, Generative AI, and Digital Technologies.

    
    

    We design and build digitally native platforms using cuttingedge technologies to help companies innovate, transform businesses, and drive success in their markets. With a focus on attracting and developing the best talent, we create opportunities that improve lives and highlight the positive impact of disruptive technologies on society.

    
    

    Thats why our selection process goes beyond technical skills. Our goal is to find unique individuals with the potential to make an extraordinary impact on our clients.

    
    

    We empower talent without borders and promote knowledge and opportunities in the latest market trends, driving significant results.

    
    

    Join us and be part of the AIdriven digital revolution in the technology universe.

    
    

    
    

    HOW OUR SELECTION PROCESS WORKS

    
    

    1. ONLINE APPLICATION

    Choose the opportunity that best fits your goals. Remember: having a welldetailed profile with your experiences and knowledge can make all the difference!

    2. INTERVIEWS

    Learn about our culture and company! During interviews, be present and do your best to share your expertise in a chronological and structured way.

    3. EVALUATION

    Our tests and assessments focus on finding talent with the cultural and technical fit for the position applied for.

    4. FEEDBACK

    Wait for our response regardless of the result! We have Gupy platform feedback certification.