Data Engineer Databricks | MidSenior

JOB DESCRIPTION

.

RESPONSIBILITIES AND ASSIGNMENTS

• Otimização de Pipelines de Dados: Desenvolver, ajustar e otimizar pipelines de dados, garantindo o processamento eficiente de grandes volumes de informações utilizando Apache Spark e Databricks para análise de dados em tempo real e em larga escala.
• Gestão de Processos de Ingestão de Dados: Configurar e gerenciar processos de ingestão de dados utilizando Azure Data Factory, Fivetran, e outras ferramentas, desde fontes internas e externas até o Data Lake.
• Garantia de Qualidade e Segurança dos Dados: Implementar boas práticas de governança de dados, assegurando a qualidade, segurança e integridade dos dados, além de aplicar controles para compliance com regulamentações e políticas internas.
• Monitoramento e Performance: Realizar monitoramento contínuo das plataformas e pipelines, ajustando os processos para garantir alta performance e escalabilidade dos dados. Ajustes serão feitos com base em indicadores de desempenho e tendências de uso.
• Colaboração Multidisciplinar: Trabalhar em conjunto com equipes de negócios, infraestrutura e análise de dados para identificar oportunidades de melhoria, implementar soluções eficientes e garantir que os requisitos de dados sejam atendidos com eficácia.
• Documentação e Procedimentos: Elaborar e manter atualizada a documentação de procedimentos, arquiteturas e fluxos de trabalho de dados, facilitando a compreensão e a continuidade dos processos de ingestão e análise de dados.
• Suporte e Sustentação de Dados: O profissional terá um papel ativo na sustentação de dados, realizando atividades de suporte e manutenção das infraestruturas de dados, solucionando problemas, monitorando falhas e realizando ajustes nas soluções existentes para garantir a continuidade operacional. A sustentação envolve a análise e a correção de incidentes, a garantia da disponibilidade das plataformas e a melhoria contínua dos processos.
• 
  

  REQUIREMENTS AND QUALIFICATIONS

  
  

  Linguagens e Ferramentas:

  • SQL: Domínio em bancos de dados relacionais e consultas avançadas.
  • ETL: Experiência com processos ETL.

  • Diferencial em ambientes Cloud, utilizando ferramentas como Azure Data Factory, Fivetran, Apache Spark, e Databricks.

    • Python: Para automação, manipulação e transformação de dados.
    • Apache Spark: Experiência no processamento de grandes volumes de dados distribuídos.
    • Azure: Conhecimento em Azure Data Lake, Azure Data Factory, Azure Synapse Analytics e outras ferramentas da plataforma.
    • Fivetran: Experiência com integração de dados utilizando Fivetran para automatizar a ingestão de dados de diversas fontes (como sistemas SaaS, bancos de dados, APIs, etc.) para Data Warehouses ou Data Lakes.

    • 
      

      Orquestração de Fluxos de Dados:

      • Experiência com Airflow e ControlM para orquestração e automação de pipelines.

      • 
        

        Containers e Orquestração de Containers:

        • Experiência com Docker e plataformas de orquestração como Kubernetes, para garantir a portabilidade e escalabilidade das aplicações de dados.

        • 
          

          Governança e Arquitetura de Dados:

          • Conhecimento em governança de dados, modelagem de dados e implementação de arquitetura de dados escaláveis.

          • 
            

            Monitoramento de Sistemas:

            • Ferramentas para monitoramento de performance de sistemas de dados e pipelines como Prometheus, Grafana, Azure Monitor ou similares.

            • 
              

              Não possui todos os requisitos para a vaga?

              
              

              Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

              
              

              ADDITIONAL INFORMATION

              
              

              Turno de Madrugada;

              Escala de Plantão;

              
              

              #remote

              remote

              
              

              DREAM BIG WHEN IT COMES TO TECHNOLOGY. BE A COMPASSER! 🚀

              
              

              Compass UOL is a global company that is part of AIR, which drives the transformation of organizations through Artificial Intelligence, Generative AI, and Digital Technologies.

              
              

              We design and build digitally native platforms using cuttingedge technologies to help companies innovate, transform businesses, and drive success in their markets. With a focus on attracting and developing the best talent, we create opportunities that improve lives and highlight the positive impact of disruptive technologies on society.

              
              

              Thats why our selection process goes beyond technical skills. Our goal is to find unique individuals with the potential to make an extraordinary impact on our clients.

              
              

              We empower talent without borders and promote knowledge and opportunities in the latest market trends, driving significant results.

              
              

              Join us and be part of the AIdriven digital revolution in the technology universe.

              
              

              
              

              HOW OUR SELECTION PROCESS WORKS

              
              

              1. ONLINE APPLICATION

              Choose the opportunity that best fits your goals. Remember: having a welldetailed profile with your experiences and knowledge can make all the difference!

              2. INTERVIEWS

              Learn about our culture and company! During interviews, be present and do your best to share your expertise in a chronological and structured way.

              3. EVALUATION

              Our tests and assessments focus on finding talent with the cultural and technical fit for the position applied for.

              4. FEEDBACK

              Wait for our response regardless of the result! We have Gupy platform feedback certification.