Engenheiro de Machine Learning - Ênfase em MLOPs

Desenvolvimento e Manutenção de Pipelines de Machine Learning

•             Projetar, construir e manter pipelines de ML eficientes e escaláveis, utilizando práticas de MLOps para automatizar e otimizar o ciclo de vida de modelos de machine learning.

•             Implementar e manter pipelines de integração contínua e entrega contínua (CI/CD) para aplicações de machine learning usando Jenkins, com scripts Groovy para automação.

•             Gerenciar a orquestração de containers com Kubernetes, assegurando a configuração, gerenciamento e otimização adequados dos recursos.

Desenvolvimento de Software

•             Desenvolver e manter API’s REST, scripts de ETL, e realizar manipulação e análise de dados utilizando Python, Pandas, e outras bibliotecas relevantes.

•             Escrever testes unitários e de integração, aplicando princípios SOLID para garantir código limpo, legível e manutenível.

•             Realizar troubleshooting e otimização de performance para as aplicações desenvolvidas.

Processamento e Análise de Dados

•             Utilizar Apache Spark para processamento eficiente de grandes volumes de dados, empregando técnicas de programação distribuída.

•             Executar consultas e manipulações complexas de dados em bancos de dados relacionais usando SQL, entendendo profundamente as operações de banco de dados.

Integração de Sistemas

•             Projetar e implementar filas de mensagem para facilitar a comunicação eficiente entre diferentes componentes e serviços, garantindo robustez e escalabilidade.

•             Administrar e otimizar ambientes de desenvolvimento e servidores baseados em Linux.

Gestão de Infraestrutura de Cloud

•             Gerenciar e otimizar recursos na nuvem, com foco em Azure e Google Cloud Platform, para suportar aplicações e pipelines de ML.

Monitoramento e Análise

•             Configurar e utilizar Prometheus e Grafana para monitorar e analisar o desempenho das aplicações e infraestrutura, facilitando a identificação de pontos de melhoria.

Experimentação e Gerenciamento de Modelos

•             Utilizar MLflow e Flyte para rastrear experimentos, gerenciar modelos de ML e automatizar fluxos de trabalho, contribuindo para a melhoria contínua dos modelos e processos.