MLOps e Engenharia de Machine Learning descomplicados

Diego Nogare — Wed, 10 Jan 2024 12:00:23 +0000

Fala galera, hoje vamos falar sobre dois termos que estão revolucionando o mundo dos dados: Engenharia de Machine Learning (ML) e MLOps. Mas o que são esses termos e por que eles são tão importantes? Parece difícil, né? Mas não é, por isso estou descomplicando MLOps e Engenharia de ML neste texto com você!

A engenharia de Machine Learning e o MLOps estão se tornando cada vez mais importantes à medida que mais empresas começam a reconhecer o valor dos dados, mas com a combinação certa de habilidades em ciência de dados, engenharia de software e operações, os profissionais de ML estarão bem posicionados para liderar a próxima onda de inovações baseadas em dados.

Afinal, o que é a Engenharia de Machine Learning?

Em uma frase, podemos ver a engenharia de Machine Learning como a combinação da Ciência de Dados com a Engenharia de Software. Os engenheiros de ML são os responsáveis por projetar, construir e manter sistemas de ML que podem lidar com grandes volumes de dados, garantindo que os modelos de ML sejam precisos e eficientes.

E o MLOps, o que é?

MLOps, ou Machine Learning Operations, por sua vez, é uma prática que busca unificar ML, DevOps e Engenharia de Dados. O objetivo do MLOps é criar um fluxo de trabalho contínuo que inclua integração, teste, publicação, implantação e monitoramento de modelos de ML.

Por que MLOps e Engenharia de ML são importantes?

Com o aumento da quantidade de dados disponíveis e a necessidade de tomar decisões baseadas em dados, a demanda por sistemas de ML eficientes e escaláveis está crescendo. Neste sentido, MLOps e a engenharia de ML desempenham um papel crucial na construção desses sistemas, permitindo que as empresas aproveitem ao máximo seus dados.

Para dar mais contexto sobre oa ssunto, escrevi um texto aqui no blog sobre “Automatizar a publicação do seu modelo com MLOps” que pode ser lido aqui, e neste texto explico um pouco sobre o papel de MLOps para colocar modelos em produção. Também fiz um outro texto, no Medium do Itaú, explicando “Como é atuar na Engenharia de Machine Learning do Itaú?” que foi publicado aqui. Neste texto explico como é a área do banco, conto um pouco dos nossos desafios e comento quais são os assuntos técnicos esperados de alguém que queira ingressar nessa carreira dentro do banco.

Onde estudar?

Em 2023 eu fiz o curso “Machine Learning Engineering for Production (MLOps)” publicado pela DeepLearning.AI na Coursera. Este treinamento na verdade é uma especialização com 4 cursos (“Introdução ao Machine Learning em Produção”, “Ciclo de Vida dos Dados de Machine Learning em Produção”, “Pipelines de Modelagem de Machine Learning em Produção” e “Implantação de Modelos de Machine Learning em Produção”) que aprimoram as habilidades de colocar em produção modelos de aprendizado de máquina, você pode acessar o curso aqui. O curso aborda desde a ideação/concepção até a manutenção de sistemas integrados que operam de forma contínua em produção.

O curso é uma boa opção para aqueles que buscam aprofundar suas habilidades em EngML e MLOps, os exercícios práticos são feitos em Jupyter Notebooks disponibilizados pelos professores e você precisará fazer pequenos ajustes no código para rodar sua solução.

Mais recentemente, já em 2024, recebi o livro “Machine Learning Engineering with Python – 2nd Edition” da Packt Pub e foi escrito por Andrew P. McMahon. Enquanto escrevo este texto, a versão digital está na Amazon por um pouco mais de 200 reais. Ainda não terminei de ler o livro, mas ele parece ser um guia prático para EngML e MLOps que buscam construir soluções para problemas do mundo real. Ele aborda tópicos importantes de aprendizado de máquina, CI/CD e design de sistemas. O livro também explora o planejamento e gerenciamento de projetos de desenvolvimento de ML de ponta a ponta, com ênfase nas mais recentes tecnologias de código aberto e baseadas em nuvem. Nesta edição, em específico, tem um capítulo sobre Deep Learning, IA Generativa e LLMOps, assuntos que estão no hype neste momento. Para quem se interessar por essa temática, o livro ensina a usar ferramentas como LangChain, PyTorch e Hugging Face para seus LLMs.

O post MLOps e Engenharia de Machine Learning descomplicados apareceu primeiro em Diego Nogare.

Arquivos Engenharia de Software - Diego Nogare

MLOps e Engenharia de Machine Learning descomplicados

Afinal, o que é a Engenharia de Machine Learning?

E o MLOps, o que é?

Por que MLOps e Engenharia de ML são importantes?

Onde estudar?