Seguindo o combinado com vocês sobre o Roadmap MLOps 2024, depois de explicar os passos existentes em projetos de MLOps, hoje te convido para que entenda a etapa de desenvolvimento de MLOps. Primeiramente, vamos relembrar que o processo de MLOps, ou Machine Learning Operations, é uma prática que visa a colaboração e comunicação eficaz entre cientistas de dados e operações. Este processo pode ser dividido em três grandes fases, sendo: Desenvolvimento de Modelos, Publicação de Modelos e Monitoramento de Modelos.

Desenvolvimento de Modelos A fase de Desenvolvimento de Modelos é onde tudo começa. Aqui, os cientistas de dados usam técnicas de Machine Learning para criar modelos preditivos. Estes modelos são treinados com dados históricos, e o objetivo é que eles possam fazer previsões precisas quando forem alimentados com novos dados. Esta fase envolve uma série de etapas, incluindo a coleta e limpeza de dados, a seleção de um algoritmo de aprendizado de máquina, o treinamento do modelo e a avaliação de seu desempenho, entre outras etapas.

Publicação de Modelos Uma vez que um modelo foi desenvolvido e testado, ele está pronto para ser publicado. Na fase de deployment, o modelo é implantado em um ambiente de produção, onde pode começar a fazer previsões em tempo real. Esta fase requer uma estreita colaboração entre cientistas de dados e operações, para garantir que o modelo seja implantado com sucesso e que possa operar de forma eficiente e eficaz.

Monitoramento de Modelos A última fase do processo de MLOps é o Monitoramento de Modelos. Aqui, o desempenho do modelo é monitorado continuamente para garantir que ele continue a fazer previsões precisas. Se o desempenho do modelo começar a degradar, pode ser necessário re-treinar o modelo com novos dados, ou até mesmo desenvolver um novo modelo trocando o algoritmo… Contudo, como cada situação é única, fazer o acompanhamento contínuo é fundamental para que o projeto continue entregando valor para a área de negócios.

Cada uma dessas fases é crucial para o sucesso de um projeto de Machine Learning. No entanto, a fase de Desenvolvimento de Modelos é muitas vezes a mais complexa e demorada. É aqui que os cientistas de dados precisam aplicar sua expertise para desenvolver um modelo que não só faça previsões precisas, mas que também seja robusto e confiável. Portanto, é essencial que esta fase seja gerenciada de forma eficaz para garantir o sucesso do projeto como um todo.

Entenda a etapa de desenvolvimento de MLOps

1 – Acesso e Recuperação de Dados: A primeira etapa do desenvolvimento de MLOps envolve o acesso e a recuperação de dados. Os dados são a espinha dorsal de qualquer projeto de Machine Learning e, portanto, é crucial ter um sistema eficiente para acessar e recuperar esses dados.

3 – Feature Store: Em seguida, é a criação de um feature store. Este é um local centralizado onde as features de Machine Learning são armazenadas e gerenciadas. Ele permite que as equipes de ML reutilizem features entre projetos, melhorando a eficiência e a consistência. Fazendo uma analogia, é como se fosse um catálogo ou vitrine de features para reuso. Mas aqui vale destacar que a Feature Store, apesar de facilitar muito, não é obrigatoriamente um item em projetos de ML.

4 – Ambiente de desenvolvimento: O ambiente de desenvolvimento é onde a mágica acontece. Aqui, os cientistas de dados usam os dados e as features para desenvolver e treinar modelos de Machine Learning. É crucial ter um ambiente de desenvolvimento robusto e flexível para facilitar este processo.

8 – Armazenamento de Artefatos: Finalmente, temos o armazenamento de artefatos. Esta é (agora sim) a etapa final do processo de desenvolvimento de MLOps, onde os modelos treinados e outros artefatos de ML são armazenados para uso futuro.

Codificação

2 – Limpeza de dados: A limpeza de dados é uma atividade existente em todos projetos de ML, e faz parte da etapa de desenvolvimento de MLOps. Os dados brutos coletados podem conter erros, inconsistências ou lacunas que podem afetar a precisão dos modelos de Machine Learning. A limpeza de dados envolve a identificação e correção desses problemas, garantindo que os dados sejam precisos e completos antes de serem usados para treinar um modelo.

O post Roadmap MLOps 2024 – Desenvolvimento apareceu primeiro em Diego Nogare.

Antes de mais nada, vamos embarcar nessa jornada?

Vou aproveitar e compartilhar alguns posts que fiz recentemente, pois estão diretamente conectados a este assunto.

Jan/24 – MLOps e Engenharia de Machine Learning descomplicados

Jan/24 – Review do Livro “Machine Learning Engineering with Python – 2nd edition”

Fev/24 – Ferramentas e plataformas essenciais para projetos de IA e ML

Fev/24 – Melhores práticas para testar e monitorar modelos de ML

Fev/24 – Tendências em Engenharia de Machine Learning e MLOps em 2024

Fev/24 – Aprenda Engenharia de Machine Learning e MLOps online

Abr/24 – IA Ética, IA Responsável e Explicabilidade de IA

Ah, não posso deixar de dizer que MLOps e CRISP-DM são dois componentes fundamentais no desenvolvimento de modelos de machine learning. Enquanto o MLOps fornece a visão macro do processo, o CRISP-DM entra nos detalhes de cada etapa.

CRISP-DM

O MLOps, com as fases de desenvolvimento, implantação e monitoramento de modelos, fornece uma estrutura base para o ciclo de vida do modelo. Por outro lado, o CRISP-DM oferece uma metodologia detalhada para cada fase, desde a compreensão do negócio até a implantação do modelo. O paper do CRISP-DM foi publicado nos anos 2000, e os primeiros artigos de MLOps, por volta de 2015! É importante destacar que, independente da idade, eles se complementam perfeitamente!

Esta é a referência ao artigo original do CRISP-DM:

Shearer, C. (2000). The CRISP-DM model: the new blueprint for data mining. Journal of data warehousing, 5(4), 13-22.

O Cross-Industry Standard Process for Data Mining (CRISP-DM) é uma metodologia amplamente aceita que fornece uma estrutura para o desenvolvimento de modelos de machine learning. É um processo cíclico que consiste em seis fases: compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação. Cada fase tem um papel bem definido no desenvolvimento de modelos de ML, e sua importância edstá diretamente ligada a uma abordagem estruturada e iterativa. Ele permite que as equipes de dados compreendam melhor os problemas de negócios, preparem os dados de maneira adequada, construam modelos eficazes e os implantem com sucesso. Mesmo depois de mais de 20 anos, continua sendo uma metodologia valiosa para o desenvolvimento de modelos de ML.

Etapas macro de MLOps

O MLOps é um campo em rápida evolução, isso já venho falando há algum tempo… Espero que você também possa perceber isso. Em linhas gerais, pode-se dividir o processo de MLOps em três etapas, sendo: Desenvolvimento, Implantação e Monitoramento.

• Desenvolvimento: Esta é a primeira etapa do processo de MLOps e envolve a criação de modelos de machine learning. Durante esta fase, os cientistas de dados coletam e preparam os dados, selecionam os algoritmos apropriados, treinam o modelo e, finalmente, validam o modelo para garantir que ele esteja funcionando conforme o esperado. Esta etapa é crucial, pois a qualidade do modelo desenvolvido afeta diretamente o desempenho do sistema de machine learning;
• Implantação: Uma vez que o modelo é desenvolvido e validado, a próxima etapa é a implantação do modelo. Esta etapa envolve a integração do modelo em um sistema de produção existente, onde ele pode começar a fazer previsões (scoring do modelo). A implantação de modelos é um processo complexo que requer uma estreita colaboração entre as equipes de dados e engenharia para garantir que o modelo seja implementado corretamente e possa operar de forma eficiente e eficaz;
• Monitoramento: Após a implantação do modelo, a etapa final do processo de MLOps é o monitoramento/observabilidade do modelo. Esta etapa envolve o rastreamento contínuo do desempenho do modelo para garantir que ele continue a fornecer resultados precisos. Se o desempenho do modelo começar a degradar, o modelo pode precisar ser re-treinado com novos dados ou ajustado para melhorar seu desempenho. O monitoramento em si deve ser realizado durante todo o período do ciclo de vida do modelo, mas só depois de entrar em produção é que podemos começar a ter observabilidade da sua operação.

Próximos passos

Posso dizer que o processo CRISP-DM se encaixa perfeitamente nessas três etapas do MLOps. A fase de “compreensão do negócio” e “compreensão dos dados” do CRISP-DM se alinha com a etapa de desenvolvimento de modelos do MLOps. A fase de “modelagem” e “avaliação” do CRISP-DM coincide com a etapa de implantação de modelos do MLOps. Finalmente, a fase de “implantação” do CRISP-DM se conecta com a etapa de monitoramento de modelos do MLOps. Assim, o CRISP-DM e o MLOps juntos formam uma estrutura robusta e completa para o ciclo de vida de modelos de machine learning. Apesar de eu ter feito uma associação direta do monitoramento com a implantação, lembre-se que o monitoramento é contínuo e deve aparecer em todas as fases do CRISP-DM.

A combinação de MLOps e CRISP-DM oferece uma abordagem robusta e completa para o desenvolvimento de modelos de machine learning, lendo esse material, espero que você tenha uma melhor compreensão das etapas envolvidas e da importância de cada uma delas. Acompanhe os próximos posts para ver mais os desdobramentos e detalhes de cada etapa do Roadmap de MLOps em 2024.

Contudo, não se dê por satisfeito só com as postagens aqui, lhe convido a acompanhar estes livros:

Projetando sistemas de Machine Learning: processo interativo para aplicações prontas para produção, por Chip Huyen

Machine Learning Engineering with Python – Second Edition: Manage the lifecycle of machine learning models using MLOps with practical examples, de Andrew McMahon

Mãos à obra aprendizado de máquina com Scikit-Learn, Keras & TensorFlow: conceitos, ferramentas e técnicas para a construção de sistemas inteligentes

Estatística prática para cientistas de dados: 50 conceitos essenciais

Estatística: O que é, para que serve, como funciona.

Imagem de capa criada com IA pelo Bing. Utilizei o prompt: “Diagrama circular com três círculos um ao lado do outro, dividido em três segmentos principais representando Machine Learning em verde, Desenvolvimento em laranja e Operações em roxo, sem texto, com ícones de um cérebro, um computador com colchetes de código e uma pessoa sob um guarda-chuva, interconectados para representar o ciclo contínuo entre esses domínios” para a criação (o prompt entregou errado porque não era para ter texto e as cores não foram as que pedi, mas gostei do resultado).

O post Roadmap MLOps 2024 apareceu primeiro em Diego Nogare.