Arquivos EngML - Diego Nogare

Review do Livro “Machine Learning Engineering with Python – 2nd edition”

Diego Nogare — Tue, 16 Jan 2024 01:30:31 +0000

Review do livro “Machine Learning Engineering with Python – 2nd Edition“, que foi escrito por Andrew P. McMahon e publicado pela Packt Pub. Neste livro você aprenderá sobre MLOps e como trabalhar de forma efetiva com o ciclo de vida de modelos de Machine Learning.

O livro e seus capítulos

Quero compartilhar minhas impressões, mas já destaco que é uma leitura completa para entusiastas de MLOps e EngML. Para evitar dúvidas quanto à terminologia, escrevi sobre a diferença destes termos aqui neste post.

Com uma abordagem direta, o livro ensina de forma prática como gerenciar o ciclo de vida de modelos de aprendizado de máquina usando técnicas de MLOps. O livro é organizado em 9 capítulos e aborda conceitos técnicos, padrões de implementação com boas práticas e metodologias de desenvolvimento de modelos.

Vamos aos capítulos…

Cap 1 – Introdução à Machine Learning Engineering

Este capítulo discuti um pouco sobre as carreiras e disciplinas de Ciência de Dados, Engenharia de Dados, Engeharia de ML e Engenharia de MLOps. Discute sobre trabalhar de forma efetiva com um time multidisciplinar, além de apresentar desafios do mundo real e compartilha padrões de desenvolvimento e boas práticas para serem seguidas;

Cap 2 – Processo de desenvolvimento de Machine Learning

Aqui passa um pouco sobre o CRISP-DM (Cross Industry Standard Process for Data Mining), além de ajudar a montar o setup necessário para desenvolver soluções de EngML com Python;

Cap 3 – Do modelo para a Fábrica de Modelos

Aborda as etapas necessárias para construir as pipelines de desenvolvimento, aprofundando em cada estágio apresentado. Explica as fases de definição dos ambientes, escolha e definição das variáveis, treino e retreino do modelo, persistência e serving (ainda não consegui usar um termo em Português mais apropriado do que o termo original em Inglês para o Serving) do modelo;

Cap 4 – Empacotando a aplicação (prefiro o termo original “Packaging”, mas empacotamento funciona aqui)

Aqui o autor dedica bastante tempo para trabalhar com boas práticas de Python e como isso pode lhe ajudar a desenvolver suas pipelines mais otimizadas;

Cap 5 – Publicando padrões e ferramentas

São discutidas boas práticas e padrões de projetos para desenvolvimento de projetos de Machine Learning, deem uma atenção especial à este capítulo. O texto cobre assuntos como microsserviços, containerização, mas também discute ferramentas de mercado como Airflow, ZenML e Kubeflow. O capítulo é concluído com uma discussão estratégica para a publicação do seu projeto;

Cap 6 – Escalando a aplicação

Também é um assunto importante, porque escalabilidade reflete diretamente no quanto seu ambiente atenderá os clientes e também o quanto isso vai custar no fim do mês. Neste capítulo são discutidos tópicos sobre desenho de soluções e alternativas de cloud computing para atender a demanda do projeto, mas sem gastar uma fortuna;

Cap 7 – Deep Learning, Generative AI e LLMOps

Posso estar sendo muito injusto, mas aqui eu arrisco dizer que este capítulo entrou no livro por questões de timing. Até novembro/2022 quando a OpenAI lançou o ChatGPT, eram poucos projetos que se mostravam relevantes para esse tipo de tecnologia. Porém, após o lançamento do ChatGPT e a facilidade de uso para o publico fora do nicho de LLM, a busca por este tema cresceu muito. Inclusive, estes assuntos de Generative AI estão no Hype não só nas publicações de redes sociais, mas também em discussões estratégicas em empresas e congressos científicos.

É apresentado uma introdução à Deep Learning com PyTorch e fine-tuning. Em seguida introduz o assunto de LLM (Large Language Model) e finaliza o capítulo com a explicação de como funciona uma pipeline de LLM Operation.

Cap 8 – Construindo um modelo com Microsserviços e 9 – Construindo um caso de uso de ETML

Aqui tomei a liberdade de juntar os dois capítulos que, na minha interpretação, seguem um propósito muito parecidos. No capítulo 8 é discutido como construir sua solução a partir de peças e arquitetura de microsserviços, mas no capítulo 9 são discutidas as tarefas para se fazer no ETML (Extract, Tranform and Machine Learning).

Confesso que foi aqui primeira vez que li sobre o assunto com o nome de ETML.

O porque eu juntei os dois capítulos? Porque os dois tratam de casos de uso, no capítulo 8 é um estudo de Forecasting, mas no capítulo 9 é um estudo de Processamento Batch.

Minha opinião

Na minha opinião é um material útil para aprender ou aprimorar suas habilidades em EngML com Python. O livro oferece uma visão geral, porém prática e aplicada, de como criar soluções robustas e escaláveis com ML usando ferramentas e técnicas modernas, incluindo soluções Open Source e também de Cloud Computing.

No geral recomendo a leitura para quem se interessa pelo assunto, a versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto. Para mim, os capítulos que discutem arquitetura, boas práticas e padrões de projetos são os que me chamaram mais atenção.

No site da Packt Pub, o livro digital está em promoção por apenas 10USD, aproveite enquanto está disponível nessa promoção: https://www.packtpub.com/product/machine-learning-engineering-with-python-second-edition/9781837631964

MLOps – Ciclo de vida de modelos

No Github da editora você pode acompanhar os códigos do livro e criar seus projetos envolvendo o ciclo de vida de modelos.

Bons estudos!

2024 e eu ainda não me adaptei com eBooks, só consigo ler livros físicos… vai entender!

Eu segurando o livro físico “Manchine Learning Engineering with Python – 2nd edition”

O post Review do Livro “Machine Learning Engineering with Python – 2nd edition” apareceu primeiro em Diego Nogare.

MLOps e Engenharia de Machine Learning descomplicados

Diego Nogare — Wed, 10 Jan 2024 12:00:23 +0000

Fala galera, hoje vamos falar sobre dois termos que estão revolucionando o mundo dos dados: Engenharia de Machine Learning (ML) e MLOps. Mas o que são esses termos e por que eles são tão importantes? Parece difícil, né? Mas não é, por isso estou descomplicando MLOps e Engenharia de ML neste texto com você!

A engenharia de Machine Learning e o MLOps estão se tornando cada vez mais importantes à medida que mais empresas começam a reconhecer o valor dos dados, mas com a combinação certa de habilidades em ciência de dados, engenharia de software e operações, os profissionais de ML estarão bem posicionados para liderar a próxima onda de inovações baseadas em dados.

Afinal, o que é a Engenharia de Machine Learning?

Em uma frase, podemos ver a engenharia de Machine Learning como a combinação da Ciência de Dados com a Engenharia de Software. Os engenheiros de ML são os responsáveis por projetar, construir e manter sistemas de ML que podem lidar com grandes volumes de dados, garantindo que os modelos de ML sejam precisos e eficientes.

E o MLOps, o que é?

MLOps, ou Machine Learning Operations, por sua vez, é uma prática que busca unificar ML, DevOps e Engenharia de Dados. O objetivo do MLOps é criar um fluxo de trabalho contínuo que inclua integração, teste, publicação, implantação e monitoramento de modelos de ML.

Por que MLOps e Engenharia de ML são importantes?

Com o aumento da quantidade de dados disponíveis e a necessidade de tomar decisões baseadas em dados, a demanda por sistemas de ML eficientes e escaláveis está crescendo. Neste sentido, MLOps e a engenharia de ML desempenham um papel crucial na construção desses sistemas, permitindo que as empresas aproveitem ao máximo seus dados.

Para dar mais contexto sobre oa ssunto, escrevi um texto aqui no blog sobre “Automatizar a publicação do seu modelo com MLOps” que pode ser lido aqui, e neste texto explico um pouco sobre o papel de MLOps para colocar modelos em produção. Também fiz um outro texto, no Medium do Itaú, explicando “Como é atuar na Engenharia de Machine Learning do Itaú?” que foi publicado aqui. Neste texto explico como é a área do banco, conto um pouco dos nossos desafios e comento quais são os assuntos técnicos esperados de alguém que queira ingressar nessa carreira dentro do banco.

Onde estudar?

Em 2023 eu fiz o curso “Machine Learning Engineering for Production (MLOps)” publicado pela DeepLearning.AI na Coursera. Este treinamento na verdade é uma especialização com 4 cursos (“Introdução ao Machine Learning em Produção”, “Ciclo de Vida dos Dados de Machine Learning em Produção”, “Pipelines de Modelagem de Machine Learning em Produção” e “Implantação de Modelos de Machine Learning em Produção”) que aprimoram as habilidades de colocar em produção modelos de aprendizado de máquina, você pode acessar o curso aqui. O curso aborda desde a ideação/concepção até a manutenção de sistemas integrados que operam de forma contínua em produção.

O curso é uma boa opção para aqueles que buscam aprofundar suas habilidades em EngML e MLOps, os exercícios práticos são feitos em Jupyter Notebooks disponibilizados pelos professores e você precisará fazer pequenos ajustes no código para rodar sua solução.

Mais recentemente, já em 2024, recebi o livro “Machine Learning Engineering with Python – 2nd Edition” da Packt Pub e foi escrito por Andrew P. McMahon. Enquanto escrevo este texto, a versão digital está na Amazon por um pouco mais de 200 reais. Ainda não terminei de ler o livro, mas ele parece ser um guia prático para EngML e MLOps que buscam construir soluções para problemas do mundo real. Ele aborda tópicos importantes de aprendizado de máquina, CI/CD e design de sistemas. O livro também explora o planejamento e gerenciamento de projetos de desenvolvimento de ML de ponta a ponta, com ênfase nas mais recentes tecnologias de código aberto e baseadas em nuvem. Nesta edição, em específico, tem um capítulo sobre Deep Learning, IA Generativa e LLMOps, assuntos que estão no hype neste momento. Para quem se interessar por essa temática, o livro ensina a usar ferramentas como LangChain, PyTorch e Hugging Face para seus LLMs.

O post MLOps e Engenharia de Machine Learning descomplicados apareceu primeiro em Diego Nogare.