Achei o timinig perfeito para essa publicação… Atualmente as empresas buscam não apenas implementar soluções de IA, mas também integrá-las de forma estratégica para gerar inovação, eficiência e, consequentemente, crescimento. Entender os desafios do que se espera de uma pessoa nesta posição pode ser o diferencial que irá separar as empresas que fazem tech-by-tech das que realmente trazem retorno de valor alinhado com os objetivos estratégicos para os negócios.

The Chief AI Officer’s Handbook

O livro tem 17 capítulos e está dividido em 4 partes (nesta obra são partes explícitas).

Ele não se destina apenas aos que já ostentam o novo título de CAIO. Seu público alvo pode ser mais vasto e diversificado, atingindo desde líderes de negócios e executivos que buscam compreender o potencial transformador da IA, até profissionais de dados e gerentes de TI que agora também estão com responsabilidades pela implementação de projetos de IA nas empresas. Embora um conhecimento básico sobre IA e negócios seja útil, o autor apresenta os conceitos de forma acessível. Isso é interessante porque dá acesso ao conteúdo, para executivos não técnicos, permitindo que possam entender o assunto.

Parte 1 – Papéis e responsabilidades do Chief AI Officer

Cap 1 até 4 – A primeira parte do livro estabelece a fundação, onde o autor argumenta que o CAIO não é um luxo, mas uma necessidade estratégica na economia atual (se você procurar por CAIO no linkedin, vai ver o tanto de gente que a busca retorna).

Esta seção define o CAIO como a ponte entre o potencial técnico da IA e os objetivos de negócio. Alinha as responsabilidades que vão além da tecnologia, abrangendo inclusive a evangelização da cultura de IA, a gestão de stakeholders e a definição de uma visão clara para alinhar toda a empresa. A partir da definição do papel para a ação, o livro oferece um framework para criar uma estratégia de IA que seja um roteiro acionável, mas alinhado ao crescimento. Mostra ênfase na identificação de oportunidades de alto impacto. A obra aborda o desafio humano de como recrutar, reter e estruturar o talento certo, inclusive o autor oferece conselhos práticos sobre a criação de equipes multidisciplinares, combinando cientistas de dados, engenheiros de ML, especialistas em negócios e governança.

Parte 2 – Construindo e implementando sistemas de IA

Cap 5 até 11 – Na segunda parte do livro, focada na execução, o autor começa com o ingrediente mais crítico: os dados. Ele explica a importância de uma estratégia robusta, com governança e qualidade.

Nesta parte a obra aborda a gestão de projetos de IA. Fala das metodologias tradicionais nem sempre se aplicam e, por isso, apresenta a agilidade e a capacidade de adaptação como competências chave para gerenciar o ciclo de vida dos projetos. O autor simplifica o entendimento dos diferentes tipos de IA, como a determinística, probabilística e a tão falada IA generativa. Com destaque para os sistemas de agentes e a agência de IA. Ao ler você irá passar por todo processo prático de design, treinamento e, finalmente, a implantação das soluções, mantendo o foco em criar sistemas que não são apenas tecnicamente aceitáveis, mas também human-centric e que resolvam problemas reais de negócio.

Parte 3 – Governança, ética, segurança e compliance

Cap 12 até 15 – A parte final do livro aborda, o que talvez seja, o conjunto de desafios mais complexo para qualquer líder de IA: manter governança e ética.

O autor explora como desenvolver e implementar guardrails para garantir que a IA seja usada de forma justa, transparente e sem vieses. Apresenta a governança não como um obstáculo, mas como um facilitador da inovação responsável. Estes capítulos finais se aprofundam nos pilares da confiança, onde a segurança dos sistemas de IA, a proteção da privacidade dos dados em uma era de modelos massivos e a conformidade com um cenário regulatório em constante mudança são discutidos em detalhe. Por fim, trás orientações sobre como incorporar essas preocupações desde a ideação dos projetos de IA.

Parte 4 – Empoderando a liderança de IA com insights e ferramentas

Cap 16 e 17 – Esta parte não é tão essencial, inclusive, para mim, eliminaria da versão final do livro.

Nesta parte o autor trás um capítulo resumo do que já escreveu anteriormente, com obviedades dos projetos e seus alinhamentos com o negócio. E por fim, um glossário de termos, recomendações de leituras adicionais e ferramentas de mercado.

My 2 cents

Posso dizer que o Livro “The Chief AI Officer’s Handbook”, pra mim, foi interessante. Principalmente por ver que o material do livro está bem alinhado com o VIA – Growth AI Factory. E isso, por si só, já me deixou bastante feliz.

É uma leitura rápida e interessante para qualquer profissional que pense em liderar a transformação da IA em sua organização. O material é tipo um manual robusto, prático e extremamente atual. Serve como uma catalizador para os desafios e oportunidades da economia impulsionada pela IA. Para os executivos que não são de TI, é uma janela de oportunidades para compreender a função que está surgindo.

O post Review do Livro “The Chief AI Officer’s Handbook” apareceu primeiro em Diego Nogare.

Pode-se considerar um guia completo, bem como, apresenta desde os fundamentos teóricos até a implementação de projetos práticos e relevantes no cenário atual da IA. Diferente da primeira edição (de 2021) que usava TensorFlow, esta nova versão foi totalmente atualizada para PyTorch, que é um dos frameworks mais populares em pesquisa e desenvolvimento de deep learning.

Aprenda a usar LLM com Python

O livro está dividido em 15 capítulos, e é possível identificar implicitamente (diferente de algumas obras da O’Reilly que são explícitos) os agrupamento sobre os tópicos dos capítulos. Coloquei a minha percepção de separação dos grupos e os capítulos dentro destas partes, mas lembre-se, isso é implícito e eu fiz a partir das vozes da minha cabeça.

Parte 1 – Fundamentos

Capítulo 1: Introduction to Generative AI: Drawing data from models

Este capítulo é a base de tudo. O mais interessante aqui é como os autores distinguem de forma clara os modelos generativos dos discriminativos, não apenas na teoria, mas mostrando o porquê de os modelos generativos serem tão poderosos para tarefas como aumento de dados e criação de conteúdo. Esta base estabelece o cenário para todo o resto do livro.

Capítulo 2: Building blocks of deep neural network

Para quem está assumindo que é um capítulo de NoCode/LowCode, contudo, pode mudar essa expectativa! Este capítulo faz o trabalho de um excelente nivelamento de conteúdo. Trás as Redes Neurais desde lá o princípio, explica a ideia do Perceptron e depois do Multi-Layer Perceptron. O ponto alto é que ele não se limita ao básico, mas avança rapidamente para arquiteturas mais robustas como Redes Neurais Convolucionais (CNNs) para visão computacional, e a arquitetura de Transformers, preparando o leitor com o ferramental teórico necessário para entender os modelos que são explicados nos capítulos seguintes.

Parte 2 – Operações com texto

Capítulo 3: The rise of method for text generation

Aqui a jornada prática na geração de texto começa. O interessante é ver a evolução, partindo das representações de palavras (com BagOfWords e Word2Vec) e chegando, principalmente, às redes LSTMs. O capítulo traz um projeto prático de um modelo de linguagem em nível de caractere, permitindo que o leitor sinta os desafios da geração de texto antes de saltar para os modelos mais complexos.

Capítulo 4: NLP 2.0: Using transformers to generate text

Este é um capítulo que desmistifica a tecnologia por trás dos LLMs. O foco, principalmente, é o mecanismo de atenção (attention) e como ele permitiu a criação da arquitetura Transformers. Explica sobre a arquitetura de Encoding, Decoding e Encoding-Decoding. Além disso apresenta aquela imagem conhecida da árvore de evolução dos modelos de NLP que tem no material de Yang et al. (2024).

Yang, J., Jin, H., Tang, R., Han, X., Feng, Q., Jiang, H., Zhong, S., Yin, B. and Hu, X., 2024. Harnessing the power of llms in practice: A survey on chatgpt and beyond. ACM Transactions on Knowledge Discovery from Data, 18(6), pp.1-32.

Que pode ser acessado diretamente em https://dl.acm.org/doi/full/10.1145/3649506

Tem alguns Hands-On para implementação usando modelos como BERT e GPT.

Parte 3 – Operações com LLMs

Capítulo 5: LLM Foundations

Aqui o livro mergulha nos Large Language Models. O ponto de interesse é a abordagem prática de técnicas de treinamento avançadas, como o Instruction Fine-Tuning e o Reinforcement Learning with Human Feedback (RLHF), que são exatamente os métodos usados para refinar modelos como o ChatGPT, inclusive com hands-on pra estas duas técnicas. Há um projeto prático que mostra como aplicar o RLHF, o que é um diferencial enorme.

Capítulo 6: Open-Source LLMs

Este capítulo é relativamente atual (afinal, o livro é de Março/2025 e eu escrevo esse texto em Julho/2025) e relevante. Ele funciona como um guia prático pelo zoológico de LLMs open-source, como Llama, Mixtral e Falcon. O interessante é que ele não apenas lista os modelos, mas discute suas arquiteturas e pontos fortes, capacitando o leitor a escolher o modelo certo para seu projeto sem depender de APIs pagas.

Parte 3.1 – Técnicas para LLMs

Capítulo 7: Prompt Engineering

Mais do que apenas “como conversar com a IA”, este capítulo aborda a engenharia de prompts como uma disciplina técnica. O destaque vai para a exploração de técnicas avançadas como CoT (Chain-of-Thought – Cadeia de Pensamentos) e ReAct (Reasoning in Action – Raciocínio em Ação), mostrando como estruturar prompts para que os LLMs possam resolver problemas complexos passo a passo.

Capítulo 8: LLM Toolbocx

O ponto alto deste capítulo é a introdução à ferramentas que orbitam os LLMs, principalmente LangChain. Ele ensina DEvs a como construir aplicações complexas que integram LLMs com fontes de dados externas, criando sistemas mais especializados nos seus negócios com o uso de Retrieval-Augmented Generation (RAG).

Capítulo 9: LLM Optimization techniques

Treinar e rodar LLMs é caro (Muito caro! Já falei que treinar um LLM é muito caro?). Mas o grande valor deste capítulo é o foco em soluções práticas para este problema (Lembra, treinar um modelo de LLM é caro!). Ele explora técnicas de otimização de fine-tuning, como Parameter Efficient Fine Tuning (PEFT) e Low-Rank Approximation (LoRA), que permitem adaptar modelos enormes com muito menos recursos computacionais, tornando a tecnologia mais acessível para devs e pequenas empresas.

Parte 4 – Aplicações emergentes em GenAI

Capítulo 10: Emerging applications in Generative AI

Este capítulo começa a olhar para o futuro, contudo, trás uma discussão sobre para onde o esta disciplina está indo, explorando novos usos para os LLMs e os avanços que estão na fronteira da pesquisa. Ele serve como uma fonte de inspiração, mostrando o vasto potencial ainda inexplorado (segundo os autores) da IA Generativa.

Parte 5 – Manipulação de Imagens

Capítulo 11: Neural Networks using VAEs

Mudando o foco de texto para imagens, este capítulo apresenta os Variational Autoencoders (VAEs). O mais fascinante é entender como esses modelos aprendem a comprimir dados (como imagens) em uma representação latente e, em seguida, usam essa representação para gerar novos dados. É a base para muitas tarefas de geração e manipulação de imagens. Ah, não se assuste com a parte matemática, é importante para não achar que é tudo mágica!

Parte 5.1 – Gans

Capítulo 12: Image generation with GANs

As Generative Adversarial Networks (GANs) são uma das ideias mais elegantes em Machine Learning. Principalmente porque este capítulo explica a dinâmica de “competição” entre o gerador e o discriminador. Ele vai além da teoria, mostrando como implementar uma GAN na prática para gerar imagens realistas.

Se quiser ver uma GAN, com dígitos numéricos, dá uma olhada aqui no meu Github.

Capítulo 13: Style transfer with GANs

Este capítulo é interessante, dá pra fazer várias coisas divertidas com transferência de estilos em visão computacional. Os autores mostram, principalmente, uma aplicação com GANs para transferência de estilo. Você conseguirá criar um modelo que pode pegar o conteúdo de uma foto e, do mesmo modo, redesenhá-lo no estilo de um pintor famoso, como Van Gogh, uma demonstração visualmente impressionante do poder desses modelos. Ah, a discussão sobre direitos autorais não entra aqui no jogo!

Capítulo 14: Deep fake with GANs

Apesar do nome remeter à coisas ruins (principalmente por influência dos portais de notícias que vendem caos pra conseguir uns cliques a mais nas matérias), a tecnologia de deepfake tem aplicações legítimas. Este capítulo permite entender a arquitetura por trás da troca de rostos em vídeos. Ele aborda a tecnologia de forma teórica, mas, mostrando como as GANs são usadas para manipulação de imagem em um nível avançado e também discutindo as implicações éticas. Tem parte de código para você reproduzir no seu ambiente com GPUs.

Parte 5.2 – Arquitetura Diffusion

Capítulo 15: Diffusion modelos and AI art

Este capítulo aborda a tecnologia por trás de geradores de imagem como DALL-E 2 e arquitetura Stable Diffusion. Contudo, o mais interessante é desmistificar o processo de difusão, que funciona “destruindo” e depois “reconstruindo” uma imagem. Ele traz a teoria e a prática dos modelos que definem o estado da arte na geração de imagens no período de escrita do livro (publicado em março/2025).

Para encerrar

Minha impressão do livro é grande, principalmente, porque cobre muitas técnicas e apresenta código para reproduzir nos nossos ambiente. Com isso, você aprende a usar LLM com Python.  Apresenta técnicas para texto, bem como, para imagem.

A versão digital deste livro, na Amazon, está um pouco menos de R$200. Mas na Packt, você consegue comprá-lo por volta de R$80.

Bons estudos e que sua jornada de aprendizado seja tão enriquecedora quanto as soluções que você pode criar com IA Generativa!

O post Review do Livro “Generative AI with Python and PyTorch – 2nd edition” apareceu primeiro em Diego Nogare.

Se você está pensando em comprar este livro, ou está apenas curioso sobre seu conteúdo, leia até este post porque eu preparei um resumo do que esperar de cada capítulo.

Review dos capítulos do livro

São 13 capítulos, separados em 4 partes, além de dois apêndices:

Capítulo 1: Using LangChain with Google Cloud – Este capítulo estabelece a base, introduzindo o LangChain, seus pilares como chains e runnables (incluindo a LangChain Expression Language – LCEL), e os principais elementos para trabalhar com isso. Ele foca especificamente em como integrar e utilizar o LangChain com os serviços do Google Cloud, preparando o terreno para as aplicações práticas;

Capítulo 2: Foundational Models on Google Cloud – Aqui, o foco muda para os modelos de linguagem grandes (LLMs) disponíveis no ecossistema do Google Cloud, principalmente através do Vertex AI (como os modelos Gemini). Você aprenderá sobre o Vertex AI Model Garden, como usar templates de prompt, interagir com modelos de chat, utilizar callbacks e os fundamentos da engenharia de prompts para otimizar as respostas desses modelos;

Capítulo 3: Grounding Responses – Este capítulo aborda o desafio crítico das “alucinações” em LLMs. Ele introduz o conceito de Retrieval-Augmented Generation (RAG) como uma possível solução, explicando como funciona e como construir aplicações RAG customizadas, utilizando também o Vertex AI Agent Builder para criar DataStores e agentes que fornecem respostas baseadas em fontes de dados confiáveis;

Capítulo 4: Vector Search on Google Cloud – Fundamental para RAG, a busca vetorial é aprofundada neste capitulo. O texto explora o conceito de Vector Stores e embeddings, demonstrando como implementar e usar soluções de busca vetorial no Google Cloud, incluindo o Vertex AI Vector Search, PGVector (o PG vem do PostGres) no Cloud SQL e capacidades de busca vetorial no BigQuery;

Capítulo 5: Ingesting Documents – Para que o RAG funcione, os dados precisam ser ingeridos, processados e indexados. Este capítulo explica sobre as técnicas e ferramentas para ingestão de documentos usando LangChain (loaders, parsers, chunking), como aproveitar o Document AI do Google Cloud para análise de documentos mais complexa e como usar o Vertex AI Agent Builder para simplificar o processo de ingestão;

Capítulo 6: Multimodality – Indo além do texto, este capítulo explora as capacidades multimodais dos modelos mais recentes, como o Gemini. Você aprenderá como usar LangChain para processar e gerar conteúdo que combina texto e imagem, e potencialmente outros formatos, incluindo o uso do Imagen (modelo proprietário do Google para trabalhar com geração de imagem) e a construção de RAGs multimodais;

Capítulo 7: Working with Long Context – LLMs têm limitações quanto ao tamanho do contexto que podem processar. Este capítulo aborda estratégias para lidar com documentos longos, como diferentes técnicas de sumarização e métodos para realizar perguntas e respostas (Q&A) sobre textos extensos sem perder informação crucial;

Capítulo 8: Building Chatbots – Este capítulo foca na criação de interfaces conversacionais. Abrange conceitos essenciais como gerenciamento de memória de conversa, diferentes tipos de memória e como construir chatbots que podem interagir de forma coerente ao longo de múltiplas trocas de mensagens, inclusive integrando RAG para respostas mais informadas;

Capítulo 9: Tools and Function Calling – Aqui é explorado como capacitar LLMs a interagir com o mundo exterior. O capítulo ensina como definir e usar “ferramentas” (APIs, bancos de dados, etc.) que o LLM pode invocar para obter informações atualizadas ou executar ações, um conceito crucial para agentes autônomos;

Capítulo 10: Agents – Este capítulo mergulha no conceito de agentes de IA generativa. Explica o que são, os diferentes tipos (como ReAct, Plan-and-Execute), como eles usam LLMs para raciocinar e tomar decisões, e como construí-los usando LangChain para realizar tarefas complexas de forma autônoma;

Capítulo 11: Agentic Workflows – Expandindo o capítulo anterior, este aborda como orquestrar múltiplos agentes ou etapas complexas de raciocínio. Cobre tópicos como planejamento, decomposição de tarefas e explica como criar sistemas mais sofisticados onde agentes que colaboram ou seguem fluxos de trabalho predefinidos (fala superficialmente sobre o LangGraph);

Capítulo 12: Evaluating GenAI Applications – Construir o modelo é apenas uma parte do desafio; avaliar sua performance é essencial. Este capítulo discute métricas e técnicas para avaliar a qualidade, precisão, segurança e desempenho de aplicações de IA generativa, um passo essencial antes de levar para produção;

Capítulo 13: Generative AI System Design – Este capítulo oferece uma visão de mais alto nível sobre o design de sistemas complexos de IA generativa, considerando escalabilidade, confiabilidade, custos e integração com a infraestrutura existente no Google Cloud.

Apêndice 1  – Overview of Generative AI – Este apêndice funciona como um nivelamento conceitual, ideal para quem busca solidificar ou revisar os fundamentos da IA Generativa antes de mergulhar nas implementações práticas com LangChain e Google Cloud. Ele trás de forma rápida e direta uma definição de IA Generativa, os tipos de modelos mais comuns (LLMs e modelos de difusão), explica termos essenciais como prompts, tokens e embeddings, e contextualiza as principais aplicações e o impacto dessa tecnologia, garantindo uma introdução para acompanhar os capítulos principais. Se for seu primeiro contato com o assunto, talvez valha a pena começar por aqui.

Apêndice 2 – Google Cloud Foundations – É uma introdução ao GCP, ajuda quem não tem experiência prévia com a plataforma de Cloud da Google. Este trás um panorama dos principais serviços utilizados ao longo do livro. Ele introduz componentes importantes da infraestrutura do GCP (Compute Engine, Cloud Storage), serviços de dados relevantes (BigQuery, Cloud SQL) e, para surpresa de zero pessoas, entra em mais detalhes dos produtos da Vertex AI, incluindo seus recursos específicos para IA Generativa como o Model Garden, Pipelines e Vector Search, fornecendo o conhecimento básico necessário sobre a plataforma da nuvem.

Minhas impressões

Posso dizer que este review do livro “Generative AI on Google Cloud with LangChain” realmente parece ser um guia abrangente e prático, ele cobre desde os fundamentos do LangChain e dos modelos encontrados no Vertex AI, até arquiteturas complexas como RAG e Agentes. Não deixa de fora aspectos importantes de projetos como avaliação de performance e MLOps. O foco exclusivo no ecossistema Google Cloud (lembra que foi escrito por especialistas da Google??) torna o livro útil para quem trabalha, ou planeja trabalhar, com GCP.

Hoje o livro na Amazon está por pouco mais de 200 reais e pode ser comprado neste link. Já direto no site da Packt, o valor hoje está em R$ 80 e pode ser comprado neste link. Ah, as duas versões são em formato digital.

Caso queira ver todos os outros reviews de livros, acesse a tag: Review de Livros.

A imagem de capa desta publicação foi feita com ChatGPT pedindo para transformar a foto original no estilo da Turma da Monica. Também pedi pra fazer no estilo dpo Shiryu de Dragão dos Cavaleiros do Zodiaco. Abaixo estão as duas imagens, tanto a original quanto a versão do Shiryu.

O post Review do livro “Generative AI on Google Cloud with LangChain” apareceu primeiro em Diego Nogare.

Ele também destaca a importância do Machine Learning Operations (MLOps) para gerenciar a complexidade e a escala dos projetos LLM. Para minha surpresa positiva, o livro também fornece uma base inicial nos princípios de MLOps (no apêndice do livro).

O livro foi escrito com uma abordagem prática, desenvolvendo um projeto de ponta a ponta chamado LLM Twin, que é um aplicativo que imita o estilo de escrita e a personalidade de uma pessoa. Este projeto serve como um exemplo do mundo real ao longo do livro para solidificar os principais conceitos e técnicas estudados, além de ter o objetivo fornecer práticas e dicas de especialistas para cada estágio do ciclo de vida do LLM.

Review dos capítulos do livro

São 11 capítulos mais o apêndice, e aqui está um review do livro separado pelo que é abordado em cada capítulo:

• O Capítulo 1 apresenta o projeto LLM Twin e primeiramente define a arquitetura FTI (Feature, Train, Inference) para construir sistemas ML escaláveis.
• O Capítulo 2 apresenta as ferramentas essenciais para construir aplicativos LLM. Inclui Python, ferramentas MLOps e recursos de nuvem (mas até nos orienta a instalá-los localmente para teste e desenvolvimento).
• O Capítulo 3 se concentra na engenharia de dados, embora ensine como implementar um pipeline de coleta de dados de várias fontes. Ele destaca a importância de coletar dados dinâmicos do mundo real.
• O Capítulo 4 apresenta os fundamentos da Retrieval-Augmented Generation (RAG), incluindo embeddings, bancos de dados vetoriais e estratégias de otimização.
• O Capítulo 5 explora de fato o ajuste fino supervisionado, abrangendo a criação de conjuntos de dados de alta qualidade e técnicas de ajuste fino, como ajuste fino completo, LoRA e QLoRA. Ele também inclui uma demonstração prática usando um modelo Llama 3.1 8B.
• O Capítulo 6 se aprofunda no ajuste fino com alinhamento de preferências, focando especificamente na Otimização de Preferência Direta (DPO). Ele inclui como criar conjuntos de dados de preferências personalizados e uma demonstração prática do alinhamento do modelo TwinLlama-3.1-8B.
• O Capítulo 7 detalha vários métodos para avaliar o desempenho do LLM, abrangendo avaliações de uso geral e específicas de domínio. Mas também demonstra uma avaliação do modelo Llama 3.1 8B ajustado.
• O Capítulo 8 abrange estratégias de otimização de inferência, como decodificação especulativa, paralelismo de modelo e quantização de peso para melhorar a velocidade e reduzir a latência.
• O Capítulo 9 explora técnicas avançadas de RAG implementando métodos como, por exemplo, autoconsulta, reclassificação e pesquisa vetorial filtrada.
• O Capítulo 10 apresenta estratégias de implantação de ML, incluindo inferência online, assíncrona e em lote. Embora também mostra como implantar o modelo no Sagemaker, construir um microsserviço FastAPI para expor o pipeline de inferência do RAG.
• O Capítulo 11 explica o LLMOps, começando com suas raízes no DevOps e MLOps, incluindo como implantar o projeto LLM Twin na nuvem. Embora também explique como conteinerizar o código usando o Docker e construir um pipeline de CI/CD/CT (Integração, Implantação e Treinamento Contínuos), além do mais, também ensina como adicionar uma camada de monitoramento rápido ao pipeline.

Minhas impressões

Se você estudar seriamente, ao final do livro, de fato entenderá como coletar e preparar dados para LLMs, ajustar modelos, otimizar inferência e implementar pipelines RAG. Mas também aprenderá como avaliar desempenho, alinhar modelos com preferências humanas e implantar aplicativos baseados em LLM. Mesmo eu considerando que é util ter o básico de Python, o livro explica conceitos do zero, fazendo a leitura ser acessível para todos, inclusive os que são novos em IA e machine learning.

Não posso deixar de mencionar que a qualidade da produção é realmente bonita e útil. As imagens coloridas nos ajudam a entender melhor os diagramas e o design da arquitetura.

A versão digital do livro está na Amazon por volta de 250 reais reais: https://amzn.to/4a16Deg. Já na Packt você consegue por menos de 10 dólares: https://www.packtpub.com/en-us/product/llm-engineers-handbook-9781836200062

Bons estudos!

O post Review do livro “The LLM Engineer’s Handbook” apareceu primeiro em Diego Nogare.

O post Review do livro “Extending Power BI with Python and R – Second Edition” apareceu primeiro em Diego Nogare.

O livro e seus capítulos

Quero compartilhar minhas impressões iniciais, mas já sei que vou ter que ler mais vezes para realmente entender. Para mim esse assunto é novo, e achei difícil, por mais direto e didático que o Denis foi no livro, ainda sinto que é complexo e terei que estudar muito até ter confiança de sair falando de IA Generativa. O livro é uma leitura ampla, explica a arquitetura de transformers para texto e visão computacional. Em suas quase 700 páginas o livro possui 20 capítulos e está separado em três grandes grupos, sendo: Os Fundamentos dos Transformers; A Ascensão da NLP Supra-humana; Visão computacional generativa: uma nova maneira de ver o mundo.

Ao final de cada capítulo, acima de tudo, é possível ver as referências utilizadas para gerar o texto, além de algumas recomendações de leituras futuras para completar o aprendizado. FAlando em aprendizado, contudo, no final de cada capítulo você irá encontrar questões de Verdadeiro ou Falso sobre o que estudou. No final do livro tem o gabarito com as respostas, e algumas delas até tem uma explicação rápida da resposta correta.

Desde a arquitetura básica até aplicações práticas, este livro abrange:

Bom, vamos aos capítulos…

Capítulo 1

O que são transformer? O autor explica, de forma abrangente, o conceito de transformer e os modelos fundamentais. O texto trás a complexidade de tempo O(1) desses modelos, que, segundo o texto, revolucionou diversas áreas. Além disso, destaca como os transformers se tornaram dominantes e trouxeram avanços significativos em várias áreas de pesquisa. Transformers são importantes para texto e também para visão computacional.

Capítulo 2

Iniciando com a arquitetura do modelo transformer explora o contexto do Processamento de Linguagem Natural (NLP) e compreende como as arquiteturas de Redes Neurais Recorrentes (RNNs), Long Short-Term Memory (LSTM) e Redes Neurais Convolucionais (CNNs) foram abandonadas e abriram caminho para a arquitetura transformer. Nesse capítulo, o autor explora a arquitetura original do transformer, publicada no artigo científico Attention Is All You Need, desenvolvida por pesquisadores do Google Research e Google Brain. Além disso, descreve a teoria dos transformers e explora, na prática, como funcionam as subcamadas de múltiplas atenções em Python.

Capítulo 3

Em Tarefas emergentes vs. tarefas downstream: As profundezas invisíveis dos transformers, o autor estabelece uma conexão entre a arquitetura funcional e matemática dos transformers por meio da introdução do conceito de emergência. Em seguida, o autor aborda como medir o desempenho dos transformers antes de explorar diversas tarefas downstream, como o Standard Sentiment TreeBank (SST-2), a aceitabilidade linguística e os esquemas de Winograd.

Não sei como traduzir Downstream, então mantive com o nome original. Se você tiver uma tradução apropriada, me conte e eu atualizo o post

Capítulo 4

Já em Avanços em traduções com Google Trax, Google Translate e Gemini, o texto explora a tradução automática em três etapas. Primeiro, define o que é a tradução automática. Em seguida, explica o pré-processamento de um conjunto de dados do Workshop on
Statistical Machine Translation (WMT) de 2014. Por fim, demonstra como implementar códigos para traduções automáticas em Python.

Capítulo 5

Aprofundando no ajuste fino com BERT discute a arquitetura do transformer original. O Bidirectional Encoder Representations from Transformers (BERT) leva os transformers a uma nova e vasta maneira de perceber o mundo do NLP. Em vez de analisar uma sequência passada para prever uma sequência futura, o BERT analisa a toda a sequência! O autor explora as principais inovações da arquitetura do BERT e, em seguida, ajusta um modelo BERT passo a passo em um notebook do Google Colab.

Capítulo 6

No Pré-treinando um modelo RoBERTa do zero, o texto implementa um modelo de transformer RoBERTa a partir do zero usando PyTorch na Hugging Face. Primeiro, é treinado um tokenizador em um conjunto de dados personalizado. Em seguida, é feito um pré-treino de modelo de suporte ao cliente com IA generativa.

Capítulo 7

No capítulo de A revolução da IA Generativa com o ChatGPT, o autor explora as melhorias significativas e a disseminação dos modelos ChatGPT no cotidiano de desenvolvedores e usuários finais. Inicialmente, é apresentada a arquitetura dos modelos GPT da OpenAI. Em seguida, trabalha com a API do GPT-4 e seus hiper-parâmetros para implementar diversos exemplos de NLP em Python. Por fim, aprendemos como obter melhores resultados com Retrieval Augmented Generation (RAG). No capítulo é implementado um exemplo de RAG com o GPT-4.

Capítulo 8

Ajuste fino de modelos OpenAI GPT, é explorada a técnica de ajuste fino para aprimorar os modelos GPT disponíveis por meio da API. Com o ajuste fino é possível obter resultados de maior qualidade do que apenas com prompts. Além disso, permite treinar o modelo com mais exemplos do que caberia em um prompt e economizar tokens devido a prompts mais curtos. Essa abordagem também reduz a latência das respostas nas solicitações. Os modelos da OpenAI já foram treinados em uma grande quantidade de texto, mas o fine tuning permite adaptá-los para tarefas em áreas de negócios específicas.

Capítulo 9

Desvendando a caixa preta com ferramentas interpretáveis, o autor trás detalhes dos modelos de transformer, interpretando e visualizando suas tarefas. Apresenta o BertViz para visualizar as camadas de atenção, o Language Interpretability Tool (LIT) para rodar uma análise de componentes principais (PCA) e o LIME para visualizar os transformers por meio do aprendizado de dicionário. Além disso, os LLMs da OpenAI vão mais a fundo, permitindo visualizar a atividade de um neurônio em um transformer de forma interativa.

Capítulo 10

Em Investigando o papel dos Tokenizadores na formação de Modelos de transformadores, apresenta inicialmente as práticas recomendadas independentes de tokenizadores para avaliar a qualidade de um tokenizador. Descreve as diretrizes básicas para conjuntos de dados e tokenizadores sob a perspectiva da tokenização. O autor explora a abordagem de tokenizadores de palavras e subpalavras, e demonstra como um tokenizador pode moldar o treinamento e o desempenho de um modelo de transformers.

Capítulo 11

O capítulo com titulo Alavancando os incorporamentos de LLM como alternativa ao ajuste fino, explora por que a busca com incorporamento pode ser, às vezes, uma alternativa eficaz ao ajuste fino. São discutidas as vantagens e limitações dessa abordagem. Além disso, são explicados os fundamentos dos incorporamentos de texto. Para solidificar o aprendizado, implementa um código Python que lê um arquivo, o tokeniza e o incorpora com as bibliotecas Gensim e Word2Vec. Para concluir, você terá trabalhado desde o design de prompts até a engenharia avançada de prompts, utilizando incorporamentos para a RAG.

Capítulo 12

Rumo à rotulagem de papéis semânticos sem sintaxe com o ChatGPT e o GPT-4 explora os conceitos de modelos estocásticos sem sintaxe e não repetitivos. Utilizam o ChatGPT Plus com o GPT-4 para executar amostras de Semantic Role Labeling (SRL), com exemplos simples e complexos. Apresenta como um modelo de propósito geral reage às solicitações de SRL.

Capítulo 13

Em Sumarização com T5 e ChatGPT, o autor explica os conceitos e a arquitetura do modelo de transformer T5. Utiliza o T5 para resumir documentos com modelos da Hugging Face. Os exemplos neste capítulo estão relacionados a áreas jurídicas e médicas, buscando explorar a sumarização em domínios específicos do conhecimento. Também trás uma comparação das abordagens de sumarização entre o T5 e o ChatGPT.

Capítulo 14

Explorando os LLMs de ponta com o Vertex AI e o PaLM 2. Apresenta o Google PaLM 2, um modelo com 540 bilhões de parâmetros. O PaLM 2 é um modelo autoregressivo, com ativação densa e decodificador. Explora como o PaLM 2 pode executar diversas tarefas como chat, classificação e geração de texto. O capítulo implementa a API do PaLM 2 dontro da Vertex AI, para várias tarefas de NLP, incluindo mas não se limitando, à perguntas e respostas e sumarização. FInaliza o capítulo, inclusive, com o processo de ajuste fino no Vertex AI.

Capítulo 15

Em Protegendo os gigantes: mitigando riscos em LLMs, exploram os riscos associados aos Large Language Models (LLMs) e estratégias para tentar mitigar os riscos. Estes são alguns riscos e abordagens de mitigação:

1. Alucinações: LLMs podem gerar respostas falsas ou incorretas, inegavelmente, levando à desinformação;
2. Memorização: LLMs podem memorizar exemplos específicos de seus dados de treinamento, reproduzindo-os literalmente;
3. Comportamento emergente arriscado: LLMs podem exibir comportamento inesperado ou prejudicial devido à sua complexidade;
4. Desinformação: LLMs podem ocasionalmente gerar conteúdo que dissemina desinformação;
5. Operações de influência: Atacantes maliciosos podem explorar LLMs para manipular a opinião pública ou enganar os usuários;
6. Conteúdo prejudicial: LLMs podem produzir saídas sobretudo prejudiciais ou ofensivas, e até criminosas;
7. Ataques adversários (“Jailbreaks”): LLMs podem ser vulneráveis a manipulações intencional, comprometendo a integridade do conteúdo gerado.

A fim de mitigar esses riscos, empregam técnicas avançadas de engenharia de prompts. Isso inclui a implementação de um modelo de moderação, a manutenção de uma base de conhecimento, a análise de palavras-chave, o uso de pilotos de prompts, a moderação pós-processamento e a alavancagem de incorporamentos, entre outras…

Capítulo 16

O texto Além do texto: transformers de visão no amanhecer da IA revolucionária, explora os modelos de transformers que respeitam a estrutura básica do transformer original, mas fazem algumas extensões significativas. Isso gerou poderosos transformers para visão, como o ViT, CLIP, DALL-E e GPT-4V. O autor implementa transformer de visão em Python, utilizando o GPT-4V, e expande as interações de texto-para-imagem do DALL-3. É importante destacar que os transformers vão além de texto e chegam até visão computacional.

Capítulo 17

Em Transcendendo a fronteira entre imagem e texto com a Stable Difusion, o autor explora os modelos de difusão, apresentando o Stable Vision, que, aliás, criou uma onda incrível de imagens realistas que está se espalhando pelo mercado. Explica os princípios, a matemática e implementa um código de Stable Difusion no Keras. O texto analisa cada um dos principais componentes de um modelo de Stable Difusion e examina os códigos do Keras. Para finalizar, também discute um modelo de de texto-para-vídeo com a Hugging Face e um modelo de vídeo-para-texto com o TimeSformer da Meta.

Capítulo 18

Hugging Face AutoTrain: Treinando modelos de visão sem codificação explora como treinar um transformer de visão usando o AutoTrain da Hugging Face. O autor explica o processo de treinamento automatizado e o autor comenta os problemas imprevisíveis que demonstram por que até o aprendizado de máquina automatizado requer expertise humana. Este capítulo também trás uma discussão e mostra como explorar os limites de um modelo de visão computacional, independentemente de quão sofisticado ele seja.

Este desafio de re-treino automatizado está presente, inclusive, no Machine Learning tradicional. Não é algo exclusivo da IA Generativa

Capítulo 19

No caminho para a IA geral funcional com o HuggingGPT e seus pares demonstra como podemos usar modelos encadeados entre plataformas para resolver problemas complexos de classificação de imagens. O autor compara o HuggingGPT e o Google Cloud Vision no trabalho de identificação de imagens fáceis, difíceis e muito difíceis. Além disso, o capítulo comenta as abordagens clássicas e explora como encadear modelos.

Capítulo 20

Além dos prompts projetados por humanos com ideação generativa explora a ideação generativa, uma abordagem que automatiza a produção de ideias para conteúdo de texto e imagem. A fase de desenvolvimento destas ideações requer especialistas qualificados em IA. Já para o usuário final, a abordagem é uma experiência simples de point and click. O autor discute e nos faz pensar em ideias generativas éticas para empresas sem recursos de marketing, mas não se limita apenas à essa área de atuação.

Minha opinião

Na minha opinião é um material rico para conhecer e aplicar a arquitetura de transformers para texto e visão computacional, codificando com Python. O livro oferece uma visão ampla, porém prática e aplicada, de como a arquitetura funciona e vários detalhes sobre os modelo de linguagem e te visão. É uma leitura densa, e pra mim, vou ter que estudar mais porque achei o assunto complexo. Não é do meu cotidiano trabalhar com GenAI, e por isso quero estudar mais antes de sair falando besteira por ai. As referências e leituras adicionais ajudarão quando eu tiver tempo para aprofundar.

Em linhas gerais recomendo a leitura, principalmente para quem se interessa pelo assunto de Inteligência Artificial. A versão digital está na Amazon por um pouco menos de 250 reais enquanto escrevo esse texto.

Transformers para texto e visão computacional

A atualização do Github contendo os códigos é frequente, inclusive no momento que posto esse texto, a ultima atualização de código foi ontem 29/04/2024.

Bons estudos!

O post Review do livro “Transformer for natural language processing and computer vision – 3rd Edition” apareceu primeiro em Diego Nogare.

Esta segunda edição traz insights atualizados e técnicas avançadas. Com mais de 500 páginas, a princípio, o livro é uma jornada detalhada através de cada aspecto do ADF, incluindo integrações com outros serviços Azure e estratégias de migração de dados entre plataformas de nuvem.

Uma curiosidade que achei bem legal neste texto é o fato de todos subitens dos capítulos serem separados em seções de Se preparando, Como fazer, Como funciona e Tem mais… Na minha opinião isso é bacana porque você pode ir direto ao ponto que quer tirar sua duvida, seja na questão teórica, seja para entender como aquilo funciona ou buscar outros assuntos correlatos.

Vamos aos capítulos do Azure Data Factory?

Cap 1

No Capítulo 1, introduzem a plataforma de dados Azure, começando com a criação e execução do primeiro trabalho no ADF. Em seguida, apresentam a criação de pipelines, tanto utilizando a ferramenta de copiar dados quanto programando em Python. A versatilidade do ADF é demonstrada pela possibilidade de criação via PowerShell e pelo uso de modelos para agilizar o processo de criação de pipelines. Por fim, o capítulo aborda a criação usando Azure Bicep, destacando a eficiência e a modernidade da infraestrutura como código.

Cap 2

O Capítulo 2 mergulha nas funcionalidades avançadas do Azure Data Factory, começando com o uso de parâmetros e funções integradas para personalizar pipelines. Em seguida detalham a implementação de tarefas de metadados e stored procedures, essenciais para a manipulação e execução de dados. Apresentam as atividades ForEach e Filter para processamento iterativo e seleção de dados, enquanto as técnicas de encadeamento e ramificação são discutidas para otimizar o fluxo de trabalho dentro de um pipeline. O capítulo também fala sobre o uso de Lookup e Execute Pipeline, ampliando as possibilidades de integração e automação. Por fim, aborda a criação de triggeres de eventos para as esteiras, permitindo que os pipelines respondam dinamicamente a mudanças e acionamentos externos.

Cap 3

No Capítulo 3, o foco é o Azure Synapse, onde o leitor aprende a criar um espaço de trabalho e a carregar dados para o Azure Synapse Analytics, utilizando tanto o Azure Data Factory quanto o Azure Data Studio. O capítulo também ensina sobre o carregamento em massa, o que é bem eficiente para grandes volumes de dados. Além disso, comenta como pausar e reestabelecer um SQL do Azure Synapse diretamente do Azure Data Factory, uma tarefa útil para gerenciar recursos da cloud. Abordam a integração com o Azure Purview, mostrando como trabalhar com governança de dados. Por fim, o capítulo trata da movimentação de dados no Azure Synapse Integrate e do uso de um pool SQL serverless.

Cap 4

No Capítulo 4, explicam a configuração do Azure Data Lake Storage Gen2, estabelecendo uma base sólida para armazenamento de dados. Aliás, eles detalham a criação de um pool Synapse Analytics Spark, permitindo análises avançadas e processamento de dados. A integração do Azure Data Lake com o pool do Spark é explorada, demonstrando como executar trabalhos eficientemente. Por fim, o capítulo ensina a construir e orquestrar um pipeline de dados robusto que une Data Lake e Spark. Enfatiza a importância da sinergia entre armazenamento e processamento para insights valiosos.

Cap 5

O Capítulo 5 orienta sobre a configuração de um cluster HDInsight, uma ferramenta essencial para o processamento de big data. O leitor aprende a processar dados do Azure Data Lake utilizando HDInsight e Hive. O que maximiza a eficiência na análise de dados nas ferramentas de big data que a Microsoft oferece em sua nuvem. Abordam a construção de modelos de dados em Delta Lake e a execução de trabalhos de pipeline com Databricks, destacando a importância da modelagem de dados. Além disso, ensinam sobre a ingestão de dados no Delta Lake através do mapeamento de fluxos de dados, uma técnica que pode ser considerada avançada para a integração de dados. Por fim, explora as integrações externas, como Snowflake, ampliando o escopo de possibilidades para os usuários do Azure.

Cap 6

O Capítulo 6 aborda estratégias de migração de dados entre diferentes plataformas de nuvem, o que é bem importante visto que podemos evitar lock-in. Inicia com o processo de cópia de dados do Amazon S3 para o armazenamento de Blobs do Azure, seguido pela transferência de grandes conjuntos de dados do S3 para o Azure Data Lake Storage (ADLS). O capítulo prossegue explicando sobre a cópia de dados do Google Cloud Storage para o Azure Data Lake. Segue com Google BigQuery para o Azure Data Lake Storage, enfatizando a interoperabilidade entre serviços de nuvem. Além disso, discute-se a migração de dados do Google BigQuery para o Azure Synapse, ilustrando a integração de análises avançadas e armazenamento de dados. Por fim, explora-se a migração de dados do Snowflake para o Azure Data Lake Store, completando o panorama de soluções para a movimentação eficiente de dados na nuvem.

Cap 7

No Capítulo 7, introduzem o disparo de processos utilizando o Logic Apps, uma ferramenta poderosa para automação e integração de aplicativos. O capítulo explica como usar a web para invocar um logic app do Azure, demonstrando a facilidade de conectar serviços e criar fluxos de trabalho automatizados. Além disso, destaca a adição de flexibilidade aos pipelines com Azure Functions. O que permite aos usuários estender as capacidades de processamento de dados com código personalizado. Incluindo, também, as triggers baseados em eventos, otimizando assim a eficiência e adaptabilidade dos pipelines de dados.

Cap 8

No Capítulo 8, apresentam o Microsoft Fabric e o Data Factory, explorando suas capacidades e a sinergia entre eles. Sobretudo, o capítulo oferece uma análise detalhada dos pipelines do Microsoft Fabric Data Factory, enfatizando sua eficiência e escalabilidade. A seguir, discute-se o carregamento de dados utilizando fluxos de dados do Microsoft Fabric, uma abordagem poderosa para a movimentação de dados. Abordam a criação automática de modelos de Machine Learning (ML), mostrando como acelerar o desenvolvimento de soluções de ML. Por fim, o capítulo trata da análise e transformação de dados com a Inteligência Artificial (IA) do Azure e modelos pré-construídos de aprendizado de máquina, ilustrando como essas ferramentas podem ser aplicadas para extrair insights valiosos dos dados.

Cap 9

O Capítulo 9 explora o mundo do Azure DevOps dentro do ADF, começando pela configuração inicial e avançando para a publicação de alterações no Azure Data Factory. O leitor aprende a implantar os códigos na branch principal, preparando o terreno para a integração contínua (CI) e entrega contínua (CD) do ADF. O capítulo segue com a criação de um pipeline do Azure para CD, detalhando cada passo necessário. Explicam sobre a instalação e configuração do Visual Studio para trabalhar com a implantação do ADF, assim como a configuração do ADF como um projeto dentro do Visual Studio. Por fim, o capítulo conclui com a execução de Directed Acyclic Graphs (DAGs) com Airflow no ADF, mostrando como automatizar e otimizar esteiras de CI/CD para trabalho de dados complexos.

Cap 10

No Capítulo 10, o leitor é conduzido a monitorar execuções de pipeline e os tempos de integração, uma parte vital para garantir a eficiência operacional. O capítulo segue com técnicas para investigar falhas, incluindo a execução de pipelines no modo de depuração, permitindo uma análise aprofundada e resolução de problemas. Discutem a repetição de atividades, destacando como automatizar e otimizar tarefas recorrentes. Por fim, ensinam a configurar alertas para execuções do Azure Data Factory, assegurando que os usuários sejam notificados prontamente sobre o status e as ocorrências nos pipelines.

Para quem é da área de Machine Learning Operations, os capítulos 8, 9 e 10 são essenciais para que você domine o Azure Data Factory

Cap 11

O Capítulo 11 serve como uma introdução ao Azure Data Explorer, detalhando sua arquitetura e os recursos principais que o tornam uma ferramenta poderosa para exploração de dados. O capítulo oferece uma visão geral dos casos de uso comuns, integrando o Azure Data Explorer e o Azure Data Factory para maximizar a eficiência na análise de dados. Fornecem um guia passo a passo para configurar um pipeline de ingestão de dados do Azure Data Factory para o Azure Data Explorer, com foco na ingestão de dados JSON do Armazenamento do Azure. Por fim, o capítulo aborda a transformação de dados no Azure Data Explorer utilizando a atividade do Azure Data Factory, permitindo aos leitores entender como realizar transformações de dados complexas de maneira eficiente.

Cap 12

O Capítulo 12 aborda aspectos cruciais para a gestão eficaz do Azure Data Factory (ADF). Inicia-se com a configuração de funções e permissões, estabelecendo níveis de acesso adequados para diferentes usuários. Discutem o dimensionamento de projetos ADF, que destaca a importância de adaptar os recursos às necessidades do projeto. Exploram os recursos integrados de recuperação de desastres do ADF, garantindo a resiliência e a continuidade dos serviços. Abordam a captura de dados em mudança, destacando como monitorar e reagir a alterações nos dados. Por fim, o capítulo trata do gerenciamento de custos do Data Factory na visão de FinOps, uma abordagem estratégica para otimizar o gasto e o valor obtido dos recursos de nuvem.

Pra mim ficou claro que o Azure Data Factory Cookbook – 2nd edition é uma leitura obrigatória para quem busca excelência em engenharia de dados. Com exemplos práticos e orientações passo a passo, o livro capacita os leitores a implementar soluções eficazes com ADF. Te convido a explorar este livro e a aplicar o conhecimento em seus projetos. Domine o Azure Data Factory!

Bons estudos e que sua jornada de aprendizado seja tão enriquecedora quanto as soluções que você pode criar!

O post Review do Livro “Azure Data Factory Cookbook – 2nd edition” apareceu primeiro em Diego Nogare.

O livro e com seus 50 algoritmos que deve conhecer

Vou compartilhar minhas impressões desta obra, e já de partida quero avisar que nem todos os algoritmos são para todos nós. Digo isso porque há uma amplitude de assuntos que, dependendo do que você trabalha ou estuda, não vão lhe chamar muita atenção. No meu caso, o capítulo 3 é de ordenação e o capítulo 14 que é de criptografia… Não são exatamente os assuntos que mais me chamam atenção e acabei passando rapidamente por ali. Porém, a seção II que é de Machine Learning eu li com muito mais atenção, como também o capítulo 16.

Com uma abordagem direta em cada capítulo, o livro ensina de forma prática (programando em Python) como aplicar o que está estudando. É bem balanceado entre teoria e prática, certamente o que é bom para materializar a teoria na prática. O livro está organizado em 16 capítulos separados em três seções, e trás os 50 algoritmos que deve conhecer.

Vamos aos capítulos…

Cap 1 – Visão geral de algoritmos

No capítulo 1 mergulhamos no universo dos algoritmos. É uma introdução aos seus fundamentos, mostrando como eles são essenciais desde a formulação de problemas até a execução de soluções. O capítulo destaca a evolução do uso dos algoritmos e suas limitações. Para os entusiastas de Python, tem um guia de como preparar o ambiente para rodar os exemplos do livro, mas se você quiser ver isso em vídeo, gravei essa playlist há algum tempo. E não para por aí: o capítulo também aborda como medir e comparar o desempenho dos algoritmos. É um começo importante para quem quer entender a base do que vem a seguir no livro.

Cap 2 – Estruturas de dados

No capítulo 2 a conversa é sobre as estruturas de dados e como elas são a espinha dorsal de algoritmos. O capítulo, de fato, é um prato cheio para quem usa Python, detalhando como a linguagem gerencia estruturas de dados complexas e quais são as mais indicadas para cada tipo de dado. Mas não se preocupe se você é fã de Java ou C++, os conceitos são universais e vão te ajudar independentemente da linguagem que você curte programar. É o tipo de capítulo que faz você querer mergulhar no código e ver a mágica acontecer.

Cap3 – Ordenação e Busca

E aí, no capítulo 3, é apresentada a parte de algoritmos de ordenação e busca. O capítulo, a princípio, trás diferentes abordagens e tipos de algoritmos de ordenação, cada um com seu próprio estilo e estratégia de solução de problema. E para não deixar a busca de lado, tem exemplos práticos que mostram como esses algoritmos percorrem atrás dos dados.

Cap 4 – Projetando algoritmos

Cap 5 – Grafos

No Capítulo 5, a parada é nos Algoritmos de Grafos. O capítulo é um guia que mostra como navegar em grafos para representar estruturas de dados. Ele não só cobre o básico, mas também detalha teorias e técnicas mais profundas, como análise de redes e busca de grafos. E para colocar a teoria em prática, há um estudo de caso que usa grafos para desvendar fraudes.

Cap 6 – Aprendizado não supervisionado

Neste capítulo a gente coloca a mão na massa com aprendizado supervisionado. O capítulo tem laboratório, onde são explorados os algoritimos de classificação e regressão. O Autor explica seis algoritmos de classificação e três de regressão, ele não só apresenta, mas também coda com esses algoritmos resolvendo problemas reais. E no final ainda compara os resultados para ver o que teve melhor performance.

Cap 8 – Redes Neurais Artificiais

No capítulo 8, antes de mais nada, o foco é pelo mundo das Redes Neurais. O capítulo abre as portas para os conceitos-chave e componentes que formam uma rede neural, explicando sobre suas várias formas e as funções de ativação. O algoritmo de backpropagation, peça central no treinamento de redes neurais, é explicado ems detalhes. Da mesma forma, no final do capítulo ainda tem um exemplo prático de como o Deep Learning pode ser usado para detectar documentos fraudulentos, trazendo a teoria para o chão da realidade.

Cap 9 – NLP Natural Language Processing

Cap10 – Modelos sequenciais

Cap11 – Modelos sequenciais avançados

Cap12 – Sistemas de Recomendação

Aqui o autor explica a arte de lidar com dados. O capítulo é um guia para entender os algoritmos de dados e os princípios que ajudam a resolver problemas de classificação de dados. Ele nos guia pelos algoritmos de armazenamento e compactação de dados, que são fundamentais para gerenciar informações de maneira eficiente. E como em qualquer boa estratégia, o capítulo nos mostra as vantagens e desvantagens de projetar e implementar algoritmos focados em dados.

Cap 14 – Criptografia

Confesso que passei bem rapido por aqui, não é um assunto que me atrai muito…

Cap 15 – Algoritmo em grande escala

Minha opinião sobre estes 50 algoritmos que deve conhecer

Na minha humilde opinião o livro é completo e poderia facilmente servir de base complementar para cursos de graduação em ciência da computação. É um material útil para aprender ou aprimorar suas habilidades em algoritmos com Python.

Como comentei no começo do post, é leitura seletiva para quem se interessa pelos assuntos. Vale o investimento! Para mim, os capítulos entre 6 e 12, que falam de Machine Laerning, além do 16 que fala sobre transparência dos algoritmos, foram os que me chamaram mais atenção.
A versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto.

Códigos do “50 Algorithms Every Programmer Should Know – 2nd edition”

No Github da editora você pode acompanhar os códigos do livro e reproduzir o que estudou para fixar o aprendizado com os 50 algoritmos que todo desenvolvedor deve conhecer.

Bons estudos!

O post Review do Livro “50 Algorithms Every Programmer Should Know – 2nd edition” apareceu primeiro em Diego Nogare.

O livro e seus capítulos

Quero compartilhar minhas impressões, mas já destaco que é uma leitura completa para entusiastas de MLOps e EngML. Para evitar dúvidas quanto à terminologia, escrevi sobre a diferença destes termos aqui neste post.

Com uma abordagem direta, o livro ensina de forma prática como gerenciar o ciclo de vida de modelos de aprendizado de máquina usando técnicas de MLOps. O livro é organizado em 9 capítulos e aborda conceitos técnicos, padrões de implementação com boas práticas e metodologias de desenvolvimento de modelos.

Vamos aos capítulos…

Cap 1 – Introdução à Machine Learning Engineering

Este capítulo discuti um pouco sobre as carreiras e disciplinas de Ciência de Dados, Engenharia de Dados, Engeharia de ML e Engenharia de MLOps. Discute sobre trabalhar de forma efetiva com um time multidisciplinar, além de apresentar desafios do mundo real e compartilha padrões de desenvolvimento e boas práticas para serem seguidas;

Cap 2 – Processo de desenvolvimento de Machine Learning

Aqui passa um pouco sobre o CRISP-DM (Cross Industry Standard Process for Data Mining), além de ajudar a montar o setup necessário para desenvolver soluções de EngML com Python;

Cap 3 – Do modelo para a Fábrica de Modelos

Aborda as etapas necessárias para construir as pipelines de desenvolvimento, aprofundando em cada estágio apresentado. Explica as fases de definição dos ambientes, escolha e definição das variáveis, treino e retreino do modelo, persistência e serving (ainda não consegui usar um termo em Português mais apropriado do que o termo original em Inglês para o Serving) do modelo;

Cap 4 – Empacotando a aplicação (prefiro o termo original “Packaging”, mas empacotamento funciona aqui)

Aqui o autor dedica bastante tempo para trabalhar com boas práticas de Python e como isso pode lhe ajudar a desenvolver suas pipelines mais otimizadas;

Cap 5 – Publicando padrões e ferramentas

São discutidas boas práticas e padrões de projetos para desenvolvimento de projetos de Machine Learning, deem uma atenção especial à este capítulo. O texto cobre assuntos como microsserviços, containerização, mas também discute ferramentas de mercado como Airflow, ZenML e Kubeflow. O capítulo é concluído com uma discussão estratégica para a publicação do seu projeto;

Cap 6 – Escalando a aplicação

Também é um assunto importante, porque escalabilidade reflete diretamente no quanto seu ambiente atenderá os clientes e também o quanto isso vai custar no fim do mês. Neste capítulo são discutidos tópicos sobre desenho de soluções e alternativas de cloud computing para atender a demanda do projeto, mas sem gastar uma fortuna;

Cap 7 – Deep Learning, Generative AI e LLMOps

Posso estar sendo muito injusto, mas aqui eu arrisco dizer que este capítulo entrou no livro por questões de timing. Até novembro/2022 quando a OpenAI lançou o ChatGPT, eram poucos projetos que se mostravam relevantes para esse tipo de tecnologia. Porém, após o lançamento do ChatGPT e a facilidade de uso para o publico fora do nicho de LLM, a busca por este tema cresceu muito. Inclusive, estes assuntos de Generative AI estão no Hype não só nas publicações de redes sociais, mas também em discussões estratégicas em empresas e congressos científicos.

É apresentado uma introdução à Deep Learning com PyTorch e fine-tuning. Em seguida introduz o assunto de LLM (Large Language Model) e finaliza o capítulo com a explicação de como funciona uma pipeline de LLM Operation.

Cap 8 – Construindo um modelo com Microsserviços e 9 – Construindo um caso de uso de ETML

Aqui tomei a liberdade de juntar os dois capítulos que, na minha interpretação, seguem um propósito muito parecidos. No capítulo 8 é discutido como construir sua solução a partir de peças e arquitetura de microsserviços, mas no capítulo 9 são discutidas as tarefas para se fazer no ETML (Extract, Tranform and Machine Learning).

Confesso que foi aqui primeira vez que li sobre o assunto com o nome de ETML.

O porque eu juntei os dois capítulos? Porque os dois tratam de casos de uso, no capítulo 8 é um estudo de Forecasting, mas no capítulo 9 é um estudo de Processamento Batch.

Minha opinião

Na minha opinião é um material útil para aprender ou aprimorar suas habilidades em EngML com Python. O livro oferece uma visão geral, porém prática e aplicada, de como criar soluções robustas e escaláveis com ML usando ferramentas e técnicas modernas, incluindo soluções Open Source e também de Cloud Computing.

No geral recomendo a leitura para quem se interessa pelo assunto, a versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto. Para mim, os capítulos que discutem arquitetura, boas práticas e padrões de projetos são os que me chamaram mais atenção.

No site da Packt Pub, o livro digital está em promoção por apenas 10USD, aproveite enquanto está disponível nessa promoção: https://www.packtpub.com/product/machine-learning-engineering-with-python-second-edition/9781837631964

MLOps – Ciclo de vida de modelos

No Github da editora você pode acompanhar os códigos do livro e criar seus projetos envolvendo o ciclo de vida de modelos.

Bons estudos!

2024 e eu ainda não me adaptei com eBooks, só consigo ler livros físicos… vai entender!

O post Review do Livro “Machine Learning Engineering with Python – 2nd edition” apareceu primeiro em Diego Nogare.

patrocinados pela Microsoft

Para aumentar a adoção de ferramentas e tecnologias de Inteligência Artificial e Machine Learning, a Microsoft patrocinou a publicação de livros de IA e ML da Packt e O’Reilly. Ambas editoras comercializam estes livros a algumas dezenas de dólares cada, mas você não precisa pagar por eles e mesmo assim ter acesso oficial à seus conteúdos. Para isso, a Microsoft disponibilizou links para que profissionais pudessem preencher os dados e ter acesso aos livros na íntegra.

Abaixo estão cinco títulos de livros de IA e ML da Packt e O’Reilly, para você aprofundar seus conhecimentos.

Os livros abaixo estão listados em ordem alfabética, não é uma sugestão de ordem de leitura.

Livros de IA e ML da Packt e O’Reilly

A Developer’s guide to Building AI Applications (O’Reilly)

Em suas 43 páginas, você aprenderá de forma direta, como criar um assistente virtual, que é um aplicativo de IA de conversação que pode entender a linguagem, perceber grandes quantidades de informações e responder de forma inteligente. Muito útil para as aplicações dos dias de hoje.

Building Intelligent Apps with Cognitive APIs (O’Reilly)

Nas 97 páginas deste livro, entenda como criar aplicativos que veem, ouvem, falam, entendem e interpretam as necessidades das pessoas. Não é sequência, mas ajuda a entender um pouco mais sobre o que foi visto no primeiro livro desta lista de cinco. E também, faz uma conexão com o que escrevi em Como adicionar Inteligência Artificial ao seu projeto.

Cloud Analytics with Microsoft Azure (Packt)

Com 243 páginas, este livro cobre uma visão mais abrangente incluindo análise de dados com Data Warehouse modernos utilizando o Azure Synapse Analytics e também criação de modelos de Machine Learning.

Mastering Azure Machine Learning (Packt)

Durante as 439 páginas desde livro, você será guiado a um conjunto completo de técnicas de Machine Learning com o Azure, explicado de ponta a ponta, inclusive com ML Ops. Contudo não fica só nisso, é muito abrangente.

Principles of Data Science (Packt)

Matemática, programação e domínio de assunto são temas que profissionais de dados devem possuir. Mas muitas pessoas que trabalham com dados desenvolveram uma ou duas dessas habilidades, e a ciência de dados adequada exige todas as três. Neste livro de 441 páginas, você vai estudar estes pontos!

Bônus

Tem um outro link restrito, que também foi patrocinado pela Microsoft, e permite o download de livro da O’Reilly com 222 páginas sobre Machine Learning com Python em uma abordagem direcionada para testes. Mas este só vou mandar o link por mensagem direta no Linkedin ou Twitter, para quem divulgar este blog post e me marcar. Bem simples e te mandarei o link

Update: Este livro não está mais disponível

Mas seja rápido, não se sabe até quando estes livros estarão disponíveis gratuitamente para download.

O post Livros de IA e ML da Packt e O’Reilly apareceu primeiro em Diego Nogare.