Arquivos review - Diego Nogare

Review do Livro “50 Algorithms Every Programmer Should Know – 2nd edition”

Diego Nogare — Mon, 18 Mar 2024 14:00:39 +0000

Review do livro “50 Algorithms Every Programmer Should Know – 2nd edition“, que foi escrito por Imran Ahmad e publicado pela Packt Pub. Neste livro você aprenderá (ou relembrará) 50 algoritmos que deve conhecer na ciência da computação. Contudo, é uma versão atualizada, contando inclusive com assunto atuais como Large Language Models e discussões sobre transparência e ética nos algoritmos.

O livro e com seus 50 algoritmos que deve conhecer

Vou compartilhar minhas impressões desta obra, e já de partida quero avisar que nem todos os algoritmos são para todos nós. Digo isso porque há uma amplitude de assuntos que, dependendo do que você trabalha ou estuda, não vão lhe chamar muita atenção. No meu caso, o capítulo 3 é de ordenação e o capítulo 14 que é de criptografia… Não são exatamente os assuntos que mais me chamam atenção e acabei passando rapidamente por ali. Porém, a seção II que é de Machine Learning eu li com muito mais atenção, como também o capítulo 16.

Com uma abordagem direta em cada capítulo, o livro ensina de forma prática (programando em Python) como aplicar o que está estudando. É bem balanceado entre teoria e prática, certamente o que é bom para materializar a teoria na prática. O livro está organizado em 16 capítulos separados em três seções, e trás os 50 algoritmos que deve conhecer.

Vamos aos capítulos…

Cap 1 – Visão geral de algoritmos

No capítulo 1 mergulhamos no universo dos algoritmos. É uma introdução aos seus fundamentos, mostrando como eles são essenciais desde a formulação de problemas até a execução de soluções. O capítulo destaca a evolução do uso dos algoritmos e suas limitações. Para os entusiastas de Python, tem um guia de como preparar o ambiente para rodar os exemplos do livro, mas se você quiser ver isso em vídeo, gravei essa playlist há algum tempo. E não para por aí: o capítulo também aborda como medir e comparar o desempenho dos algoritmos. É um começo importante para quem quer entender a base do que vem a seguir no livro.

Cap 2 – Estruturas de dados

No capítulo 2 a conversa é sobre as estruturas de dados e como elas são a espinha dorsal de algoritmos. O capítulo, de fato, é um prato cheio para quem usa Python, detalhando como a linguagem gerencia estruturas de dados complexas e quais são as mais indicadas para cada tipo de dado. Mas não se preocupe se você é fã de Java ou C++, os conceitos são universais e vão te ajudar independentemente da linguagem que você curte programar. É o tipo de capítulo que faz você querer mergulhar no código e ver a mágica acontecer.

Cap3 – Ordenação e Busca

E aí, no capítulo 3, é apresentada a parte de algoritmos de ordenação e busca. O capítulo, a princípio, trás diferentes abordagens e tipos de algoritmos de ordenação, cada um com seu próprio estilo e estratégia de solução de problema. E para não deixar a busca de lado, tem exemplos práticos que mostram como esses algoritmos percorrem atrás dos dados.

Cap 4 – Projetando algoritmos

Chegando no capítulo 4, a gente entra na parte de Projetando Algoritmos. O capítulo, antes de mais nada, é uma verdadeira aula sobre como dar vida aos algoritmos, começando (obviamente) por entender o problema que você quer resolver. E para deixar tudo mais interessante, ocasionalmente, relembra o famoso Problema do Caixeiro Viajante (TSP), muito visto em cursos de Ciência da COmputação, e joga na mesa como um exemplo real de como aplicar essas técnicas de design. E não para por aí, ainda tem um pouco de programação linear para materializar a discussão com suas aplicações práticas. O capítulo faz bem o papel de ponte entre a teoria e a prática.

Cap 5 – Grafos

No Capítulo 5, a parada é nos Algoritmos de Grafos. O capítulo é um guia que mostra como navegar em grafos para representar estruturas de dados. Ele não só cobre o básico, mas também detalha teorias e técnicas mais profundas, como análise de redes e busca de grafos. E para colocar a teoria em prática, há um estudo de caso que usa grafos para desvendar fraudes.

Cap 6 – Aprendizado não supervisionado

Aqui no capítulo 6, sobretudo, começam os assuntos de Machine Learning, e esses eu li com muito mais carinho e dedicação por questões óbvias, ao propósito, de interesse pessoal

Este capítulo fala sobre o aprendizado de máquina não supervisionado. O capítulo é um convite para explorar como essa área do aprendizado de máquina pode ser usada para decifrar problemas do cotidiano. Ao mesmo tempo é apresentada uma introdução aos principais algoritmos e metodologias, como os de agrupamento, que encontram dados semelhantes; redução de dimensionalidade, que simplifica a complexidade diminuindo o espaço de busca; e de regras de associação, que descobre relações ocultas entre eventos e transações.

Cap 7 – Aprendizado Supervisionado

Neste capítulo a gente coloca a mão na massa com aprendizado supervisionado. O capítulo tem laboratório, onde são explorados os algoritimos de classificação e regressão. O Autor explica seis algoritmos de classificação e três de regressão, ele não só apresenta, mas também coda com esses algoritmos resolvendo problemas reais. E no final ainda compara os resultados para ver o que teve melhor performance.

Cap 8 – Redes Neurais Artificiais

No capítulo 8, antes de mais nada, o foco é pelo mundo das Redes Neurais. O capítulo abre as portas para os conceitos-chave e componentes que formam uma rede neural, explicando sobre suas várias formas e as funções de ativação. O algoritmo de backpropagation, peça central no treinamento de redes neurais, é explicado ems detalhes. Da mesma forma, no final do capítulo ainda tem um exemplo prático de como o Deep Learning pode ser usado para detectar documentos fraudulentos, trazendo a teoria para o chão da realidade.

Cap 9 – NLP Natural Language Processing

Aqui o autor aprofunda nos algoritmos para Processamento de Linguagem Natural (NLP). O capítulo é um guia completo que vai desde os fundamentos da NLP até a preparação dos dados para as tarefas mais complexas. Ele detalha o processo de vetorização de dados textuais e a técnica de incorporação de palavras. E, ao mesmo tempo, para não ficar só na teoria, apresenta um caso de uso detalhado mostrando como NLP se aplica no mundo real.

Cap10 – Modelos sequenciais

Aqui no capítulo 10, o autor leva a conversa sobre o treinamento de redes neurais para lidar com dados que seguem uma sequência. O capítulo serve como uma introdução aos modelos sequenciais, desvendando suas técnicas e metodologias. Ao mesmo tempo ainda tem uma discussão sobre como o Deep Learning pode elevar o nível das técnicas de Processamento de Linguagem Natural (que vimos no capítulo anterior). O capítulo te prepara para entender como as máquinas trabalham a partir de dados que têm uma ordem, um ritmo, uma cadência, e como isso pode revolucionar a maneira como interagimos com a tecnologia.

Cap11 – Modelos sequenciais avançados

O capitulo apresenta, contudo, limitações dos modelos sequenciais e descobre como eles têm evoluído para avançar na resolução de problemas. O autor mergulha nos aspectos mais sofisticados desses modelos, apresentando a criação de configurações que são verdadeiras “relíquias” em complexidade. Cobre assuntos como os autoencoders e modelos Sequence-to-Sequence (Seq2Seq), passando pelos mecanismos de atenção e transformers (attention is all you need), o capítulo prepara o terreno para os Large Language Models (LLMs), super atuais em questões de estado da arte da Inteligência Artificial.

Cap12 – Sistemas de Recomendação

Neste capítulo o assunto discutido são sistemas de recomendação (regras de associação), que parecem ler nossas mentes e sabem exatamente o que queremos antes mesmo de clicarmos. O capítulo explora os diferentes tipos de sistemas de recomendação e como eles funcionam por dentro, revelando tanto seus superpoderes quanto os desafios que enfrentam. E para fechar, o capítulo nos guia através de um problema do mundo real, mostrando como esses mecanismos podem ser a solução que estávamos procurando.

E é neste capítulo que se encerram os assuntos de Machine Learning!

Cap 13 – Tratamento de dados

Aqui o autor explica a arte de lidar com dados. O capítulo é um guia para entender os algoritmos de dados e os princípios que ajudam a resolver problemas de classificação de dados. Ele nos guia pelos algoritmos de armazenamento e compactação de dados, que são fundamentais para gerenciar informações de maneira eficiente. E como em qualquer boa estratégia, o capítulo nos mostra as vantagens e desvantagens de projetar e implementar algoritmos focados em dados.

Cap 14 – Criptografia

Confesso que passei bem rapido por aqui, não é um assunto que me atrai muito…

Mesmo assim, o capítulo apresenta uma visão histórica da criptografia antes de mergulhar nos algoritmos que guardam nossos segredos. O capítulo começa com os algoritmos de criptografia simétrica, (MD5 e SHA), apontando suas limitações e vulnerabilidades. Depois, avança para o mundo da criptografia assimétrica, essencial para a criação de certificados digitais que autenticam e protegem em operações online. E para amarrar tudo, o capítulo trás um exemplo prático mostrando como todas essas técnicas se encaixam no assunto de segurança digital.

Cap 15 – Algoritmo em grande escala

Neste capítulo o autor aborda algoritmos que operam em larga escala. O capítulo desvenda os bastidores para mostrar a infraestrutura necessária para dar suportar estas iniciativas. Apresenta também estratégias para gerenciar o processamento de múltiplos recursos, e as limitações impostas pela lei de Amdahl são examinadas (eu nem sabia que isso existia). E ao se falar em grande escala, não poderia faltar falar sobre as GPUs. Ele mostra seu papel no universo do processamento paralelo.

Cap 16 – Explicabilidade e Ética

O Capítulo 16 trás algumas considerações práticas, convidando a gente para o desafio de tornar os algoritmos transparentes e compreensíveis. O capítulo trata da explicabilidade dos algoritmos, ou seja, até que ponto podemos entender o que acontece por trás do código? A ética no uso dos algoritmos também entra em cena, com uma discussão sobre como evitar vieses que podem surgir na implementação. Além disso, o capítulo explora técnicas para lidar com os temidos problemas NP-difíceis e reflete sobre os fatores importantes na hora de escolher um algoritmo.

Minha opinião sobre estes 50 algoritmos que deve conhecer

Na minha humilde opinião o livro é completo e poderia facilmente servir de base complementar para cursos de graduação em ciência da computação. É um material útil para aprender ou aprimorar suas habilidades em algoritmos com Python.

Como comentei no começo do post, é leitura seletiva para quem se interessa pelos assuntos. Vale o investimento! Para mim, os capítulos entre 6 e 12, que falam de Machine Laerning, além do 16 que fala sobre transparência dos algoritmos, foram os que me chamaram mais atenção.
A versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto.

Códigos do “50 Algorithms Every Programmer Should Know – 2nd edition”

No Github da editora você pode acompanhar os códigos do livro e reproduzir o que estudou para fixar o aprendizado com os 50 algoritmos que todo desenvolvedor deve conhecer.

Bons estudos!

O post Review do Livro “50 Algorithms Every Programmer Should Know – 2nd edition” apareceu primeiro em Diego Nogare.

Review do Livro “Machine Learning Engineering with Python – 2nd edition”

Diego Nogare — Tue, 16 Jan 2024 01:30:31 +0000

Review do livro “Machine Learning Engineering with Python – 2nd Edition“, que foi escrito por Andrew P. McMahon e publicado pela Packt Pub. Neste livro você aprenderá sobre MLOps e como trabalhar de forma efetiva com o ciclo de vida de modelos de Machine Learning.

O livro e seus capítulos

Quero compartilhar minhas impressões, mas já destaco que é uma leitura completa para entusiastas de MLOps e EngML. Para evitar dúvidas quanto à terminologia, escrevi sobre a diferença destes termos aqui neste post.

Com uma abordagem direta, o livro ensina de forma prática como gerenciar o ciclo de vida de modelos de aprendizado de máquina usando técnicas de MLOps. O livro é organizado em 9 capítulos e aborda conceitos técnicos, padrões de implementação com boas práticas e metodologias de desenvolvimento de modelos.

Vamos aos capítulos…

Cap 1 – Introdução à Machine Learning Engineering

Este capítulo discuti um pouco sobre as carreiras e disciplinas de Ciência de Dados, Engenharia de Dados, Engeharia de ML e Engenharia de MLOps. Discute sobre trabalhar de forma efetiva com um time multidisciplinar, além de apresentar desafios do mundo real e compartilha padrões de desenvolvimento e boas práticas para serem seguidas;

Cap 2 – Processo de desenvolvimento de Machine Learning

Aqui passa um pouco sobre o CRISP-DM (Cross Industry Standard Process for Data Mining), além de ajudar a montar o setup necessário para desenvolver soluções de EngML com Python;

Cap 3 – Do modelo para a Fábrica de Modelos

Aborda as etapas necessárias para construir as pipelines de desenvolvimento, aprofundando em cada estágio apresentado. Explica as fases de definição dos ambientes, escolha e definição das variáveis, treino e retreino do modelo, persistência e serving (ainda não consegui usar um termo em Português mais apropriado do que o termo original em Inglês para o Serving) do modelo;

Cap 4 – Empacotando a aplicação (prefiro o termo original “Packaging”, mas empacotamento funciona aqui)

Aqui o autor dedica bastante tempo para trabalhar com boas práticas de Python e como isso pode lhe ajudar a desenvolver suas pipelines mais otimizadas;

Cap 5 – Publicando padrões e ferramentas

São discutidas boas práticas e padrões de projetos para desenvolvimento de projetos de Machine Learning, deem uma atenção especial à este capítulo. O texto cobre assuntos como microsserviços, containerização, mas também discute ferramentas de mercado como Airflow, ZenML e Kubeflow. O capítulo é concluído com uma discussão estratégica para a publicação do seu projeto;

Cap 6 – Escalando a aplicação

Também é um assunto importante, porque escalabilidade reflete diretamente no quanto seu ambiente atenderá os clientes e também o quanto isso vai custar no fim do mês. Neste capítulo são discutidos tópicos sobre desenho de soluções e alternativas de cloud computing para atender a demanda do projeto, mas sem gastar uma fortuna;

Cap 7 – Deep Learning, Generative AI e LLMOps

Posso estar sendo muito injusto, mas aqui eu arrisco dizer que este capítulo entrou no livro por questões de timing. Até novembro/2022 quando a OpenAI lançou o ChatGPT, eram poucos projetos que se mostravam relevantes para esse tipo de tecnologia. Porém, após o lançamento do ChatGPT e a facilidade de uso para o publico fora do nicho de LLM, a busca por este tema cresceu muito. Inclusive, estes assuntos de Generative AI estão no Hype não só nas publicações de redes sociais, mas também em discussões estratégicas em empresas e congressos científicos.

É apresentado uma introdução à Deep Learning com PyTorch e fine-tuning. Em seguida introduz o assunto de LLM (Large Language Model) e finaliza o capítulo com a explicação de como funciona uma pipeline de LLM Operation.

Cap 8 – Construindo um modelo com Microsserviços e 9 – Construindo um caso de uso de ETML

Aqui tomei a liberdade de juntar os dois capítulos que, na minha interpretação, seguem um propósito muito parecidos. No capítulo 8 é discutido como construir sua solução a partir de peças e arquitetura de microsserviços, mas no capítulo 9 são discutidas as tarefas para se fazer no ETML (Extract, Tranform and Machine Learning).

Confesso que foi aqui primeira vez que li sobre o assunto com o nome de ETML.

O porque eu juntei os dois capítulos? Porque os dois tratam de casos de uso, no capítulo 8 é um estudo de Forecasting, mas no capítulo 9 é um estudo de Processamento Batch.

Minha opinião

Na minha opinião é um material útil para aprender ou aprimorar suas habilidades em EngML com Python. O livro oferece uma visão geral, porém prática e aplicada, de como criar soluções robustas e escaláveis com ML usando ferramentas e técnicas modernas, incluindo soluções Open Source e também de Cloud Computing.

No geral recomendo a leitura para quem se interessa pelo assunto, a versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto. Para mim, os capítulos que discutem arquitetura, boas práticas e padrões de projetos são os que me chamaram mais atenção.

No site da Packt Pub, o livro digital está em promoção por apenas 10USD, aproveite enquanto está disponível nessa promoção: https://www.packtpub.com/product/machine-learning-engineering-with-python-second-edition/9781837631964

MLOps – Ciclo de vida de modelos

No Github da editora você pode acompanhar os códigos do livro e criar seus projetos envolvendo o ciclo de vida de modelos.

Bons estudos!

2024 e eu ainda não me adaptei com eBooks, só consigo ler livros físicos… vai entender!

Eu segurando o livro físico “Manchine Learning Engineering with Python – 2nd edition”

O post Review do Livro “Machine Learning Engineering with Python – 2nd edition” apareceu primeiro em Diego Nogare.