Esse meme é comum em fóruns de tecnologia e até no LinkedIn. Geralmente, as pessoas o utilizam para celebrar a conclusão do doutorado de forma leve e bem-humorada (alguns são arrogantes e espero não ficar assim!). A brincadeira marca o momento em que o aluno recebe o reconhecimento formal por seu esforço acadêmico intenso. Além disso, a brincadeira serve como uma ferramenta de quebra de gelo em ambientes técnicos muito sérios. No caso da minha pesquisa, resultados operacionais reais no setor financeiro validam essa nova autoridade técnica. Afinal, propor uma nova arquitetura de referência para plataformas de MLOps é uma proeza digna de um legítimo “Doutor”. rss

Um pouco da minha pesquisa

A jornada para colocar um modelo de Machine Learning em produção enfrenta obstáculos no ambiente corporativo. Muitos projetos de ML não atingem a fase operacional ou falham em entregar o valor esperado para o negócio. Isso por si só, já é ruim! Além disso, os profissionais de ciência de dados, frequentemente, focam na matemática dos algoritmos e acabam desprezando aspectos da computação como a Engenharia de Software. Elementos como qualidade, performance e confiabilidade acabam negligenciados durante o ciclo de desenvolvimento. E isso não é exatamente um problema, visto que a área de Ciência de Dados é bem plural e tem profissionais de muitas formações distintas.

E para ajudar, equipes de ciência de dados sofrem com a falta de infraestrutura automatizada e processos manuais lentos. Por exemplo, no Itaú Unibanco S.A., cientistas chegavam a esperar seis meses por recursos computacionais. Essa demora gerava um backlog crítico de mais de 100 modelos aguardando publicação. Entretanto, a instabilidade dos dados e a complexidade das dependências de entrada tornam o fluxo de trabalho manual altamente propenso a erros.

A área de MLOps surge justamente para automatizar esse ciclo de vida de desenvolvimento de modelos de ML iterativo. No entanto, a literatura acadêmica ainda apresenta poucas pesquisas sobre as técnicas de implementação prática e publicação, dando muito mais foco na parte de desenvolvimento/experimentação.

Metodologia baseada em dados e o rigor científico

Para dar fundamentação metodológica para a pesquisa, segui para uma abordagem de Pesquisa Aplicada, que trás em seu processo um alto rigor científico. Primeiramente, segui para uma Revisão Sistemática de Literatura (RSL) analisando 131 artigos primários publicados entre 2018 e 2024. Estes foram os artigos que li de fato, mas a pesquisa começou com mais de 2.800 publicações científicas. Essa análise permitiu identificar 12 categorias temáticas essenciais que orbitam a a área de MLOps.

Além da base teórica, também conduzi uma pesquisa anônima com 25 profissionais e executivos brasileiros. Essa etapa revelou os desafios reais enfrentados pelas indústrias, como a dificuldade de integração com sistemas legados. Os entrevistados apontaram que ferramentas existentes são complexas e exigem alta especialização técnica, o que impacta os projetos como um todo. Essa coleta de respostas foi fundamental para embasar o desenvolvimento da nova arquitetura que desenvolvi.

O terceiro pilar da metodologia eu investiguei a estratégia de “construir versus comprar” soluções de tecnologia. Construí um guia de suporte à tomada de decisão rigoroso baseado na maturidade da empresa e na vantagem competitiva do projeto. Se o MLOps for atividade central para o negócio, o desenvolvimento interno torna-se o caminho recomendado. Caso contrário, a aquisição de ferramentas de mercado pode acelerar a integração da IA nos produtos… Mas vale dar uma olhada com calma nessa publicação porque ela pode ser extrapolada para outras ferramentas e áreas. Ficou bem robusta

A solução que apresentei é de uma Arquitetura de Referência modular

A solução central da tese é uma Arquitetura de Referência composta por quatro estágios interconectados e modulares. O Estágio 1 foca na Engenharia de Dados, defendendo a centralidade e governança das fontes de informação. Nesta camada, processos de aquisição, preparação e validação garantem que os dados tenham a qualidade necessária para o treinamento. Consequentemente, o versionamento de dados torna-se peça-chave para a reprodutibilidade dos experimentos.

O Estágio 2 abrange o Ambiente de Desenvolvimento, onde ocorre a construção cíclica do modelo de ML. Detalho as etapas de ajuste de hiperparâmetros, seleção de algoritmos e avaliação de performance. Além disso, a arquitetura prevê a manutenção constante do código para evitar o acúmulo de débitos técnicos. Já o Estágio 3 foca no Ambiente de Produção, gerenciando as esteiras de inferência e publicação.

Finalmente, o Estágio 4 aborda as Preocupações Transversais, que permeiam todo o ciclo de vida do modelo. Este estágio inclui segurança cibernética, monitoramento contínuo e a flexibilidade do poder computacional. Dou destaque que o monitoramento deve registrar logs operacionais e detectar desvios estatísticos, como o data-drift. Essa estrutura modular mitiga a complexidade e permite que múltiplos times descentralizados colaborem de forma eficiente.

Escalabilidade e gestão de modelos de Deep Learning

Um diferencial importante desta Tese é o suporte explícito para esteiras de Deep Learning. Uma das soluções é o uso de contêineres e tecnologias de nuvem para garantir a portabilidade dos modelos. Assim, o sistema consegue processar predições em tempo real com baixa latência para o usuário final. A arquitetura detalha processos de Continuous Training (CT), permitindo o retreinamento automático dos modelos quando necessário. Isso é importante porque o desempenho de um modelo de IA pode degradar rapidamente no mundo real. Através da observabilidade, os engenheiros conseguem investigar comportamentos históricos e diagnosticar problemas silenciosos. Além disso, a transparência e a explicabilidade da IA são pilares fundamentais para garantir um processamento ético.

O fluxo operacional apresentado na Tese guia o desenvolvedor desde a definição de requisitos até a predição final. O uso de padrões como o “Modelo Campeão/Desafiante” permite testar novos algoritmos em paralelo sem afetar a produção. Se parar para ver com calma, a solução oferece um roteiro técnico preciso para evitar falhas comuns no desenvolvimento de projetos de IA, ML e DL.

It’s Dr. Actually

Já que chegou até aqui e investiu tempo lendo um pouco do trabalho que demorei 4 anos para concluir, te convido a gastar mais tempo e acompanhar as publicações que fiz em periódicos e congressos científicos. Afinal (tentando fazer a brincadeira do começo do post) It’s Dr., actually!

• 2022 – Automação no processo de publicação de modelos de Ciência de Dados
• 2024 – Experimentation, Deployment and Monitoring Machine Learning Models: Approaches for applying MLOps
• 2024 – Machine Learning Model: Perspectives for quality, observability, risk and continuous monitoring
• 2025 – MLOps for Machine Learning Model Lifecycle Automation – A Systematic Literature Review
• 2025 – Interpersonal Trust in the Era of Scientific Communication with Artificial Intelligence – An Essay
• 2025 – Make or buy strategy for Machine Learning Operations – MLOps
• 2025 – Experimentation, deployment, and monitoring of machine learning models: How MLOps enhances AI productization
• 2025 – How MLOps boosts AI productization with experimentation, deployment, and monitoring of machine learning models
• 2026 – Towards a New MLOps Architecture: A Methodological Approach Driven by Business and Scientific Requirements (ainda não está indexado no portal da SBC)

Muito obrigado!

Um doutorado não se faz da noite para o dia, foi uma construção de anos de dedicação, estudos e stress para criar essa Arquitetura de Referência de MLOps para projetos de Machine Lerning e Deep Learning… E, assim como a ciência, um doutorado não se faz sozinho. Quero aproveitar esse finalzinho do texto para agradecer todas pessoas que participaram comigo das publicações, todos que assistiram as apresentações ou leram os papers, todos que de forma direta ou indireta contribuíram para este trabalho. Vocês são parte disso, queria que a alegria desta titulação também se estendesse até vocês! E, claro, quero deixar um agradecimento especial à meus orientadores (Leandro Augusto da Silva e Ismar Frango Silveira) e aos avaliadores da banca (Marcelo Nogueira, Alexandra Aparecida de Souza, Gustavo Scalabrini Sampaio e Fabio Silva Lopes), suas sugestões e ensinamentos contribuíram com o resultado final deste trabalho.

MUITO OBRIGADO!

A foto de capa foi gerada com o Google Nano Banana 3, usando o prompt: Foto ultra-realista, com iluminação de estúdio, de uma mesa de trabalho de um profissional da computação com um teclado e mouse sem fio e um monitor ultra-wide curvo. A organização da mesa é bagunçada, mas em destaque tem uma xícara de café com o texto “It’s Dr. Actually” em letras pixealizadas como um terminal de computador.

O post It’s Dr. actually apareceu primeiro em Diego Nogare.

Quero destacar neste texto quem são os profissionais impactados por essa mudança e por que a negligência na qualidade dos dados estruturados pode levar ao fracasso de projetos em produção. Falo sobre o uso estratégico de Data Augmentation em séries temporais e os perigos silenciosos dos dados ruins, conhecidos como “Garbage In –> Garbage Out”. Além disso, conto como o MLOps surge como uma resposta factível para mitigar Drifts e garantir a escalabilidade.

Estratégias de Data Augmentation em dados estruturados

A técnica de Data Augmentation é amplamente difundida em projetos de visão computacional, audio analytics e mineração de texto, porém, sua aplicação em dados estruturados exige uma abordagem muito mais cautelosa e científica. Especialmente em cenários de Análise de Séries Temporais Históricas, a geração de dados sintéticos não pode ser aleatória. Contudo, para garantir que o aumento de dados beneficie o modelo, devemos seguir princípios eficientes.

• O primeiro deles é o Princípio da Preservação. Este conceito dita que devemos preservar o significado semântico dos dados originais durante qualquer transformação. Se uma alteração modifica o rótulo ou a essência da informação, não estamos aumentando os dados, mas sim corrompendo ou envenenando aquele dado;
• Além disso, temos o Princípio da Distribuição. As variações introduzidas no conjunto de treinamento devem representar flutuações realistas que o modelo encontrará no ambiente de produção. Criar cenários impossíveis apenas confunde o algoritmo e degrada sua capacidade de generalização;
• Por fim, aplicamos o Princípio da Medição. Modelos de aprendizado profundo submetidos a um aumento de dados correto devem apresentar métricas superiores. Portanto, esperamos melhorias tangíveis na perda de treinamento, na precisão e na validação geral em comparação com modelos treinados sem essa técnica.

O custo oculto da baixa qualidade dos dados

Muitas equipes de ciência de dados concentram seus esforços excessivamente na seleção de arquiteturas complexas de redes neurais e negligenciam a matéria-prima básica: os dados. Esse descuido resulta em um fenômeno perigoso conhecido como GIGO – Garbage In: Garbage Out. Basicamente, se um modelo consome dados ruins durante o treinamento, ele inevitavelmente gerará previsões ruins, independentemente da sofisticação do algoritmo. O problema se agrava porque existe, frequentemente, uma discrepância significativa entre os dados limpos usados em ambiente controlado de desenvolvimento e os dados caóticos do mundo real.

Essa diferença de ambiente propicia o surgimento de falhas críticas. O Data Drift ocorre quando as propriedades estatísticas dos dados de entrada mudam ao longo do tempo, tornando o modelo obsoleto. Similarmente, o Model Drift acontece quando a relação entre as variáveis de entrada e a saída desejada se altera. Além disso, existe o risco de Data Poisoning, onde dados corrompidos são inseridos intencionalmente ou acidentalmente no fluxo de treinamento. Portanto, sem um monitoramento constante da qualidade dos dados rotulados, as métricas de sucesso obtidas no treinamento tornam-se irrelevantes quando o sistema entra em produção.

MLOps: Uma resposta para escalar com segurança

Diante dos riscos apresentados pelo aumento de dados mal executado e pela degradação da qualidade dos dados, a adoção de Machine Learning Operations (MLOps) torna-se quase que mandatória! Cientistas de dados, por natureza, focam na precisão estatística e na descoberta de padrões. No entanto, eles raramente priorizam questões de infraestrutura, como latência, aumento de chamadas de sistema ou escalabilidade de endpoints. É aqui que o MLOps atua, criando uma base sólida para que a ciência de dados atenda a demanda de negócio, em conjunto com as questões de operações de TI e da engenharia de software.

Empresas maduras utilizam MLOps para automatizar o ciclo de vida do modelo. Isso inclui pipelines automatizados que validam a qualidade dos dados antes mesmo do retreino começar. Dessa forma, garantimos que os princípios de preservação e distribuição do Data Augmentation sejam respeitados em cada iteração.

Além disso, sistemas de MLOps implementam monitoramento em tempo real para detectar drifts imediatamente. Assim, quando o modelo em produção começa a divergir do comportamento esperado devido a mudanças no comportamento do consumidor ou do mercado, o sistema pode alertar a equipe ou até iniciar um retreino automático. Consequentemente, a aplicação ganha estabilidade e capacidade de atender a uma demanda crescente de usuários sem colapsar.

Contexto de mercado

A refatoração de modelos estáticos para sistemas dinâmicos gerenciados por MLOps não é apenas uma capricho técnico, mas uma necessidade de sobrevivência corporativa. Não podemos nos dar o luxo de subir modelos em produção que respondam errado para nossos clientes.

Grandes players do mercado já demonstraram que a gestão eficiente de dados e modelos é o segredo para a liderança. Um exemplo disso foi o projeto que atuei no Itaú por alguns anos, para a construção da plataforma de MLOps em parceria com a AWS. Os resultados foram significativos e mudaram o patamar da plataforma de ciência de dados do banco.

Outro exemplo, a Uber, com sua plataforma Michelangelo, estabeleceu um padrão ouro ao permitir que modelos de previsão de demanda e tempo de chegada fossem atualizados e monitorados em escala global. Sem essa infraestrutura de MLOps, a Uber não conseguiria lidar com o Data Drift causado por eventos de trânsito em tempo real ou mudanças climáticas repentinas.

Outro exemplo notável é a Netflix. O sistema de recomendação da empresa depende inteiramente de dados comportamentais que mudam a cada segundo. Eles utilizam práticas avançadas de MLOps para garantir que o “envenenamento” de dados ou anomalias isoladas não afetem a experiência de milhões de usuários.

Para os desenvolvedores e a sociedade, isso significa serviços mais confiáveis e personalizados. O impacto no mercado é claro, empresas que insistem em tratar IA como um projeto artesanal, introduzindo tarefas Data Augmentation de forma incorreta e sem monitoramento de dados, perderão competitividade rapidamente para aquelas que profissionalizam seus processos de IA.

Priorize seus dados nos projetos de IA e ML

Na minha visão, a implementação de modelos de IA e ML em produção exige muito mais do que código limpo, algoritmos modernos e um time de ciência de dados para chamar de seu. Entendo que isso exige uma mudança de mentalidade voltada para a governança de dados. Comentei mais acima que as técnicas de Data Augmentation em dados estruturados podem ser poderosas, desde que respeitem os princípios de preservação e distribuição. Contudo, mesmo assim, o risco do GIGO permanece como uma ameaça constante que pode destruir o valor de negócio de qualquer iniciativa de IA. Priorize seus dados nos projetos de IA e ML!

A adoção de MLOps não deve ser vista como um custo adicional de infraestrutura, mas como um seguro contra a obsolescência, o erro e o caos dos sistemas em produção. A capacidade de detectar drifts nos dados e escalar operações de forma automatizada é o que separa provas de conceito interessantes de produtos digitais lucrativos e resilientes. E sem contar, é claro, que irá economizar rios de dinheiro ao se implementar de forma correta.

A imagem de capa foi feita com o Google Nano Banana 3, com o prompt: Na esquerda mostra um laboratório caótico com lixo “GIGO” e gráficos de erro vermelhos. Centro traz uma ponte tecnológica com uma placa “MLOps” filtrando e organizando dados. Direita revela um data center futurista e limpo com métricas de sucesso verdes. A composição da imagem deve ser fluída e contínua, indicando que a saída do caos da esquerda para chegar ao sossego do lado direito, é através da ponte de MLOps do centro. Aplique estilo fotorrealista, iluminação cinematográfica, simbolizando a transformação de dados ruins em IA escalável.

O post Priorize seus dados nos projetos de IA e ML apareceu primeiro em Diego Nogare.

O paradoxo da adoção vs. maturidade

Uma das principais fontes de confusão reside na diferença entre adoção individual e maturidade organizacional. Relatórios recentes pintam cenários aparentemente opostos.

Por um lado, a Bain & Company relata uma “adoção rápida e massiva de IA”. A empresa destaca que 85% dos executivos veem a IA generativa como uma das cinco principais prioridades. Similarmente, o “AI 2027 Report” do AI Futures Project, da Anthropic, aponta que 40% dos funcionários nos EUA já relatam usar IA no trabalho, um aumento significativo de 20% em 2023. Esses números sugerem uma integração veloz.

Por outro lado, as análises de maturidade estrutural contam uma história diferente. A Accenture, em seu relatório “The Art of AI Maturity”, classifica a maioria das empresas (63%) como “Experimentadoras”. Apenas 12% das organizações atingiram o nível de “Realizadores de IA” (AI Achievers), onde a IA impulsiona crescimento superior e transformação de negócios.

Essa visão é corroborada por dados anteriores da ElementAI (empresa do grupo ServiceNow), que indicavam que menos de 10% das organizações estavam maduras o suficiente para operacionalizar a IA em escala. Portanto, temos um cenário onde milhões de funcionários usam a tecnologia (adoção), mas poucas empresas conseguem integrá-la estrategicamente em seus processos centrais (maturidade).

Essa distinção é importante, ela mostra que, embora as ferramentas sejam acessíveis, a transformação de processos de negócios necessária para extrair valor real ainda é um obstáculo significativo.

AGI, superinteligência e o abismo de timelines

O segundo grande ponto de divergência é o cronograma para a chegada da Inteligência Artificial Geral (AGI) ou superinteligência. A natureza dessa discussão varia radicalmente dependendo da fonte.

O “AI 2027 Report” da Anthropic é explícito. O relatório prevê um impacto “excedendo o da Revolução Industrial” e cita CEOs dos principais laboratórios de IA, que preveem a AGI “nos próximos 5 anos” (por volta de 2030). O próprio cenário fictício do relatório, baseado em extrapolações de tendências, posiciona um “Pesquisador de IA Super-humano” em agosto de 2027.

Essa perspectiva acelerada foca na velocidade da pesquisa e no potencial de autoaperfeiçoamento da IA. Ela trata a superinteligência como um evento iminente que redefinirá a sociedade.

Em contrapartida, os relatórios de consultorias como Gartner, Deloitte e Bain & Company focam em horizontes de negócios mais imediatos, geralmente de três a cinco anos. Seus documentos abordam a implementação de MLOps , a importância dos “AI Engineers” e o ROI de casos de uso atuais, como desenvolvimento de software e atendimento ao cliente.

Essas publicações tratam a IA como uma poderosa ferramenta de otimização de negócios e transformação operacional, não como um evento existencial no curto prazo. O resultado é que um desenvolvedor lendo o Gartner se prepara para integrar MLOps , enquanto um desenvolvedor lendo a Anthropic se prepara para uma singularidade tecnológica.

O jargão da maturidade: Modelos em conflito

Mesmo quando os relatórios concordam sobre a importância da maturidade, eles a medem de formas completamente diferentes. Cada consultoria criou seu próprio framework de maturidade proprietário, dificultando a comparação direta. A Accenture, por exemplo, utiliza um quadrante que classifica as empresas em quatro perfis: Experimentadoras (a maioria, com 63% ), Construtoras (Builders), Inovadoras e Realizadoras (a elite, com 12% ). A classificação depende da força em “capacidades fundamentais” versus “capacidades de diferenciação”.

Já o framework da ElementAI, apresentado em seu whitepaper, usa um modelo de cinco estágios progressivos: Explorando, Experimentando, Formalizando, Otimizando e Transformando. Além disso, ele avalia cinco dimensões organizacionais: Estratégia, Dados, Tecnologia, Pessoas e Governança.

A Deloitte complica ainda mais com seu “AI Readiness & Management Framework” (aiRMF). Este modelo se divide em três funções centrais (Definir a Direção, Construir Capacidades, Gerenciar Holisticamente). Essas funções se desdobram em dez áreas de capacidade distintas, como “Prontidão de Dados” e “Força de Trabalho Habilitada para IA”.

Essa proliferação de modelos significa que um CIO pode ser classificado como “Inovador” pela Accenture (porque é forte em estratégia, mas fraco na fundação). Por outro lado, esse mesmo CIO pode estar apenas no estágio “Experimentando” da ElementAI. Enquanto isso, o framework da Deloitte pode apontar uma falha específica na “Entrega e Operações de IA”. Difícil, né?!

Análise e contexto

Essa fragmentação da verdade não é apenas um exercício acadêmico; ela tem impactos diretos no mercado. A confusão gerada por relatórios conflitantes pode levar à paralisia estratégica. Líderes de negócios, bombardeados por diferentes diagnósticos e prioridades, podem atrasar investimentos cruciais por medo de apostar no framework errado.

Para os desenvolvedores e profissionais de tecnologia, a confusão define o desenvolvimento de carreira. O Gartner, por exemplo, publica relatórios detalhados sobre as habilidades essenciais para “AI Engineers” e “Machine Learning Engineers”. Esses relatórios focam na ponte entre ciência de dados e operações (MLOps). Enquanto isso, relatórios focados em AGI sugerem que habilidades de “alinhamento de superinteligência” são as competências do futuro.

O impacto social também é polarizado. Relatórios que preveem a automação total de funções, como codificação e pesquisa , alimentam o debate sobre desemprego em massa. Em contrapartida, relatórios focados em produtividade, como o da Bain, sugerem que a IA é uma ferramenta de aumento de eficiência (ex: redução de 15% em tempo de codificação ), e não uma substituição completa.

Sobre a questão de que A IA vai tomar meu emprego, eu já compartilhei a minha visão e recomendo que façam a leitura.

Conclusão

No final, com tantos relatórios de IA qual verdade você quer? O que escrevi aqui revela que não existe uma única verdade. Na minha visão, o que existe mesmo, é um mosaico de perspectivas com escopos diferentes. Um relatório pode focar em uso (Anthropic) , outro em maturidade (Accenture) , e um terceiro em capacidades operacionais (Deloitte). Nenhum está necessariamente errado, mas, eles apenas respondem a perguntas diferentes, isso porque são relatórios de IA conflitantes.

A verdadeira maturidade em IA talvez não seja definida por alcançar o topo de um desses gráficos. Pelo contrário, ela pode ser a habilidade de sintetizar essas visões parciais e conflitantes em uma estratégia coesa e adaptada à realidade única da própria empresa.

O desafio para os líderes não é encontrar qual relatório é o correto. O verdadeiro problema de negócio é construir uma bússola interna robusta o suficiente para navegar na tempestade de informações e decidir, por conta própria, qual será a sua verdade.

Divirta-se nessa jornada, e se precisar de algum direcionamento, agende uma conversa e te ajudo a encontrar o caminho!

Imagem criada com o Google Gemini 2.5 Pro com o prompt: Homem em um escritório olhando para uma mesa com vários relatórios impressos e com aparência desesperada em não saber qual relatório acreditar. Um monitor de computador com o texto “Novo relatório de IA”

O post Com tantos relatórios de IA, qual verdade você quer? apareceu primeiro em Diego Nogare.

O sucesso do FinOps em ambientes de Inteligência Artificial depende da colaboração entre três áreas distintas, porém, interdependentes. Primeiramente, a equipe de Negócios define o “porquê”. Eles estabelecem os objetivos, as metas estratégicas e o valor esperado que o projeto de IA deve entregar. Com isso, suas decisões direcionam o escopo e a prioridade dos investimentos.

Em seguida, a equipe de Finanças cuida do “quanto”. Ela é responsável por alocar o orçamento, monitorar o Custo Total de Propriedade (Total Cost Ownership – TCO) e garantir que o Retorno sobre o Investimento (Return on Investment – ROI) seja mensurável e alcançável. Além disso, os profissionais que cuidam do orçamento traduzem os gastos técnicos em relatórios compreensíveis para os stakeholders, criando uma ponte de comunicação vital.

Por fim, a equipe de Engenharia executa o “como”. Engenheiros de dados, cientistas de dados e especialistas em MLOps implementam as soluções, escolhendo as arquiteturas e os serviços de nuvem mais adequados. Todavia, sob a ótica do FinOps, sua responsabilidade vai além da implementação técnica. Eles devem, igualmente, otimizar o uso de recursos, selecionar instâncias de computação com melhor custo-benefício e instrumentar o código para fornecer dados claros sobre o consumo. Essa colaboração transforma a gestão de custos de uma tarefa reativa para uma responsabilidade compartilhada e proativa.

Implementando a cultura de FinOps

A implementação do FinOps não é um projeto com início, meio e fim, mas sim um ciclo iterativo e contínuo. Esse processo garante que a otimização de custos seja uma prática constante e adaptável às mudanças do projeto e do mercado. As cerimônias rigorosas e a comunicação frequente são essenciais para o sucesso. O ciclo se divide em três fases principais: Informar, Otimizar e Operar.

Na fase de Informar, o objetivo principal é a visibilidade. É aqui que ocorre o levantamento detalhado dos custos. As equipes trabalham juntas para etiquetar (tagging) recursos, alocar despesas a centros de custo específicos e criar dashboards que ofereçam uma visão clara e em tempo real de onde o dinheiro está sendo gasto;

Em seguida, a fase de Otimizar foca na ação. Com base nos dados coletados, as equipes identificam oportunidades de redução de custos, como desligar recursos ociosos, redimensionar instâncias superdimensionadas ou adotar modelos de compra mais vantajosos, como instâncias spot ou planos de economia;

Finalmente, a fase de Operar consolida o ciclo. Nela, as otimizações são implementadas e a governança é automatizada. As equipes definem políticas, estabelecem alertas de orçamento e refinam continuamente as melhores práticas. As apresentações regulares para os stakeholders garantem que todos estejam alinhados, celebrando as vitórias na economia de custos e planejando os próximos passos. Este ciclo garante que a gestão financeira evolua junto com a complexidade dos modelos de IA.

Colocando em prática

Para colocar a teoria do FinOps em prática, as equipes precisam de frameworks estruturados e ferramentas adequadas. A FinOps Foundation é a principal referência global sobre o assunto. A fundação oferece certificações, pesquisas e um framework agnóstico de nuvem que detalha as capacidades, os princípios e as fases do ciclo de vida FinOps. Adotar um framework como este proporciona uma linguagem comum e um roteiro claro para a jornada de maturidade em gestão financeira na nuvem.

A importância do FinOps para projetos de IA transcende a simples economia de custos. Na prática, ele funciona como um seguro contra o principal motivo de falha de muitas iniciativas de inovação: a inviabilidade financeira!

Um modelo de IA pode ser tecnicamente perfeito, mas se seu custo de treinamento e inferência for proibitivo, ele jamais sairá do laboratório para a produção. Portanto, o FinOps desmistifica o custo da IA, transformando-o de uma variável imprevisível em um componente gerenciável da estratégia de negócio. Isso significa que as empresas podem inovar com mais segurança, escalar suas operações de IA de forma sustentável e garantir que os investimentos em tecnologia de ponta se traduzam, de fato, em vantagem competitiva e crescimento para o negócio.

Me arrisco a afirmar, com certo grau elevado de confiança, que adotar o FinOps em projetos de IA não é mais um diferencial, mas uma necessidade estratégica. A disciplina promove uma cultura de responsabilidade financeira que permeia as equipes de Engenharia, Finanças e Negócios, garantindo que a inovação tecnológica caminhe lado a lado com a sustentabilidade econômica. Ao invés de restringir a experimentação, o FinOps a viabiliza, fornecendo o framework necessário para escalar soluções de IA com confiança e previsibilidade. Olhando para o futuro, a integração do FinOps será tão fundamental quanto as práticas de DevOps e MLOps no ciclo de vida do software e de Machine Learning.

Eu li esse livro na assinatura da O’Reilly, vale muito a pena para aprender sobre a importância do FinOps para projetos, e dá para facilmente extrapolar para projetos de IA! Invista um tempo estudando a disciplina, isso lhe retornará de forma bem positiva.

Imagem de capa criada com IA:  Usei o prompt no Gemini: Um ser-humano biônico, desenhando um cifrão ($) em um quadro, em um estilo de ilustração digital de cartoon

O post A importância do FinOps para projetos de IA apareceu primeiro em Diego Nogare.

A principal vantagem do MLOps reside na automação do ciclo de vida dos modelos, desde o desenvolvimento até a produção. Isso minimiza significativamente os erros humanos, garantindo consistência e reprodutibilidade nos deployments. Assim, as organizações podem inovar mais rapidamente e com maior confiança.

Pilares do MLOps

Os três pilares do MLOps são fundamentais para sua aplicação eficaz:

Em primeiro lugar, o pilar de Experimentação de Modelos foca na gestão eficiente de diversas iterações e versões. É aqui que os cientistas de dados desenvolvem e testam novos algoritmos e conjuntos de dados, garantindo a rastreabilidade de cada tentativa.

Em seguida, a Publicação de Modelos abrange o processo de implantação automatizada em ambientes de produção. Este pilar é parte chave para evitar falhas humanas causadas por processos manuais, oferecendo:
– Garantir a integridade do modelo após o treinamento;
– Automatizar o pipeline de CI/CD para deployment contínuo;
– Facilitar o versionamento e rollback rápido em caso de problemas.

Por fim, o Monitoramento de Modelos, é o pilar essencial para acompanhar o desempenho em tempo real. Ele detecta desvios, como model drift ou degradação de performance, disparando alertas e otimizando o retreinamento automático.

A adoção do MLOps não é apenas uma melhor prática técnica, mas uma necessidade estratégica para o mercado atual.

Para empresas, significa maior agilidade, redução de riscos e entrega contínua de valor de IA, impulsionando a inovação. Para desenvolvedores, proporciona ferramentas robustas e processos claros, liberando tempo para focar na criatividade e no aprimoramento dos algoritmos. O MLOps é, sem duvida, a ponte entre o laboratório de IA e o mundo real, moldando o futuro da entrega de valor inteligente.

Meu doutorado foi sobre isso… Vamos bater um papo e eu te ajudo a implementar MLOps na sua empresa?!

O post [Micro-blog] Como o MLOps otimiza a publicação de modelos em produção e evita erros humanos apareceu primeiro em Diego Nogare.

Ele também destaca a importância do Machine Learning Operations (MLOps) para gerenciar a complexidade e a escala dos projetos LLM. Para minha surpresa positiva, o livro também fornece uma base inicial nos princípios de MLOps (no apêndice do livro).

O livro foi escrito com uma abordagem prática, desenvolvendo um projeto de ponta a ponta chamado LLM Twin, que é um aplicativo que imita o estilo de escrita e a personalidade de uma pessoa. Este projeto serve como um exemplo do mundo real ao longo do livro para solidificar os principais conceitos e técnicas estudados, além de ter o objetivo fornecer práticas e dicas de especialistas para cada estágio do ciclo de vida do LLM.

Review dos capítulos do livro

São 11 capítulos mais o apêndice, e aqui está um review do livro separado pelo que é abordado em cada capítulo:

• O Capítulo 1 apresenta o projeto LLM Twin e primeiramente define a arquitetura FTI (Feature, Train, Inference) para construir sistemas ML escaláveis.
• O Capítulo 2 apresenta as ferramentas essenciais para construir aplicativos LLM. Inclui Python, ferramentas MLOps e recursos de nuvem (mas até nos orienta a instalá-los localmente para teste e desenvolvimento).
• O Capítulo 3 se concentra na engenharia de dados, embora ensine como implementar um pipeline de coleta de dados de várias fontes. Ele destaca a importância de coletar dados dinâmicos do mundo real.
• O Capítulo 4 apresenta os fundamentos da Retrieval-Augmented Generation (RAG), incluindo embeddings, bancos de dados vetoriais e estratégias de otimização.
• O Capítulo 5 explora de fato o ajuste fino supervisionado, abrangendo a criação de conjuntos de dados de alta qualidade e técnicas de ajuste fino, como ajuste fino completo, LoRA e QLoRA. Ele também inclui uma demonstração prática usando um modelo Llama 3.1 8B.
• O Capítulo 6 se aprofunda no ajuste fino com alinhamento de preferências, focando especificamente na Otimização de Preferência Direta (DPO). Ele inclui como criar conjuntos de dados de preferências personalizados e uma demonstração prática do alinhamento do modelo TwinLlama-3.1-8B.
• O Capítulo 7 detalha vários métodos para avaliar o desempenho do LLM, abrangendo avaliações de uso geral e específicas de domínio. Mas também demonstra uma avaliação do modelo Llama 3.1 8B ajustado.
• O Capítulo 8 abrange estratégias de otimização de inferência, como decodificação especulativa, paralelismo de modelo e quantização de peso para melhorar a velocidade e reduzir a latência.
• O Capítulo 9 explora técnicas avançadas de RAG implementando métodos como, por exemplo, autoconsulta, reclassificação e pesquisa vetorial filtrada.
• O Capítulo 10 apresenta estratégias de implantação de ML, incluindo inferência online, assíncrona e em lote. Embora também mostra como implantar o modelo no Sagemaker, construir um microsserviço FastAPI para expor o pipeline de inferência do RAG.
• O Capítulo 11 explica o LLMOps, começando com suas raízes no DevOps e MLOps, incluindo como implantar o projeto LLM Twin na nuvem. Embora também explique como conteinerizar o código usando o Docker e construir um pipeline de CI/CD/CT (Integração, Implantação e Treinamento Contínuos), além do mais, também ensina como adicionar uma camada de monitoramento rápido ao pipeline.

Minhas impressões

Se você estudar seriamente, ao final do livro, de fato entenderá como coletar e preparar dados para LLMs, ajustar modelos, otimizar inferência e implementar pipelines RAG. Mas também aprenderá como avaliar desempenho, alinhar modelos com preferências humanas e implantar aplicativos baseados em LLM. Mesmo eu considerando que é util ter o básico de Python, o livro explica conceitos do zero, fazendo a leitura ser acessível para todos, inclusive os que são novos em IA e machine learning.

Não posso deixar de mencionar que a qualidade da produção é realmente bonita e útil. As imagens coloridas nos ajudam a entender melhor os diagramas e o design da arquitetura.

A versão digital do livro está na Amazon por volta de 250 reais reais: https://amzn.to/4a16Deg. Já na Packt você consegue por menos de 10 dólares: https://www.packtpub.com/en-us/product/llm-engineers-handbook-9781836200062

Bons estudos!

O post Review do livro “The LLM Engineer’s Handbook” apareceu primeiro em Diego Nogare.

Seguindo o combinado com vocês sobre o Roadmap MLOps 2024, depois de explicar os passos existentes em projetos de MLOps, hoje te convido para que entenda a etapa de desenvolvimento de MLOps. Primeiramente, vamos relembrar que o processo de MLOps, ou Machine Learning Operations, é uma prática que visa a colaboração e comunicação eficaz entre cientistas de dados e operações. Este processo pode ser dividido em três grandes fases, sendo: Desenvolvimento de Modelos, Publicação de Modelos e Monitoramento de Modelos.

Desenvolvimento de Modelos A fase de Desenvolvimento de Modelos é onde tudo começa. Aqui, os cientistas de dados usam técnicas de Machine Learning para criar modelos preditivos. Estes modelos são treinados com dados históricos, e o objetivo é que eles possam fazer previsões precisas quando forem alimentados com novos dados. Esta fase envolve uma série de etapas, incluindo a coleta e limpeza de dados, a seleção de um algoritmo de aprendizado de máquina, o treinamento do modelo e a avaliação de seu desempenho, entre outras etapas.

Publicação de Modelos Uma vez que um modelo foi desenvolvido e testado, ele está pronto para ser publicado. Na fase de deployment, o modelo é implantado em um ambiente de produção, onde pode começar a fazer previsões em tempo real. Esta fase requer uma estreita colaboração entre cientistas de dados e operações, para garantir que o modelo seja implantado com sucesso e que possa operar de forma eficiente e eficaz.

Monitoramento de Modelos A última fase do processo de MLOps é o Monitoramento de Modelos. Aqui, o desempenho do modelo é monitorado continuamente para garantir que ele continue a fazer previsões precisas. Se o desempenho do modelo começar a degradar, pode ser necessário re-treinar o modelo com novos dados, ou até mesmo desenvolver um novo modelo trocando o algoritmo… Contudo, como cada situação é única, fazer o acompanhamento contínuo é fundamental para que o projeto continue entregando valor para a área de negócios.

Cada uma dessas fases é crucial para o sucesso de um projeto de Machine Learning. No entanto, a fase de Desenvolvimento de Modelos é muitas vezes a mais complexa e demorada. É aqui que os cientistas de dados precisam aplicar sua expertise para desenvolver um modelo que não só faça previsões precisas, mas que também seja robusto e confiável. Portanto, é essencial que esta fase seja gerenciada de forma eficaz para garantir o sucesso do projeto como um todo.

Entenda a etapa de desenvolvimento de MLOps

1 – Acesso e Recuperação de Dados: A primeira etapa do desenvolvimento de MLOps envolve o acesso e a recuperação de dados. Os dados são a espinha dorsal de qualquer projeto de Machine Learning e, portanto, é crucial ter um sistema eficiente para acessar e recuperar esses dados.

3 – Feature Store: Em seguida, é a criação de um feature store. Este é um local centralizado onde as features de Machine Learning são armazenadas e gerenciadas. Ele permite que as equipes de ML reutilizem features entre projetos, melhorando a eficiência e a consistência. Fazendo uma analogia, é como se fosse um catálogo ou vitrine de features para reuso. Mas aqui vale destacar que a Feature Store, apesar de facilitar muito, não é obrigatoriamente um item em projetos de ML.

4 – Ambiente de desenvolvimento: O ambiente de desenvolvimento é onde a mágica acontece. Aqui, os cientistas de dados usam os dados e as features para desenvolver e treinar modelos de Machine Learning. É crucial ter um ambiente de desenvolvimento robusto e flexível para facilitar este processo.

8 – Armazenamento de Artefatos: Finalmente, temos o armazenamento de artefatos. Esta é (agora sim) a etapa final do processo de desenvolvimento de MLOps, onde os modelos treinados e outros artefatos de ML são armazenados para uso futuro.

Codificação

2 – Limpeza de dados: A limpeza de dados é uma atividade existente em todos projetos de ML, e faz parte da etapa de desenvolvimento de MLOps. Os dados brutos coletados podem conter erros, inconsistências ou lacunas que podem afetar a precisão dos modelos de Machine Learning. A limpeza de dados envolve a identificação e correção desses problemas, garantindo que os dados sejam precisos e completos antes de serem usados para treinar um modelo.

O post Roadmap MLOps 2024 – Desenvolvimento apareceu primeiro em Diego Nogare.

Antes de mais nada, vamos embarcar nessa jornada?

Vou aproveitar e compartilhar alguns posts que fiz recentemente, pois estão diretamente conectados a este assunto.

Jan/24 – MLOps e Engenharia de Machine Learning descomplicados

Jan/24 – Review do Livro “Machine Learning Engineering with Python – 2nd edition”

Fev/24 – Ferramentas e plataformas essenciais para projetos de IA e ML

Fev/24 – Melhores práticas para testar e monitorar modelos de ML

Fev/24 – Tendências em Engenharia de Machine Learning e MLOps em 2024

Fev/24 – Aprenda Engenharia de Machine Learning e MLOps online

Abr/24 – IA Ética, IA Responsável e Explicabilidade de IA

Ah, não posso deixar de dizer que MLOps e CRISP-DM são dois componentes fundamentais no desenvolvimento de modelos de machine learning. Enquanto o MLOps fornece a visão macro do processo, o CRISP-DM entra nos detalhes de cada etapa.

CRISP-DM

O MLOps, com as fases de desenvolvimento, implantação e monitoramento de modelos, fornece uma estrutura base para o ciclo de vida do modelo. Por outro lado, o CRISP-DM oferece uma metodologia detalhada para cada fase, desde a compreensão do negócio até a implantação do modelo. O paper do CRISP-DM foi publicado nos anos 2000, e os primeiros artigos de MLOps, por volta de 2015! É importante destacar que, independente da idade, eles se complementam perfeitamente!

Esta é a referência ao artigo original do CRISP-DM:

Shearer, C. (2000). The CRISP-DM model: the new blueprint for data mining. Journal of data warehousing, 5(4), 13-22.

O Cross-Industry Standard Process for Data Mining (CRISP-DM) é uma metodologia amplamente aceita que fornece uma estrutura para o desenvolvimento de modelos de machine learning. É um processo cíclico que consiste em seis fases: compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação. Cada fase tem um papel bem definido no desenvolvimento de modelos de ML, e sua importância edstá diretamente ligada a uma abordagem estruturada e iterativa. Ele permite que as equipes de dados compreendam melhor os problemas de negócios, preparem os dados de maneira adequada, construam modelos eficazes e os implantem com sucesso. Mesmo depois de mais de 20 anos, continua sendo uma metodologia valiosa para o desenvolvimento de modelos de ML.

Etapas macro de MLOps

O MLOps é um campo em rápida evolução, isso já venho falando há algum tempo… Espero que você também possa perceber isso. Em linhas gerais, pode-se dividir o processo de MLOps em três etapas, sendo: Desenvolvimento, Implantação e Monitoramento.

• Desenvolvimento: Esta é a primeira etapa do processo de MLOps e envolve a criação de modelos de machine learning. Durante esta fase, os cientistas de dados coletam e preparam os dados, selecionam os algoritmos apropriados, treinam o modelo e, finalmente, validam o modelo para garantir que ele esteja funcionando conforme o esperado. Esta etapa é crucial, pois a qualidade do modelo desenvolvido afeta diretamente o desempenho do sistema de machine learning;
• Implantação: Uma vez que o modelo é desenvolvido e validado, a próxima etapa é a implantação do modelo. Esta etapa envolve a integração do modelo em um sistema de produção existente, onde ele pode começar a fazer previsões (scoring do modelo). A implantação de modelos é um processo complexo que requer uma estreita colaboração entre as equipes de dados e engenharia para garantir que o modelo seja implementado corretamente e possa operar de forma eficiente e eficaz;
• Monitoramento: Após a implantação do modelo, a etapa final do processo de MLOps é o monitoramento/observabilidade do modelo. Esta etapa envolve o rastreamento contínuo do desempenho do modelo para garantir que ele continue a fornecer resultados precisos. Se o desempenho do modelo começar a degradar, o modelo pode precisar ser re-treinado com novos dados ou ajustado para melhorar seu desempenho. O monitoramento em si deve ser realizado durante todo o período do ciclo de vida do modelo, mas só depois de entrar em produção é que podemos começar a ter observabilidade da sua operação.

Próximos passos

Posso dizer que o processo CRISP-DM se encaixa perfeitamente nessas três etapas do MLOps. A fase de “compreensão do negócio” e “compreensão dos dados” do CRISP-DM se alinha com a etapa de desenvolvimento de modelos do MLOps. A fase de “modelagem” e “avaliação” do CRISP-DM coincide com a etapa de implantação de modelos do MLOps. Finalmente, a fase de “implantação” do CRISP-DM se conecta com a etapa de monitoramento de modelos do MLOps. Assim, o CRISP-DM e o MLOps juntos formam uma estrutura robusta e completa para o ciclo de vida de modelos de machine learning. Apesar de eu ter feito uma associação direta do monitoramento com a implantação, lembre-se que o monitoramento é contínuo e deve aparecer em todas as fases do CRISP-DM.

A combinação de MLOps e CRISP-DM oferece uma abordagem robusta e completa para o desenvolvimento de modelos de machine learning, lendo esse material, espero que você tenha uma melhor compreensão das etapas envolvidas e da importância de cada uma delas. Acompanhe os próximos posts para ver mais os desdobramentos e detalhes de cada etapa do Roadmap de MLOps em 2024.

Contudo, não se dê por satisfeito só com as postagens aqui, lhe convido a acompanhar estes livros:

Projetando sistemas de Machine Learning: processo interativo para aplicações prontas para produção, por Chip Huyen

Machine Learning Engineering with Python – Second Edition: Manage the lifecycle of machine learning models using MLOps with practical examples, de Andrew McMahon

Mãos à obra aprendizado de máquina com Scikit-Learn, Keras & TensorFlow: conceitos, ferramentas e técnicas para a construção de sistemas inteligentes

Estatística prática para cientistas de dados: 50 conceitos essenciais

Estatística: O que é, para que serve, como funciona.

Imagem de capa criada com IA pelo Bing. Utilizei o prompt: “Diagrama circular com três círculos um ao lado do outro, dividido em três segmentos principais representando Machine Learning em verde, Desenvolvimento em laranja e Operações em roxo, sem texto, com ícones de um cérebro, um computador com colchetes de código e uma pessoa sob um guarda-chuva, interconectados para representar o ciclo contínuo entre esses domínios” para a criação (o prompt entregou errado porque não era para ter texto e as cores não foram as que pedi, mas gostei do resultado).

O post Roadmap MLOps 2024 apareceu primeiro em Diego Nogare.

Modernização Bancária na Nuvem

O Itaú está na vanguarda da inovação bancária, a fim de aproveitar as capacidades de computação em nuvem, podemos oferecer serviços mais ágeis e personalizados. A parceria com fornecedores de cloud nos ajudou a impulsionar a transformação digital, com impacto positivo na experiência de nossos clientes.

O banco percebeu que seus clientes buscavam cada vez mais serviços online, e para resolver isso, era preciso entender as necessidades de seus clientes. Assim, para atender a essa demanda, o banco concentrou-se na modernização de suas aplicações bancárias. Utilizamos soluções como Amazon CloudWatch e AWS Fargate, assim o Itaú fortaleceu a resiliência de suas aplicações. Isso ajudou a garantir que os clientes tenham acesso contínuo e seguro aos serviços bancários, que é um dos nossos pilares de tecnologia.

Temos mais de 3200 usuários no Sagemaker Studio

A fim de contar a história da transformação digital também no mundo de ciência de dados, estamos construindo a plataforma IARA – Itaú Advanced Resources for Analytics. Essa plataforma atende a jornada fim a fim da experiência de desenvolvimento do ciclo de vida de modelos, passando por todas as etapas. Desenvolvimento, publicação e monitoramento de modelos. Contamos um pouco do desafio no paper publicado na CBSoft 2022 – Congresso Brasileiro de Software promovido pela Sociedade Brasileira de Computação.

Publicamos, recentemente, um caso de sucesso do Itaú junto à AWS para contar mais um pouco dessa história. Particularmente foi uma experiência super interessante para minha carreira, porque pudemos contar sobre a nossa jornada de transformação digital da ciência de dados dentro do Itaú.

E não só fizemos a publicação do case no portal da AWS, como também apresentamos o case para o time de produtos do Sagemaker. Pudemos explicar os nossos desafios e demos feedbacks sobre a experiência. Assim, também, reforçamos a importância da parceria e da evolução constante da plataforma da AWS e do Itaú.

Para complementar um pouco essa história, te convido a ler estes textos: Automatizar a publicação do seu modelo com MLOps e MLOps e Engenharia de Machine Learning descomplicados. Nesse sentido, os textos foram publicados no blog para te ajudar a entender a disciplina de MLOps e Engenharia de Machine Learning. Também contamos como é atuar na engenharia de Machine Learning do Itaú, que inclusive ajuda pessoas interessadas à trabalhar na área a se preparar tecnicamente. Não deixe de acompanhar esses materiais!

O post Temos mais de 3200 usuários no Sagemaker Studio apareceu primeiro em Diego Nogare.

Não quero ficar repetindo conceito e textos, então não entrarei no mérito do que é e qual a importância desta área… Já escrevi sobre isso em MLOps e Engenharia de Machine Learning descomplicados, Ferramentas e plataformas essenciais para projetos de IA e ML e Tendências em Engenharia de Machine Learning e MLOps em 2024.

Por que aprender Engenharia de Machine Learning e MLOps?

Aprender Engenharia de Machine Learning e MLOps pode trazer diversos benefícios para a sua carreira e para os seus projetos, principalmente porque há uma demanda muito grande por essa área nas empresas. Destaquei alguns itens que considero importante para compartilhar com vocês!

• Você poderá desenvolver soluções inovadoras e de alto impacto, usando a inteligência artificial para resolver problemas reais de diversos setores da indústria;
• Você poderá aumentar a sua empregabilidade e a sua remuneração, pois a demanda por profissionais com habilidades de nuvem e machine learning está em crescimento, e as empresas estão dispostas a pagar bem por eles;
• Você poderá aprimorar as suas competências técnicas e profissionais, pois os cursos online oferecem conteúdo atualizado, prático e relevante, além de oportunidades de interação com instrutores e colegas;
• Você poderá obter certificações reconhecidas no mercado, que comprovam o seu conhecimento e a sua experiência em Engenharia de Machine Learning e MLOps, e que podem abrir portas para novas oportunidades.

Não posso deixar de compartilhar uma Playlist do Youtube que gravei há alguns anos e continua super atual. Convido todos vocês à assistirem aos vídeos e acelerar suas respectivas carreiras. A Playlist está neste link: Como aprender Data & AI de graça com os fornecedores líderes globais de Cloud Computing.

Depois de acompanhar Data & AI nos vídeos da Playlist, existem diversas outras opções de cursos online gratuitos ou de baixo custo para aprender Engenharia de Machine Learning e MLOps oferecidos por grandes empresas como Google, Microsoft e AWS, além de outros fornecedores. Esses cursos abordam desde os conceitos básicos até os tópicos avançados, e são adequados para diferentes níveis de conhecimento e experiência.

Quais são os cursos online gratuitos ou de baixo custo?

Em geral, estes cursos ensinam os fundamentos e as aplicações do machine learning, como usar os serviços e as ferramentas para construir, treinar, implantar e gerenciar modelos de ML, e como usar o MLOps para automatizar e padronizar o ciclo de vida de machine learning. Assim, independente de qual provedor de cloud computing você estude, todos lhe ensinarão o conceito e terão a prática em suas ferramentas:

Google: A Google oferece vários cursos online gratuitos para aprender sobre machine learning e inteligência artificial, através da plataforma Google Activate, que em algumas encaminha você para a Coursera. Um destes exemplos é o Certificado Profissional Google Data Analytics (PT) e o Advanced Machine Learning with TensorFlow on Google Cloud Platform. Já o Machine Learning Engineer Learning Path fica interno no Google Cloud Skills Boost.

Microsoft: A Microsoft também oferece diversos cursos online gratuitos para aprender sobre machine learning e inteligência artificial, porém, oferece tudo através da plataforma Microsoft Learn. Alguns exemplos são Introdução às MLOps (Operações de Machine Learning), End-to-end machine learning operations (MLOps) with Azure Machine Learning, Create machine learning models e Fundamentals of machine learning. Ah, não deixe de acompanhar também o Automate your workflow with GitHub Actions.

AWS: A AWS, que é a divisão de computação em nuvem da Amazon, também oferece vários cursos online gratuitos para aprender sobre machine learning e inteligência artificial, através da plataforma AWS Training and Certification e AWS Skill Builder. Tem o The Elements of Data Science (Portuguese) e o Machine Learning Learning Plan (Portuguese). Havia um bastante deste workshop prático, de MLOps, que eu gostava bastante, mas ele foi descontinuado.

Como escolher o melhor curso online?

Com tantas opções de cursos online disponíveis, pode ser difícil escolher o melhor para que você, de fato, aprenda Engenharia de Machine Learning e MLOps. Por isso, quando vou fazer algum curso, considero alguns critérios que me ajudam a escolher:

Nível de conhecimento e experiência: Você deve escolher um curso que seja adequado ao seu nível de conhecimento e experiência em machine learning, engenharia de software, computação em nuvem, entre outros. Se você é iniciante, procure por cursos que ensinem os conceitos básicos e as práticas recomendadas. Se você é intermediário ou avançado, procure por cursos que aprofundem os tópicos e os desafios que você quer aprender ou resolver.

Objetivo de aprendizagem: Você deve escolher um curso que esteja alinhado ao seu objetivo de aprendizagem, seja ele profissional ou pessoal. Se você quer se preparar para uma certificação, procure por cursos que ofereçam conteúdo e simulados específicos para o exame. Se você quer desenvolver um projeto ou uma solução, procure por cursos que ofereçam exemplos e exercícios práticos relacionados ao seu domínio ou problema.

Orçamento e tempo: Você deve escolher um curso que caiba no seu bolso e na sua agenda. Se você não quer gastar muito, procure por cursos gratuitos ou de baixo custo, que ofereçam conteúdo de qualidade e acesso ilimitado. Se você tem pouco tempo, procure por cursos flexíveis ou cursos livres que permitam que você estude no seu próprio ritmo e horário.

Tem outras opções?

Além das grandes empresas, existem outros players que oferecem cursos online gratuitos ou de baixo custo para que você aprenda Engenharia de Machine Learning e MLOps, como a Coursera, a Udemy, a edX, a DataCamp, a Databricks, entre outros. Esses cursos abrangem diversos tópicos, como machine learning, deep learning, nlp, computer vision, data science, MLOps… Normalmente os cursos são ministrados por instrutores renomados, como Andrew Ng, Geoffrey Hinton, Yann LeCun, e são oferecidos através de instituições de prestígio como Stanford e MIT. Alguns desses cursos também oferecem certificados de conclusão, que podem ser adicionados ao seu currículo ou perfil do LinkedIn.

Outra opção, pensando na situação de retorno aos escritórios, muitas pessoas voltaram a pegar horas e mais horas de transporte para ir trabalhar. Nestas horas, porém, pode ser perigoso estar com o celular a mostra para assistir um vídeo dos treinamentos. Então, pensando por esse lado, os livros também podem lhe ser úteis. Deixo aqui algumas opções que gosto bastante e recomendo para quem também curte estudar por livros.

Projetando sistemas de Machine Learning: processo interativo para aplicações prontas para produção, por Chip Huyen

Machine Learning Engineering with Python – Second Edition: Manage the lifecycle of machine learning models using MLOps with practical examples, de Andrew McMahon

Mãos à obra aprendizado de máquina com Scikit-Learn, Keras & TensorFlow: conceitos, ferramentas e técnicas para a construção de sistemas inteligentes

Tem mais livros, se quiser indicação, me mande uma mensagem

Conclusão

Existem diversas opções de cursos online gratuitos ou de baixo custo para aprender Engenharia de Machine Learning e MLOps, oferecidos por grandes empresas como Google, Microsoft e AWS, além de outros fornecedores. Esses cursos abordam desde os conceitos básicos até os tópicos avançados, e assim, são adequados para diferentes níveis de conhecimento e experiência. Para escolher o melhor curso para você, é importante considerar alguns critérios, como o seu nível de conhecimento e experiência, o seu objetivo de aprendizagem, o seu estilo de aprendizagem, o seu orçamento e disponibilidade.

Posso estar sendo preciosista, mas acredito que com esses materiais e dedicação de tempo, acredito que você aprenda Engenharia de Machine Learning e MLOps

Boa sorte e bons estudos

Imagem de capa criada com IA pelo Bing: Utilizei o prompt: “A slightly overweight man with a beard, wearing a polo shirt, working at a desk with a computer, with a bookshelf full of books behind him. The photo should take the angle from behind the computer, showing the man sitting in front of the computer, and his back to the bookshelf. The style used should be Digital Illustration, in a drawing format. The computer screen displays different content. Add three coffee cups on the desk, and some messy papers”.

O post Aprenda Engenharia de Machine Learning e MLOps online apareceu primeiro em Diego Nogare.