O sucesso do FinOps em ambientes de Inteligência Artificial depende da colaboração entre três áreas distintas, porém, interdependentes. Primeiramente, a equipe de Negócios define o “porquê”. Eles estabelecem os objetivos, as metas estratégicas e o valor esperado que o projeto de IA deve entregar. Com isso, suas decisões direcionam o escopo e a prioridade dos investimentos.

Em seguida, a equipe de Finanças cuida do “quanto”. Ela é responsável por alocar o orçamento, monitorar o Custo Total de Propriedade (Total Cost Ownership – TCO) e garantir que o Retorno sobre o Investimento (Return on Investment – ROI) seja mensurável e alcançável. Além disso, os profissionais que cuidam do orçamento traduzem os gastos técnicos em relatórios compreensíveis para os stakeholders, criando uma ponte de comunicação vital.

Por fim, a equipe de Engenharia executa o “como”. Engenheiros de dados, cientistas de dados e especialistas em MLOps implementam as soluções, escolhendo as arquiteturas e os serviços de nuvem mais adequados. Todavia, sob a ótica do FinOps, sua responsabilidade vai além da implementação técnica. Eles devem, igualmente, otimizar o uso de recursos, selecionar instâncias de computação com melhor custo-benefício e instrumentar o código para fornecer dados claros sobre o consumo. Essa colaboração transforma a gestão de custos de uma tarefa reativa para uma responsabilidade compartilhada e proativa.

Implementando a cultura de FinOps

A implementação do FinOps não é um projeto com início, meio e fim, mas sim um ciclo iterativo e contínuo. Esse processo garante que a otimização de custos seja uma prática constante e adaptável às mudanças do projeto e do mercado. As cerimônias rigorosas e a comunicação frequente são essenciais para o sucesso. O ciclo se divide em três fases principais: Informar, Otimizar e Operar.

Na fase de Informar, o objetivo principal é a visibilidade. É aqui que ocorre o levantamento detalhado dos custos. As equipes trabalham juntas para etiquetar (tagging) recursos, alocar despesas a centros de custo específicos e criar dashboards que ofereçam uma visão clara e em tempo real de onde o dinheiro está sendo gasto;

Em seguida, a fase de Otimizar foca na ação. Com base nos dados coletados, as equipes identificam oportunidades de redução de custos, como desligar recursos ociosos, redimensionar instâncias superdimensionadas ou adotar modelos de compra mais vantajosos, como instâncias spot ou planos de economia;

Finalmente, a fase de Operar consolida o ciclo. Nela, as otimizações são implementadas e a governança é automatizada. As equipes definem políticas, estabelecem alertas de orçamento e refinam continuamente as melhores práticas. As apresentações regulares para os stakeholders garantem que todos estejam alinhados, celebrando as vitórias na economia de custos e planejando os próximos passos. Este ciclo garante que a gestão financeira evolua junto com a complexidade dos modelos de IA.

Colocando em prática

Para colocar a teoria do FinOps em prática, as equipes precisam de frameworks estruturados e ferramentas adequadas. A FinOps Foundation é a principal referência global sobre o assunto. A fundação oferece certificações, pesquisas e um framework agnóstico de nuvem que detalha as capacidades, os princípios e as fases do ciclo de vida FinOps. Adotar um framework como este proporciona uma linguagem comum e um roteiro claro para a jornada de maturidade em gestão financeira na nuvem.

A importância do FinOps para projetos de IA transcende a simples economia de custos. Na prática, ele funciona como um seguro contra o principal motivo de falha de muitas iniciativas de inovação: a inviabilidade financeira!

Um modelo de IA pode ser tecnicamente perfeito, mas se seu custo de treinamento e inferência for proibitivo, ele jamais sairá do laboratório para a produção. Portanto, o FinOps desmistifica o custo da IA, transformando-o de uma variável imprevisível em um componente gerenciável da estratégia de negócio. Isso significa que as empresas podem inovar com mais segurança, escalar suas operações de IA de forma sustentável e garantir que os investimentos em tecnologia de ponta se traduzam, de fato, em vantagem competitiva e crescimento para o negócio.

Me arrisco a afirmar, com certo grau elevado de confiança, que adotar o FinOps em projetos de IA não é mais um diferencial, mas uma necessidade estratégica. A disciplina promove uma cultura de responsabilidade financeira que permeia as equipes de Engenharia, Finanças e Negócios, garantindo que a inovação tecnológica caminhe lado a lado com a sustentabilidade econômica. Ao invés de restringir a experimentação, o FinOps a viabiliza, fornecendo o framework necessário para escalar soluções de IA com confiança e previsibilidade. Olhando para o futuro, a integração do FinOps será tão fundamental quanto as práticas de DevOps e MLOps no ciclo de vida do software e de Machine Learning.

Eu li esse livro na assinatura da O’Reilly, vale muito a pena para aprender sobre a importância do FinOps para projetos, e dá para facilmente extrapolar para projetos de IA! Invista um tempo estudando a disciplina, isso lhe retornará de forma bem positiva.

Imagem de capa criada com IA:  Usei o prompt no Gemini: Um ser-humano biônico, desenhando um cifrão ($) em um quadro, em um estilo de ilustração digital de cartoon

O post A importância do FinOps para projetos de IA apareceu primeiro em Diego Nogare.

Esta segunda edição traz insights atualizados e técnicas avançadas. Com mais de 500 páginas, a princípio, o livro é uma jornada detalhada através de cada aspecto do ADF, incluindo integrações com outros serviços Azure e estratégias de migração de dados entre plataformas de nuvem.

Uma curiosidade que achei bem legal neste texto é o fato de todos subitens dos capítulos serem separados em seções de Se preparando, Como fazer, Como funciona e Tem mais… Na minha opinião isso é bacana porque você pode ir direto ao ponto que quer tirar sua duvida, seja na questão teórica, seja para entender como aquilo funciona ou buscar outros assuntos correlatos.

Vamos aos capítulos do Azure Data Factory?

Cap 1

No Capítulo 1, introduzem a plataforma de dados Azure, começando com a criação e execução do primeiro trabalho no ADF. Em seguida, apresentam a criação de pipelines, tanto utilizando a ferramenta de copiar dados quanto programando em Python. A versatilidade do ADF é demonstrada pela possibilidade de criação via PowerShell e pelo uso de modelos para agilizar o processo de criação de pipelines. Por fim, o capítulo aborda a criação usando Azure Bicep, destacando a eficiência e a modernidade da infraestrutura como código.

Cap 2

O Capítulo 2 mergulha nas funcionalidades avançadas do Azure Data Factory, começando com o uso de parâmetros e funções integradas para personalizar pipelines. Em seguida detalham a implementação de tarefas de metadados e stored procedures, essenciais para a manipulação e execução de dados. Apresentam as atividades ForEach e Filter para processamento iterativo e seleção de dados, enquanto as técnicas de encadeamento e ramificação são discutidas para otimizar o fluxo de trabalho dentro de um pipeline. O capítulo também fala sobre o uso de Lookup e Execute Pipeline, ampliando as possibilidades de integração e automação. Por fim, aborda a criação de triggeres de eventos para as esteiras, permitindo que os pipelines respondam dinamicamente a mudanças e acionamentos externos.

Cap 3

No Capítulo 3, o foco é o Azure Synapse, onde o leitor aprende a criar um espaço de trabalho e a carregar dados para o Azure Synapse Analytics, utilizando tanto o Azure Data Factory quanto o Azure Data Studio. O capítulo também ensina sobre o carregamento em massa, o que é bem eficiente para grandes volumes de dados. Além disso, comenta como pausar e reestabelecer um SQL do Azure Synapse diretamente do Azure Data Factory, uma tarefa útil para gerenciar recursos da cloud. Abordam a integração com o Azure Purview, mostrando como trabalhar com governança de dados. Por fim, o capítulo trata da movimentação de dados no Azure Synapse Integrate e do uso de um pool SQL serverless.

Cap 4

No Capítulo 4, explicam a configuração do Azure Data Lake Storage Gen2, estabelecendo uma base sólida para armazenamento de dados. Aliás, eles detalham a criação de um pool Synapse Analytics Spark, permitindo análises avançadas e processamento de dados. A integração do Azure Data Lake com o pool do Spark é explorada, demonstrando como executar trabalhos eficientemente. Por fim, o capítulo ensina a construir e orquestrar um pipeline de dados robusto que une Data Lake e Spark. Enfatiza a importância da sinergia entre armazenamento e processamento para insights valiosos.

Cap 5

O Capítulo 5 orienta sobre a configuração de um cluster HDInsight, uma ferramenta essencial para o processamento de big data. O leitor aprende a processar dados do Azure Data Lake utilizando HDInsight e Hive. O que maximiza a eficiência na análise de dados nas ferramentas de big data que a Microsoft oferece em sua nuvem. Abordam a construção de modelos de dados em Delta Lake e a execução de trabalhos de pipeline com Databricks, destacando a importância da modelagem de dados. Além disso, ensinam sobre a ingestão de dados no Delta Lake através do mapeamento de fluxos de dados, uma técnica que pode ser considerada avançada para a integração de dados. Por fim, explora as integrações externas, como Snowflake, ampliando o escopo de possibilidades para os usuários do Azure.

Cap 6

O Capítulo 6 aborda estratégias de migração de dados entre diferentes plataformas de nuvem, o que é bem importante visto que podemos evitar lock-in. Inicia com o processo de cópia de dados do Amazon S3 para o armazenamento de Blobs do Azure, seguido pela transferência de grandes conjuntos de dados do S3 para o Azure Data Lake Storage (ADLS). O capítulo prossegue explicando sobre a cópia de dados do Google Cloud Storage para o Azure Data Lake. Segue com Google BigQuery para o Azure Data Lake Storage, enfatizando a interoperabilidade entre serviços de nuvem. Além disso, discute-se a migração de dados do Google BigQuery para o Azure Synapse, ilustrando a integração de análises avançadas e armazenamento de dados. Por fim, explora-se a migração de dados do Snowflake para o Azure Data Lake Store, completando o panorama de soluções para a movimentação eficiente de dados na nuvem.

Cap 7

No Capítulo 7, introduzem o disparo de processos utilizando o Logic Apps, uma ferramenta poderosa para automação e integração de aplicativos. O capítulo explica como usar a web para invocar um logic app do Azure, demonstrando a facilidade de conectar serviços e criar fluxos de trabalho automatizados. Além disso, destaca a adição de flexibilidade aos pipelines com Azure Functions. O que permite aos usuários estender as capacidades de processamento de dados com código personalizado. Incluindo, também, as triggers baseados em eventos, otimizando assim a eficiência e adaptabilidade dos pipelines de dados.

Cap 8

No Capítulo 8, apresentam o Microsoft Fabric e o Data Factory, explorando suas capacidades e a sinergia entre eles. Sobretudo, o capítulo oferece uma análise detalhada dos pipelines do Microsoft Fabric Data Factory, enfatizando sua eficiência e escalabilidade. A seguir, discute-se o carregamento de dados utilizando fluxos de dados do Microsoft Fabric, uma abordagem poderosa para a movimentação de dados. Abordam a criação automática de modelos de Machine Learning (ML), mostrando como acelerar o desenvolvimento de soluções de ML. Por fim, o capítulo trata da análise e transformação de dados com a Inteligência Artificial (IA) do Azure e modelos pré-construídos de aprendizado de máquina, ilustrando como essas ferramentas podem ser aplicadas para extrair insights valiosos dos dados.

Cap 9

O Capítulo 9 explora o mundo do Azure DevOps dentro do ADF, começando pela configuração inicial e avançando para a publicação de alterações no Azure Data Factory. O leitor aprende a implantar os códigos na branch principal, preparando o terreno para a integração contínua (CI) e entrega contínua (CD) do ADF. O capítulo segue com a criação de um pipeline do Azure para CD, detalhando cada passo necessário. Explicam sobre a instalação e configuração do Visual Studio para trabalhar com a implantação do ADF, assim como a configuração do ADF como um projeto dentro do Visual Studio. Por fim, o capítulo conclui com a execução de Directed Acyclic Graphs (DAGs) com Airflow no ADF, mostrando como automatizar e otimizar esteiras de CI/CD para trabalho de dados complexos.

Cap 10

No Capítulo 10, o leitor é conduzido a monitorar execuções de pipeline e os tempos de integração, uma parte vital para garantir a eficiência operacional. O capítulo segue com técnicas para investigar falhas, incluindo a execução de pipelines no modo de depuração, permitindo uma análise aprofundada e resolução de problemas. Discutem a repetição de atividades, destacando como automatizar e otimizar tarefas recorrentes. Por fim, ensinam a configurar alertas para execuções do Azure Data Factory, assegurando que os usuários sejam notificados prontamente sobre o status e as ocorrências nos pipelines.

Para quem é da área de Machine Learning Operations, os capítulos 8, 9 e 10 são essenciais para que você domine o Azure Data Factory

Cap 11

O Capítulo 11 serve como uma introdução ao Azure Data Explorer, detalhando sua arquitetura e os recursos principais que o tornam uma ferramenta poderosa para exploração de dados. O capítulo oferece uma visão geral dos casos de uso comuns, integrando o Azure Data Explorer e o Azure Data Factory para maximizar a eficiência na análise de dados. Fornecem um guia passo a passo para configurar um pipeline de ingestão de dados do Azure Data Factory para o Azure Data Explorer, com foco na ingestão de dados JSON do Armazenamento do Azure. Por fim, o capítulo aborda a transformação de dados no Azure Data Explorer utilizando a atividade do Azure Data Factory, permitindo aos leitores entender como realizar transformações de dados complexas de maneira eficiente.

Cap 12

O Capítulo 12 aborda aspectos cruciais para a gestão eficaz do Azure Data Factory (ADF). Inicia-se com a configuração de funções e permissões, estabelecendo níveis de acesso adequados para diferentes usuários. Discutem o dimensionamento de projetos ADF, que destaca a importância de adaptar os recursos às necessidades do projeto. Exploram os recursos integrados de recuperação de desastres do ADF, garantindo a resiliência e a continuidade dos serviços. Abordam a captura de dados em mudança, destacando como monitorar e reagir a alterações nos dados. Por fim, o capítulo trata do gerenciamento de custos do Data Factory na visão de FinOps, uma abordagem estratégica para otimizar o gasto e o valor obtido dos recursos de nuvem.

Pra mim ficou claro que o Azure Data Factory Cookbook – 2nd edition é uma leitura obrigatória para quem busca excelência em engenharia de dados. Com exemplos práticos e orientações passo a passo, o livro capacita os leitores a implementar soluções eficazes com ADF. Te convido a explorar este livro e a aplicar o conhecimento em seus projetos. Domine o Azure Data Factory!

Bons estudos e que sua jornada de aprendizado seja tão enriquecedora quanto as soluções que você pode criar!

O post Review do Livro “Azure Data Factory Cookbook – 2nd edition” apareceu primeiro em Diego Nogare.

Modernização Bancária na Nuvem

O Itaú está na vanguarda da inovação bancária, a fim de aproveitar as capacidades de computação em nuvem, podemos oferecer serviços mais ágeis e personalizados. A parceria com fornecedores de cloud nos ajudou a impulsionar a transformação digital, com impacto positivo na experiência de nossos clientes.

O banco percebeu que seus clientes buscavam cada vez mais serviços online, e para resolver isso, era preciso entender as necessidades de seus clientes. Assim, para atender a essa demanda, o banco concentrou-se na modernização de suas aplicações bancárias. Utilizamos soluções como Amazon CloudWatch e AWS Fargate, assim o Itaú fortaleceu a resiliência de suas aplicações. Isso ajudou a garantir que os clientes tenham acesso contínuo e seguro aos serviços bancários, que é um dos nossos pilares de tecnologia.

Temos mais de 3200 usuários no Sagemaker Studio

A fim de contar a história da transformação digital também no mundo de ciência de dados, estamos construindo a plataforma IARA – Itaú Advanced Resources for Analytics. Essa plataforma atende a jornada fim a fim da experiência de desenvolvimento do ciclo de vida de modelos, passando por todas as etapas. Desenvolvimento, publicação e monitoramento de modelos. Contamos um pouco do desafio no paper publicado na CBSoft 2022 – Congresso Brasileiro de Software promovido pela Sociedade Brasileira de Computação.

Publicamos, recentemente, um caso de sucesso do Itaú junto à AWS para contar mais um pouco dessa história. Particularmente foi uma experiência super interessante para minha carreira, porque pudemos contar sobre a nossa jornada de transformação digital da ciência de dados dentro do Itaú.

E não só fizemos a publicação do case no portal da AWS, como também apresentamos o case para o time de produtos do Sagemaker. Pudemos explicar os nossos desafios e demos feedbacks sobre a experiência. Assim, também, reforçamos a importância da parceria e da evolução constante da plataforma da AWS e do Itaú.

Para complementar um pouco essa história, te convido a ler estes textos: Automatizar a publicação do seu modelo com MLOps e MLOps e Engenharia de Machine Learning descomplicados. Nesse sentido, os textos foram publicados no blog para te ajudar a entender a disciplina de MLOps e Engenharia de Machine Learning. Também contamos como é atuar na engenharia de Machine Learning do Itaú, que inclusive ajuda pessoas interessadas à trabalhar na área a se preparar tecnicamente. Não deixe de acompanhar esses materiais!

O post Temos mais de 3200 usuários no Sagemaker Studio apareceu primeiro em Diego Nogare.

Neste texto quero explicar o conceito de Citizen Data Scientist, as vantagens de se envolver com projetos de Machine Learning mesmo sem ser um especialista em TI, e as ferramentas que facilitam esse processo, como o AutoML e os serviços de Cloud Computing. Vamos lá?!

O que é um Citizen Data Scientist?

Um Citizen Data Scientist é alguém que, embora não seja uma pessoa especialista em TI, utiliza ferramentas de Machine Learning para extrair insights valiosos dos dados. Esses indivíduos são capazes de preencher a lacuna entre especialistas em dados e profissionais de negócios. Esse perfil vem se tornando cada vez mais relevante nas organizações, pois permite democratizar o acesso e o uso dos dados, ampliando as possibilidades de inovação e tomada de decisão baseada em dados e evidências. Além disso, os Citizen Data Scientists podem contribuir para a melhoria dos processos internos, a otimização dos recursos e a satisfação dos clientes.

Ferramentas de Cloud Computing para Machine Learning

Para se tornar um Citizen Data Scientist, não é preciso ter um diploma em ciência da computação ou matemática, mas sim ter curiosidade, criatividade e vontade de aprender. Além disso, é importante ter conhecimento do domínio do problema que se quer resolver, ou seja, entender o contexto e os objetivos do negócio. As ferramentas de Cloud Computing, como as oferecidas pela AWS, Microsoft e Google, tornaram o aprendizado de máquina acessível a todos. Essas plataformas oferecem uma variedade de serviços que permitem aos usuários treinar e implementar modelos de ML sem a necessidade de codificação extensa. Mas como começar a trabalhar com Machine Learning sem saber programar ou lidar com algoritmos complexos? A resposta está nas ferramentas que facilitam esse processo, como o AutoML e os serviços de Cloud Computing.

AutoML: Uma Revolução no Machine Learning

O AutoML, ou Automated Machine Learning, é uma das inovações mais empolgantes no campo do Machine Learning. Ele automatiza todo o ciclo de vida de um projeto, incluindo a preparação dos dados, o processo de treinamento e otimização de parâmetros dos modelos, chegando até a avaliação e implantação dos modelos. Estas abstrações tornam o AutoML acessível até para não especialistas em TI. Seja você um profissional de negócios, um estudante ou apenas um entusiasta da tecnologia, o mundo do Machine Learning está ao seu alcance com ferramentas de AutoML.

Ao utilizar ferramentas de AutoML, é possível criar soluções sem escrever uma linha de código ou escolher manualmente os melhores algoritmos e parâmetros. Basta fornecer os dados e definir o objetivo do projeto, que o AutoML se encarrega de fazer todo o trabalho pesado. Ademais, ele pode ser aplicado em diversas áreas e problemas, como classificação, regressão, clusterização, detecção de anomalias, processamento de linguagem natural, visão computacional, entre outros.

Quais são os benefícios do AutoML?

O AutoML traz diversos benefícios para quem quer se tornar um Citizen Data Scientist, como:

– Reduzir o tempo e o custo dos projetos de Machine Learning;
– Aumentar a qualidade e a confiabilidade dos modelos;
– Diminuir a dependência de especialistas em TI;
– Facilitar a experimentação e a inovação com dados.

Como usar o AutoML?

Uma das formas mais simples e acessíveis de usar o AutoML é através dos serviços de Cloud Computing oferecidos por grandes empresas como AWS, Microsoft e Google. Esses serviços permitem criar soluções de Machine Learning na nuvem, sem precisar instalar ou configurar nenhum software localmente.

Alguns exemplos desses serviços são:

– AWS SageMaker Autopilot: um serviço da AWS que permite criar modelos de Machine Learning personalizados com apenas alguns cliques. O SageMaker Autopilot analisa os dados, seleciona os melhores algoritmos e parâmetros, treina os modelos e gera relatórios explicando cada passo do processo;
– Azure Automated Machine Learning: um serviço da Microsoft que permite criar, treinar e implantar soluções de Machine Learning na nuvem ou na borda. O Azure Automated Machine Learning oferece recursos de AutoML para automatizar a escolha dos melhores algoritmos e parâmetros para cada problema.
– Google Cloud AutoML: um serviço do Google Cloud Platform que permite criar modelos de Machine Learning personalizados para diferentes tipos de dados, como texto, imagem, vídeo e tabular. O Google Cloud AutoML usa técnicas avançadas como aprendizado por transferência e redes neurais para gerar modelos com alta precisão.

Conclusão

Neste artigo, tentei explicar o que é um Citizen Data Scientist, que é um profissional que usa técnicas e ferramentas de Machine Learning para resolver problemas de negócios, mas sem ter uma formação específica em TI. Você também leu como se tornar um, usando recursos como o AutoML e os serviços de Cloud Computing, que facilitam a criação de soluções de ML na nuvem

Se você se interessou pelo assunto e quer se aprofundar mais, confira mais alguns links:

– Na visão da AWS, o que é Machine Learning?
– O que é AutoML na visão da Microsoft?
– Segundo o Google, o que é Cloud Computing?

Imagem de capa criada com IA pelo Bing: Utilizei o prompt: “Academia de Platão com menos pessoas, incluindo Platão e mulheres gregas no centro, estudando e debatendo de forma construtiva, segurando laptops, tablets ou smartphones ao invés de livros”

Foi muita viagem da minha cabeça gerar a imagem da Academia de Platão com a galera utilizando laptops e tablets para sintetizar a ideia de civilização (conectando com o tema de Citizen Data Scientist), sendo que a civilização como é conceituada veio dos Sumérios, aquele povo que vivia entre os rios Tigres e Eufrates na antiga Mesopotâmia – que atualmente é a região do Iraque e não tem ligação direta com as ideias propostas por Platão.

O post Machine Learning para quem não é de TI apareceu primeiro em Diego Nogare.

Ferramentas de IA e ML

Primeiramente, é importante destacar que a escolha da ferramenta certa pode fazer toda a diferença em um projeto de IA ou ML. Entre as mais populares para Python estão TensorFlow, PyTorch e Keras. Essas ferramentas oferecem uma variedade de recursos que facilitam a implementação de algoritmos de ML.

O TensorFlow é uma biblioteca de código aberto para IA e ML, foi desenvolvido pela Google, e pode ser usado em várias de linguagens de programação, incluindo Python e Java. Seguindo a mesma linha, o PyTorch é um framework de ML, também de código aberto, usado para construir e treinar modelos de Deep Learning. O PyTorch é escrito em Python, tornando-o relativamente fácil para a maioria dos desenvolvedores de ML aprender e usar. Já o Keras é uma API projetada para seres humanos, não para máquinas. O Keras segue as melhores práticas para reduzir a carga cognitiva: oferece APIs consistentes e simples, minimiza o número de ações do usuário necessárias para casos de uso comuns e fornece mensagens de erro claras.

Plataformas de desenvolvimento

Além das ferramentas, as plataformas de desenvolvimento também são essenciais. Plataformas como Google Cloud AI, AWS Sagemaker e Microsoft Azure Machine Learning proporcionam um ambiente robusto para o desenvolvimento e a implementação de modelos de ML.

O Google Cloud AI é uma plataforma de IA que oferece uma variedade de serviços, incluindo análise de vídeo e imagem, reconhecimento de fala e processamento multilíngue. Já o AWS Sagemaker, contudo, é um serviço totalmente gerenciado na nuvem que permite aos cientistas de dados construir, treinar e implantar modelos de ML de alta qualidade com rapidez e confiança. Ainda seguindo a mesma estratégia, o Microsoft Azure Machine Learning é um serviço de IA corporativo que suporta o ciclo de vida completo de Machine Learning, oferecendo operações de ML líderes do setor, interoperabilidade de código aberto e ferramentas integradas.

Escolhendo a ferramenta e plataforma certa

A escolha da ferramenta e plataforma certa depende de vários fatores, incluindo o tipo de projeto, o nível de habilidade do desenvolvedor e o orçamento disponível. Por isso é importante pesquisar e experimentar diferentes opções antes de tomar uma decisão. Inclusive, escrevi há um tempo sobre como escolher uma ótima solução, recomendo a leitura.

Entendo que é crucial observar as necessidades específicas do seu negócio, porque cada projeto de IA e ML tem requisitos únicos e, portanto, a ferramenta e a plataforma que melhor atendem a esses requisitos podem variar. Considere fatores como facilidade de uso, flexibilidade, escalabilidade e suporte da comunidade. Além disso, leve em conta o custo e a compatibilidade com as tecnologias existentes em sua organização. Sempre tem um legado que precisa ser integrado, lembre-se disso!

Não se esqueça de realizar testes com as ferramentas e plataformas candidatas. Isso permitirá que você avalie seu desempenho em um ambiente real e determine se elas atendem às suas reais necessidades. Não deixe de pensar no futuro dessa plataforma. As necessidades do seu business podem mudar com o tempo, então, escolha soluções que possam se adaptar e crescer com o seu negócio. Se possível, evite lock-in de ferramenta para não virar refém de fornecedores.

Conclusão

A escolha das ferramentas e plataformas corretas é um passo fundamental no desenvolvimento de projetos de IA e ML. Porém, com a ferramenta e plataforma correta, os desenvolvedores podem focar em resolver problemas complexos e inovar, em vez de se preocupar com questões técnicas.

Imagem de capa criada com IA pelo Bing: Utilizei o prompt: “Uma cidade cheia de prédios comerciais com fachada espelhada, com o céu em tons de azul celeste, com nuvens com números no estilo matrix, em estilo de desenho em aquarela”.

O post Ferramentas e plataformas essenciais para projetos de IA e ML apareceu primeiro em Diego Nogare.

e muitas vezes a arquitetura da solução pode ser melhorada

Você sabia que tanto Microsoft Azure quanto Amazon AWS tem produtos nas plataforma que ajudam em como fazer uma boa arquitetura de Cloud Computing em seus projetos? Se você procurar por Well-Architected Framwork vai encontrar uma ferramenta que analisa a sua arquitetura de nuvem buscando sugerir as melhores práticas de mercado. Vou focar este texto com Azure e AWS, mas não sei se outros fornecedores também possuem alguma ferramenta assim.

Este framework ajuda a responder questões de cada um dos pilares, que, em primeiro lugar, envolvem: Segurança, Confiança, Eficiência e Otimização, que juntos permitem chegar à uma Excelência Operacional.

Esta ferramenta foi criada buscando ajustar os componentes utilizados nos projetos em uma melhor arquitetura. Contudo, um dos grandes segredos do sucesso tem a ver com Infrastructure as a Code, para garantir excelência e reprodutibilidade dos componentes. A parte de Infrastructure as a Code é importante, como foi comentado em Automatizar a publicação do seu modelo com MLOps.

Os pilares da arquitetura

Ao observar os pilares de uma boa arquitetura de Cloud Computing em Azure ou AWS, estarão sustentadas em:

Segurança: Proteger informações e sistemas

Confiança: Capacidade de recuperação à desastres e falhas

Eficiência: Consiste em usar adequadamente os sistemas de TI

Otimização: Executar o que precisa, com o menor orçamento possível

Excelência Operacional: Foco em suporte corporativo para objetivos de negócios através de monitoramento do ambiente e com entregas de melhoras contínuas

Worloads específicos

O processo de Well-Architected é bem genérico. Contudo, é possível aplicar análises em workloads específicos. Por exemplo, para AWS, há um documento de mais de 60 páginas de AWS Well-Architected – Machine Learning, como também para Analytics. Também é possível encontrar este framework para outras frentes de trabalho, mas não é o foco aqui do texto.

Treinamentos gratuitos

Tanto Microsoft quanto Amazon possuem treinamentos gratuitos para ajudar quem está desenhando a arquitetura, a seguir as boas práticas. O treinamento da AWS tem por volta de 1h30 de conteúdo em vídeo. Eu particularmente demorei mais do que isso. No entanto, no curso da Microsoft, o material é predominante de texto. O conteúdo diz ter por volta de 1h40, mas eu também demorei mais.

Como fazer uma boa arquitetura de Cloud Computing

Você pode rodar qualquer uma das ferramentas utilizando os links abaixo:

AWS Well-Architected

Azure Well-Architected Review

A ferramenta lhe conduz durante o processo, garantindo que você consiga usufruir de todo o potencial que o framework oferece.

Bons desenhos!

O post Como fazer uma boa arquitetura de cloud computing apareceu primeiro em Diego Nogare.

vejo coisas desnecessárias sendo oferecidas

Já tive a sensação de que quase fui tapeado em várias reuniões. E infelizmente isso acontece aos montes! Participo de conversas de negócios/técnicas com clientes, parceiros e fornecedores há alguns anos. Essa é a minha rotina, junto com mandar e receber e-mails e ajudar o time (quando precisam) a sair do outro lado. Contudo, essa sensação de ser tapeado é algo que incomoda e acontece na maioria das vezes porque não se ter domínio sobre aquilo que está sendo discutido.

Por exemplo, já participei de reuniões onde muitos elementos ou recursos computacionais são adicionados ao projeto, e que na realidade não ajudam em nada a resolver o problema do cliente mas deixam próximo de bater meta de quem estava fazendo aquilo.

Saber que os projetos que participo vão resolver o problema do cliente com parcimônia é impagável. Por mais estranho que pareça, já houve reunião no qual convencemos o cliente de que ele não precisava de um projeto de Big Data, Inteligência Artificial ou Machine Learning. Tenho o privilégio de colocar a cabeça no travesseiro e dormir com a consciência tranquila.

Fui tapeado…

Um caminho que nos ajuda a não ser tapeado é estudar sobre o que vamos discutir. Por exemplo, quando se vai discutir sobre Inteligência Artificial é importante saber que não há magica, e que não dá para comprar promessas milagrosas. Se alguém te garante que o projeto terá uma acurácia alta em pouco tempo ou que conseguirá te entregar uma resposta precisa, desconfie! Mas você só conseguirá ter essa percepção do que está discutindo, quando estudar o assunto. E você pode extrapolar essa ação à todas as outras áreas do conhecimento, não só à Inteligência Artificial ou Machine Learning.

E como estudar?

Para todos estes assuntos que envolvem tecnologias Microsoft, você consegue se atualizar pelo site do Microsoft Learn. Você pode acessar a qualquer momento, e começar as trilhas de aprendizagens (Learning Path). Apesar de ser gratuito e com conteúdo atualizado, os assuntos não são superficiais. Por exemplo, é possível criar um sistema de automação de NLP usando Inteligência Artificial dentro do Power Platform, só estudando esta trilha de aprendizagem: https://docs.microsoft.com/en-us/learn/challenges?id=a3087e6f-e8a4-4365-b132-f8be2e5a725d

E as provas?

Apesar de eu ter escrito sobre as Top 5 certificações de IA e depois apresentar um Guia de Certificação em IA e ML da Microsoft, você não precisa ir tão fundo caso não queira. Recentemente eu fiz alguns exames em tecnologias que envolvem a área de dados da Microsoft, e fui aprovado em todos eles. São exames de nível inicial, que dão uma visão geral sobre o assunto, mas não aprofunda em detalhes técnicos. Contudo, para não ser tapeado, é uma ótima forma de se atualizar.

AI-900 pode lhe ajudar com os primeiros passos em Inteligência Artificial, mas não se surpreenda com o tanto de conteúdo que vai aprender ao estudar para esta prova. Você terá conceitos sobre aprendizado de máquina (Machine Learning) e Inteligência Artificial, sempre dentro do ambiente Azure.

AZ-900 é a certificação sobre Fundamentos do Microsoft Azure, e dá uma visão geral de como você pode contratar os serviços na plataforma da Microsoft além de ajudar a ter conhecimentos básicos sobre Cloud Computing.

DP-900 tem o foco na Plataforma de Dados e como são implementados, principalmente por meio dos serviços de nuvem. Você pode usar estes assuntos para lhe dar base sobre os serviços de armazenamento e processamento de dados.

PL-900 te ajudará a entender os elementos que envolvem a Power Platfom, que permite automatizar processos básicos de negócios, realizar análises básicas de dados, desenvolver aplicativos e bots rapidamente.

O objetivo principal é você não ser tapeado, e realizar o exame após seus estudos, te ajudará a ter uma comprovação externa sobre o assunto que você estudou e aprendeu. Desejo boa sorte na jornada, e que tenha sucesso nos exames!

O post Fui tapeado… apareceu primeiro em Diego Nogare.

para ajudar na tomada de decisão

Que os dados são os bens mais valiosos que as empresas possuem, não temos duvidas, mas como podemos extrair valores de seus documentos antigos da mesma forma que fazemos com os dados digitais que são utilizados nas tomadas de decisões? Com o uso de técnicas de Inteligência Artificial das áreas de Visão Computacional e também de Interpratação de Linguagem Natural, combinado com o poder da Computação em Nuvem, é possível trabalhar nesta frente dentro da sua empresa.

Imagine ter uma solução similar aos sofisticados sistemas de busca web, como o Google ou Bing, para sua empresa. Sim, é possível permitir busca de um termo e analisar o retorno no formato já conhecido de textos, como também os retornos em imagens, videos, etc. Qualquer coisa que contenha aquele termo de busca será retornado. Seja de escrita em formato digital ou manual. Como também em representação de imagem, será retornado para você. E não é necessário desenvolver do zero esta solução. Você pode utilizar serviços prontos, como por exemplo, a Busca Inteligente e a Mineração de Conhecimento que é oferecido como Serviço Cognitivo.

Extrair valores de seus documentos

A oferta de Busca Inteligente e Mineração de Conhecimento, contudo, encapsula diversas técnicas separadas dos Serviços Cognitivos. Como OCR que recebe um documento que foi digitalizado e transforma em texto, visão computacional para criar legendas automáticas em imagens. A busca fonética permite que se encontre termos, mesmo que digitados errados, mas que tenha uma similaridade em sua forma. Entre outras soluções nativas dos serviços cognitivos…

Um exemplo de uso destas técnicas pode ser encontrado no projeto JFK Files, onde a Microsoft indexou os documentos publicos do caso. O vídeo abaixo explica um pouco do uso destas técnicas, contudo apresentou uma visão macro, utilizadas na construção deste projeto sobre o assassinato do presidente americano.

O post Extrair valores de seus documentos apareceu primeiro em Diego Nogare.

da Microsoft em Inteligência Artificial e Machine Learning

Existem diversas certificações internacionais para Inteligência Artificial e Machine Learning, e para ajudar os interessados a conquistar algumas das certificações mais requisitadas nas empresas que desenvolvo projetos, separei alguns materias que a Pluralsight desenvolveu e criei esse guia de certificação Microsoft em IA e ML.

Vale lembrar que a carreira de certificação de IA e ML sofre atualização a todo tempo, principalmente quando o mercado passa a utilizar algum novo framework ou ferramenta específica. Estes cursos foram produzidos em cima do material oficial, e estão separados de acordo com o que é cobrado em cada exame.

AZ-900 (Microsoft Azure Fundamentals)

Este conteúdo não é de IA ou ML, mas te ajuda a entender o comportamento de soluções envolvendo computação em nuvem.

7 cursos e 10 horas de conteúdo envolvendo a estrutura e fundamentos de cloud computing.

https://www.pluralsight.com/paths/microsoft-ignite-2019-azure-fundamentals

DP-100 (Microsoft Azure Data Scientist)

https://www.pluralsight.com/paths/microsoft-azure-data-scientist-dp-100

25 cursos e 48 horas de conteúdo, cobrindo assuntos envolvendo Machine Learning com Python e também com o Azure Machine Learning. Também tem cursos envolvendo estatística e ciência de dados.

DP-200 (Microsoft Azure Data Engineer)

https://www.pluralsight.com/paths/microsoft-azure-data-engineer-dp-200

16 cursos e 31 horas de conteúdo que envolvem Big Data, Data Lake, Stream Analytics, Cosmos DB, Polybase e Data Factory.

DP-201 (Azure Data Solution)

https://www.pluralsight.com/paths/azure-data-solution-dp-201

6 cursos e 9 horas de conteúdo com Databricks, Segurança no Azure e também tópicos envolvendo Arquitetura de soluções.

AI-100 (Microsoft Azure AI Engineer)

https://www.pluralsight.com/paths/microsoft-azure-ai-engineer-ai-100

14 cursos e 26 horas de conteúdo sobre serviços cognitivos, integração com software que consome estes recursos e melhores práticas para processar modelos de IA.

É muito provável que ao seguir esse guia de certificação Microsoft em IA e ML, porque você aprendeu o que é exigido no exame, você obtenha sucesso ao realizá-lo.

Contudo, nunca é demais desejar bons estudos e boa sorte na prova!

O post Guia de certificação Microsoft em IA e ML apareceu primeiro em Diego Nogare.

utilizando um método reconhecido mundialmente

Pensando sobre as top 5 certificações para Inteligência Artificial, vale a pena explicar o porque acredito que é uma boa alternativa para você apresentar ao mundo que conhece de determinado assunto. Há pessoas que discordam desta abordagem de realizar provas de certificação, alegando que essa prova só garante que ele aprendeu o assunto para ser aprovado. Mas contra isso, alguns institutos de certificação apresentam cenários que simulam o real, e pedem para que o candidato realize determinadas atividades. Contudo, de forma global, é possível entender que este conhecimento do candidato é o mesmo cobrado para outros candidatos. Sejam estes candidatos moradores dos Estados Unidos ou do Azerbaijão. Todos que se arriscam a realizar a prova, a fazem com os mesmos critérios de aprovação. Eu já havia publicado um guia de estudos para os candidatos se preparar para exames de SQL Server 2012..

Certificações de Inteligência Artificial

Dentro das top 5 certificações para Inteligência Artificial, imagino que estas são as mais interessantes.

Cloudera Certified Professional (CCP Data Scientist)

A certificação CCP Data Scientist ajudar a provar que o candidato está capacitado, se ele for aprovado no exame. A prova cobra soluções de computação distribuída, de forma escalável ​​e robusta. Contudo, um candidato também precisa passar por exames separados em Estatística Descritiva e Inferencial em cenários de Big Data. Também existe cobrança de assuntos relacionados à Advanced Analytics em ambientes de Big Data, como também Machine Learning usando Scala. Este exame é um dos que é baseado em cenário desafiadores, com situações de problemas utilizando dados estruturados e não estruturados. É um grande desafio!

EMC Data Science

A EMC é mundialmente conhecida como uma empresa de Storages, Virtualização e Servidores. Mas não é só isso! Ela também atua com computação em nuvem, segurança e análise de dados. A certificação EMC Data Science cobra conhecimentos em virtualização, análise de dados e o papel do cientista de dados. Esta certificação não expira com o tempo, mas para se preparar o preço é bem salgado. Um dos cursos está na faixa de 1500 dólares.

Microsoft

A Microsoft segmentou os exames de certificação envolvendo IA em alguns níveis, como pode ser acompanhado na imagem abaixo

Na ordem cronológica, o exame DP-100 é o próximo da lista. Neste exame é cobrado tópicos de Machine Learning utilizando Python e também com o Azure Machine Learning, consequentemente tem assuntos envolvendo estatística e ciência de dados. Ao realizar esta certificação, você obtém o título de Microsoft Azure Data Scientist Associate.

Na sequência vem o DP-200, que já cobra algumas coisas voltadas à tecnologias que envolvem Big Data, como Data Lake, Stream Analytics, Cosmos DB, Polybase, Data Factory e alguns outros produtos da família de dados do Azure. Em segundo momento vem o exame DP-201, que ao ser aprovado juntamente com o DP-200, o candidato recebe o título de Azure Data Engineer
Associate. Este exame cobra assuntos como Databricks, Segurança no Azure, Arquitetura e implementação de soluções envolvendo o ecossistema de dados em nuvem Microsoft.

Por fim, o exame AI-100 cobra conhecimentos do candidato envolvendo os serviços cognitivos, integração com desenvolvimento de software que consome estes recursos. Melhores práticas para processar os modelos de IA. Ao ser aprovado neste exame, o candidato recebe o título Azure AI Engineer Associate.

UPDATE: A partir de 30/06/2021, os exames AI-100, DP-200 e DP201 não estarão mais disponíveis. Contudo, o exame AI-102 substituirá o AI-100 e os exames DP-200 e DP-201 serão substituídos por uma versão unificada do exame DP-203. Esta mudança busca atualizar os conteúdos das provas com as novidades mais recentes da Microsoft.

Os outros exames apresentados na imagem, como por exemplo o AZ-900, é bastante básico e cobra conhecimentos gerais sobre computação em nuvem. Apesar de utilizar o Azure para solidificar o conhecimento esperado do candidato, é um exame sobre conceitos. Já o AZ-300 e o AZ-301 são exames que envolvem a área de infraestrutura de cloud computing, segurança, monitoramento, implementação e integração… Mas, se você for aprovado, terá o título Azure Solutions Architect Expert.

INFORMS (CAP)

A certificação CAP (Certified Analytics Professional) da INFORMS (Institute for Operations Research & Management Sciences) é, talvez, a mais neutra de todas. Como o instituto não está associado a nenhum fornecedor, ele não cobra assuntos relacionados à determinados produtos. Mas isso é um ponto positivo, você não precisa refazer a certificação caso algum produto sofra atualizações. Por outro lado, você precisa atingir uma pontuação de 30 PDU (Professional Development Unit) a cada três anos para manter a certificação válida. As PDUs são obtidas em forma de treinamentos, auto-aprendizado, e experiência profissional de trabalho. Da mesma forma o CAP exige, além de experiência no setor, também um diploma de bacharelado ou mestrado em uma área relacionada à dados.

Exin

A Exin também oferece certificações globais sobre determinadas áreas de conhecimento, e para os assuntos que envolvem Business Intelligence & Process, eles oferecem 15 tipos de exames diferentes. Como são diversificados, vale a pena investir um tempo para navegar na página dos exames e conhecer o que eles oferecem. Quero aproveitar e destacar três destes exames, baseado na minha experiência e vivência com projetos envolvendo dados, são eles: O VeriSM Professional, que cobra conceitos envolvendo transformação digital do candidato. Também CCC Big Data Foundation, que cobra conhecimentos envolvendo a área de Big Data com Cloud Computing, utilizando ferramentas como Hadoop e MongoDB. Outro exame que chama atenção é o BCS Foundation Certificate in Business Analysis, que cobra do candidato conhecimentos sobre análise de negócios, estratégias para gerenciamento de modelos de negócios, e assuntos correlatos.

E para se preparar?

Repare que todos os exames que comentei possuem link para as páginas originais, nas suas origens é possível obter mais detalhes sobre o que é exigido em cada exame. Recomendo que navegue até as páginas dos exames que lhe chamaram mais atenção, e veja os assuntos que são cobrados. Alguns dos exames possuem um simulado que você pode adquirir na internet, estes simulados podem ajudar você a entender como está seu conhecimento sobre o conteúdo cobrado no exame, antes de realmente fazê-lo. Todos os links também apresentam o que é exigido de conhecimento para aquele exame, e essa lista de exigências é um grande acelerador para você buscar conhecimento…

Boa sorte nos exames!

O post Top 5 certificações para Inteligência Artificial apareceu primeiro em Diego Nogare.