e muitas vezes a arquitetura da solução pode ser melhorada

Você sabia que tanto Microsoft Azure quanto Amazon AWS tem produtos nas plataforma que ajudam em como fazer uma boa arquitetura de Cloud Computing em seus projetos? Se você procurar por Well-Architected Framwork vai encontrar uma ferramenta que analisa a sua arquitetura de nuvem buscando sugerir as melhores práticas de mercado. Vou focar este texto com Azure e AWS, mas não sei se outros fornecedores também possuem alguma ferramenta assim.

Este framework ajuda a responder questões de cada um dos pilares, que, em primeiro lugar, envolvem: Segurança, Confiança, Eficiência e Otimização, que juntos permitem chegar à uma Excelência Operacional.

Esta ferramenta foi criada buscando ajustar os componentes utilizados nos projetos em uma melhor arquitetura. Contudo, um dos grandes segredos do sucesso tem a ver com Infrastructure as a Code, para garantir excelência e reprodutibilidade dos componentes. A parte de Infrastructure as a Code é importante, como foi comentado em Automatizar a publicação do seu modelo com MLOps.

Os pilares da arquitetura

Ao observar os pilares de uma boa arquitetura de Cloud Computing em Azure ou AWS, estarão sustentadas em:

Segurança: Proteger informações e sistemas

Confiança: Capacidade de recuperação à desastres e falhas

Eficiência: Consiste em usar adequadamente os sistemas de TI

Otimização: Executar o que precisa, com o menor orçamento possível

Excelência Operacional: Foco em suporte corporativo para objetivos de negócios através de monitoramento do ambiente e com entregas de melhoras contínuas

Worloads específicos

O processo de Well-Architected é bem genérico. Contudo, é possível aplicar análises em workloads específicos. Por exemplo, para AWS, há um documento de mais de 60 páginas de AWS Well-Architected – Machine Learning, como também para Analytics. Também é possível encontrar este framework para outras frentes de trabalho, mas não é o foco aqui do texto.

Treinamentos gratuitos

Tanto Microsoft quanto Amazon possuem treinamentos gratuitos para ajudar quem está desenhando a arquitetura, a seguir as boas práticas. O treinamento da AWS tem por volta de 1h30 de conteúdo em vídeo. Eu particularmente demorei mais do que isso. No entanto, no curso da Microsoft, o material é predominante de texto. O conteúdo diz ter por volta de 1h40, mas eu também demorei mais.

Como fazer uma boa arquitetura de Cloud Computing

Você pode rodar qualquer uma das ferramentas utilizando os links abaixo:

AWS Well-Architected

Azure Well-Architected Review

A ferramenta lhe conduz durante o processo, garantindo que você consiga usufruir de todo o potencial que o framework oferece.

Bons desenhos!

O post Como fazer uma boa arquitetura de cloud computing apareceu primeiro em Diego Nogare.

como escolher o mais apropriado?

Esta semana, durante a preparação de uma aula para a pós-graduação, me deparei com a situação de como escolher uma ótima solução. Isso porque, para resolver problemas envolvendo Big Data, Machine Learning, Data Science e Inteligência Artificial, existem muitas soluções incríveis no mercado. Mas e ai, qual é a que melhor resolve meu problema?

Pensando nisso, montei a aula trazendo a experiência que uso no meu trabalho. Quando há a necessidade de recomendar uma solução aos clientes, em situações nas quais eles não tem uma exigência específica, tento me basear esta abordagem.

É importante deixar registrado aqui, que essa forma de ação, dá um caminho para montar a proposta. Você não deveria se guiar unica e exclusivamente por este caminho. Mas pode usá-lo como um auxílio.

Conhecendo o mapa macro das ferramentas

Já faz alguns anos que Matt Turck elabora um landscape das soluções envolvendo Data & AI. É uma imagem segmentada por áreas, onde dentro de cada uma delas há indicações de ferramentas e fornecedores que ajudam a resolver aquele tipo de problema. Com grandes áreas como Infrastructure, Analytics & Machine Learning, Applications – Enterprise, Cross-Infrastructure/Analytics, Open Source, Data Source & API e Data Resources. E dentro destas grandes áreas, existem sub-grupos para ajudar a estreitar ainda mais a facilidade de chegar à solução.

Com base nisso, você poderá saber quais são as soluções mais apropriadas, segundo Matt Turck e sua equipe, para te ajudar a resolver problemas daquelas áreas. Clicando na imagem do landscape, abrirá a imagem original em tamanho que permite ler.

Mas qual escolher?

Após ver as sugestões, como escolher uma ótima solução? Eu, particularmente, gosto de usar análises de organizações independentes. Uma destas consultorias é o Gartner. Eles possuem vários relatórios e análises sobre tecnologia da informação. Um destes relatórios é chamado de Quadrante Mágico. Anualmente o Gartner analisa diversos aspectos de ferramentas, agrupadas por áreas de atuação, e apresentam um relatório bem completo com pontos fortes de cada uma delas, e pontos que devem ser analisados com mais cautela por quem for usar aquela solução.

Veja um exemplo de como é o Quadrante Mágico para Data Science e Plataformas de Machine Learning, em 2020.

Este relatório é pago, e o Gartner vende seu acesso para qualquer empresa. Contudo, o quadrante mágico tem uma área que destaca os líderes de mercado naquela segmentação. Estes líderes compram o relatório com licença de compartilhamento, para usar a seu favor em questões de marketing e comparação com outros concorrentes. Para nós, que estamos buscando entender os pontos analisados pelo Gartner sobre estas soluções, podemos nos beneficiar destes relatórios comprados pelos líderes.

Por exemplo, o quadrante mágico de 2020 sobre plataformas de Data Science e Machine Learning pode ser acessado gratuitamente através de um cadastro simples no site da Alteryx. A mesma coisa acontece para o relatório de 2020 sobre plataformas de Analytics e Business Intelligence que a Microsoft pagou e fornece gratuitamente. Ou então o de Cloud Infrastructure as a Service de 2019 que a Amazon pagou e fornece para os interessados.

E isso resolve?

Este caminho é um guia que vai te ajudar, mas não faz milagres. Existe um universo de situações que você pode enfrentar no seu dia a dia, e entender o que pode ser usado para resolver aquele problema é fundamental. Use estas sugestões e adapte para sua realidade, unindo estas idéias com o que já faz no seu trabalho.

O post Como escolher uma ótima solução apareceu primeiro em Diego Nogare.

para ajudar na tomada de decisão

Que os dados são os bens mais valiosos que as empresas possuem, não temos duvidas, mas como podemos extrair valores de seus documentos antigos da mesma forma que fazemos com os dados digitais que são utilizados nas tomadas de decisões? Com o uso de técnicas de Inteligência Artificial das áreas de Visão Computacional e também de Interpratação de Linguagem Natural, combinado com o poder da Computação em Nuvem, é possível trabalhar nesta frente dentro da sua empresa.

Imagine ter uma solução similar aos sofisticados sistemas de busca web, como o Google ou Bing, para sua empresa. Sim, é possível permitir busca de um termo e analisar o retorno no formato já conhecido de textos, como também os retornos em imagens, videos, etc. Qualquer coisa que contenha aquele termo de busca será retornado. Seja de escrita em formato digital ou manual. Como também em representação de imagem, será retornado para você. E não é necessário desenvolver do zero esta solução. Você pode utilizar serviços prontos, como por exemplo, a Busca Inteligente e a Mineração de Conhecimento que é oferecido como Serviço Cognitivo.

Extrair valores de seus documentos

A oferta de Busca Inteligente e Mineração de Conhecimento, contudo, encapsula diversas técnicas separadas dos Serviços Cognitivos. Como OCR que recebe um documento que foi digitalizado e transforma em texto, visão computacional para criar legendas automáticas em imagens. A busca fonética permite que se encontre termos, mesmo que digitados errados, mas que tenha uma similaridade em sua forma. Entre outras soluções nativas dos serviços cognitivos…

Um exemplo de uso destas técnicas pode ser encontrado no projeto JFK Files, onde a Microsoft indexou os documentos publicos do caso. O vídeo abaixo explica um pouco do uso destas técnicas, contudo apresentou uma visão macro, utilizadas na construção deste projeto sobre o assassinato do presidente americano.

O post Extrair valores de seus documentos apareceu primeiro em Diego Nogare.

transformando a imagem em um conjunto de numeros

Com o crescimento do poder da computação nos dias de hoje, e o entendimento cada vez maior das possibilidades do uso da Inteligência Artificial nas empresas, listei os 5 passos para Visão Computacional, que é uma das áreas de maior percepção do uso da IA. Não porque está em evidência, mas porque é próxima ao comportamento humano, assim como a questão de interpretação de linguagem natural. Com isso, as pessoas conseguem ter uma percepção melhor da Inteligência Artificial na resolução de problemas.

As técnicas de Visão Computacional procuram simular a visão natural, seja de um humano ou de um outro animal. O mais comum é simular a visão humana, com aplicações em projetos de reconhecimento de objetos em cena, análise de sentimentos em faces, reconhecimento de faces, entre outros. A análise de vídeo também entra nesta categoria, pois os vídeos são uma sequência de várias fotos passadas uma após a outra em um conjunto muito pequeno de tempo.

Recomendo a leitura do livro A Revolução do Aprendizado Profundo, para ter uma ideia mais ampla do uso das soluções de Deep Learning, além da Visão Computacional.

5 passos da Visão Computacional

Amostras de imagens

Como todo sistema de Machine Learning, o seu projeto de Visão Computacional deve saber o que procurar na imagem. Para isso, ele precisa ser ensinado! Existem muitas bases de dados de imagens que são possíveis de se utilizar para ensinar a máquina. Algumas são bastante famosas, como por exemplo a Imagenet. Outras mais específicas para um domínio de assunto, como o SDO – Solar Dynamics Observatory.

É importante definir como você pretende ensinar a máquina, e apresentar os exemplos reais que quer buscar e também os contra-exemplos. Esta necessidade é justamente para ensinar a máquina a encontrar os padrões do que realmente quer encontrar e divergir do que é parecido mas não é o que precisa. Imagine que está ensinando a máquina a reconhecer ovelhas que estão prontas para ter a lã retirada. É importante ter uma grande quantidade (e esse numero diverge bastante na literatura, então é difícil dizer uma quantidade mínima de amostras) de ovelhas, mas também apresentar diversas imagens de nuvens no céu para que sirvam de contra-exemplos.

Redimensionar os tamanhos

Para facilitar a aprendizagem de máquina, é interessante que todas as imagens trabalhadas sigam um padrão de tamanho. Isso porque quanto maior for a imagem, mais detalhes e informação ela pode conter. Pense em uma imagem como uma matriz de números, onde cada pixel da imagem é um conjunto combinado de cores. Em uma imagem de 500 pixels de largura por 500 pixels de altura, existe no total 250.000 pixels naquela matriz. É bastante coisa, não é?! Agora imagine que as imagens sejam de tamanhos variados, algumas contendo 2000 x 2000 pixels de tamanho. São 4 milhões de pontos, isso só em uma imagem.

Redimensionar as imagens, para manter um padrão de tamanho aceitável é importante. Assim pode-se diminuir o processamento, mas sem perder a qualidade da imagem.

Aplicar os filtros

Lembra da imagem de 500×500 que comentei acima, agora aprofunde esse número para que cada um destes 250 mil pontos sejam representados por uma combinação de três canais de cores. O R representa a cor vermelha (Red), o G representa a cor verde (Green) e o B representa a cor azul (Blue). Imagine o tanto de processamento que é necessário para trabalhar com uma imagem desta, em todos os seus pixels e cores RGB. Com o objetivo de salvar um pouco de processamento mas sem perder qualidade da resposta, alguns filtros podem ser aplicados.

Uma técnica bastante utilizada é de transformar tudo em tons de cinza. Com isso, ao invés de ter a profundidade de 3 camadas de cores do RGB, é só uma camada que varia entre o preto e o branco, com um intervalo de 255 possibilidades sendo o valor 0 o preto absoluto e o valor 255 o branco absoluto. Todo o intervalo é um degradê saindo do preto e chegando ao branco, passando por vários tons de cinza. Se seu problema não precisa de cores, essa técnica pode ajudar.

Outra técnica que pode estender esse processamento, é a binarização para valores de branco e preto. É possível definir um valor de corte, que seria o tom de cinza escolhido. Com isso, qualquer valor de cor do pixel é comparado com esse numero de corte. Se o valor do pixel for inferior ao corte, ele passará a ser preto, se o valor for superior ao de corte, ele passará a ser branco. Isso transforma a imagem exclusivamente em preto e branco.

Filtro de bordas podem ser utilizados para dar realce à áreas de interpolação de objetos, destacando os objetos de acordo com a variação dos pixels à sua volta.

Limpar os ruídos

Mesmo após aplicar os filtros para deixar as imagens mais fáceis de se trabalhar, é possível aplicar mais alguns filtros que ajudarão a tirar algumas impurezas da imagem. Estas impurezas são chamadas de ruído e não trazem benefícios reais.

Talvez um dos mais comuns seja o processo de convolução de imagem. Que por padrão faz uma média aritmética dos valores dos pixels à sua volta, e substitui o valor daquele pixel caso ele esteja fora do valor da média com o acréscimo de um desvio padrão.

Para ilustrar, mas sem ficar muito complexo, imagine que foi definido um valor de 9 pixels para acontecer a convolução da imagem. Este processo faz uma segmentação em janela com 3×3 pixels, totalizando os 9 definidos. É analisado o pixel central, comparado com o valor da média aritmética de todos os outros 8 pixels à sua volta, incluindo os diagonais. Então o valor do pixel é comparado com o resultado do calculo acrescido do desvio padrão definido. Se o valor estiver fora daquele intervalo, então o algoritmo fará a substituição do valor do pixel pelo novo valor. E andará a janela de 9 pixels para a próxima combinação de valores. Seguirá fazendo isso até o fim da imagem. Com todas as imagens.

Treinar o modelo

Depois de padronizar e limpar todas as imagens, é necessário criar o modelo que fará o reconhecimento do objeto que você deseja. Existem muitas bibliotecas e frameworks disponíveis para você utilizar em seus projetos. Uma das bibliotecas mais famosas é o OpenCV, que é da Intel e tem distribuição gratuita. Um framework bastante utilizado para treinar a máquina a reconhecer objetos em tempo real é o Yolo – You Only Look Once. Mas será que vale fazer meu modelo do zero ou usar um framework já pronto? Na minha visão, a resposta é depende. Isso porque cada caso é um caso, e se você precisa de algo muito rápido para testar, usar as ferramentas prontas que permitem ajuste é uma boa saída. Contudo, se você precisa de algo muito específico, ai provavelmente terá que fazer do zero.

Acredito que com essa leitura você terá entendido os 5 passos da Visão Computacional, e poderá adicionar a habilidade humana de enxergar aos seus projetos. Agora é estudar as formas de fazer isso, e colocar a mão na massa!

O post 5 passos da Visão Computacional apareceu primeiro em Diego Nogare.

para oferecer nova usabilidade aos sistemas

Há uma linha de pesquisadores na área de Interface Humano Computador – IHC – investindo seus esforços para entender as interações desta geração, que são feitas muitas vezes através de voz e não exclusivamente com cliques ou toques em tela, permitindo interpretação e geração de fala em projetos. Para que isso aconteça, é importante que o sistema de Inteligência Artificial consiga interagir com o usuário através desta nova forma. Quando algum assistente pessoal como a Alexa, Google Home, Siri ou Cortana é ativado e recebe um comando de voz, é necessário interpretar o que foi solicitado pelo usuário e que a ação seja respondida.

O assistente ouve o que o usuário pediu, então transforma o audio para texto através de um processo de transcrição, e então dispara o comando internamente nos diversos sistemas que integram esse ambiente. O comando é analisado e processado, e o retorno do sistema devolve a resposta. Esse retorno é então sintetizado de texto para voz, e é reproduzido pelo alto-falante do assistente. Concluindo assim o ciclo daquele diálogo.

Geração de fala em projetos

O processo para interpretar fala em projetos segue um roteiro padronizado relativamente trivial. Pode-se estender novas habilidades para aumentar sua capacidade de interação, mas isso é feito de projeto para projeto. Traduzir um texto, extrair o sentimento daquela frase ou perceber a intonação da voz são explorados por técnicas de Machine Learning. Esta técnicass estendem a interação por voz e pode fazer mais para o seu sistema!

O cenário trivial consiste necessariamente que o ambiente permita a transcrição em tempo real de áudio em texto. O sistema consome esse texto para poder tomar as medidas necessárias internas utilizando o texto como entrada do comando. Se trabalhar no ambiente Microsoft poderá disparar o texto como comando de entrada para interagir com o LUIS ou o QnA, permitindo que ações desenvolvidas com o Bot Framework tome a ação desejada. Então o retorno destas soluções pode devolver a saída para o sistema de interação. Mais uma vez no ambiente Microsoft, é permitido transformar o texto de saída em algumas das vozes padrão ou em uma voz neutra (sem gênero definido) ou até criar uma voz personalizada exclusiva para seu sistema. Existem 75 vozes definidas como padrão e estão disponíveis em mais de 45 idiomas. 

Exemplo real de solução

A Microsoft apresentou uma demonstração destas funcionalidades, permitindo interpretação e geração de fala em projetos. Integrado com o Hololens, foi feita uma tradução simultânea entre Inglês (idioma original) e Japonês (idioma destino) e projetada em um holograma, como se a apresentadora estivesse falando naturalmente em Japonês. Veja o vídeo desta demonstração em uma aplicação desenvolvida para ser reproduzida em projetos do mundo real.

O post Permitindo interpretação e geração de fala em projetos apareceu primeiro em Diego Nogare.

oferecendo uma tela sem botões a seu cliente

Hoje em dia é muito comum os usuário interagirem de formas diferentes com seus aplicativos, e cada vez mais, é solicitado que se crie projeto com interpretação de linguagem natural. Isso não acontece só porque nos dias de hoje existe poder computacional disponível para isso, mas também porque é mais rápido desenvolver utilizando os serviços cognitivos.

Estes serviços permitem o usuário digitar uma ação de texto corrido, ou então para ele dizer (utilizando voz) o que deseja, ou até para explorar documentos. Estas tarefas são possíveis, graças à técnicas de processamento de linguagem natural. Estas técnicas não são atuais, já existem desde a década de 60!

Como funciona a interpretação de linguagem natural

Existem diversas técnicas computacionais que permitem interpretar os textos de forma natural. Você pode procurar por elementos e como técnicas, como:

Stemming que destacam o radical da palavra e se refere a um processo heurístico bruto que corta o final das palavras na esperança de atingir o objetivo corretamente na maioria das vezes;

Lemmatization que se refere a fazer as coisas corretamente com o uso de uma análise de vocabulário e morfologia das palavras, buscando remover as terminações flexionadas e retornar a forma básica ou de dicionário de uma palavra.

Stop Words que são as palavras de ligação, artigos, preposições, e outras palavras que fazem com que os textos sejam entendidos para os humanos, mas que não trazem muito benefício para a máquina na hora de interpretar o que está escrito ali.

Token é o termo usado para a palavra, ou conjunto de palavras, que está sendo tratada naquele contexto da interpretação. Contudo, o token depende do Corpus, que é o conjunto de documentos utilizado para aquele domínio de assunto. Todos os documentos utilizado naquele domínio são denominado de Corpus.

O que fazer

Pense que, quando um texto é enviado para uma análise, é fundamental entender o que ele significa para então tomar uma ação. Contudo, esse texto pode ser passado de diversas formas diferentes. Mas se isso acontece, como podemos interpretá-lo e entender o que se espera de resultado? É exatamente neste momento que as técnicas em projetos de interpretação de linguagem natural são aplicadas.

Estas técnicas auxiliam o modelo de Inteligência Artificial a entender as intenções de cada texto e extrair possíveis entidades. O resultado esperado é que, ao usar estas técnicas, as ações sejam realizadas de várias formas diferentes, mas, devem responder da mesma forma. Como acontece em uma conversa natural entre pessoas.

Se for utilizar os serviços cognitivos da Microsoft, você pode combinar as técnicas de QnA e LUIS.

QnA

É o serviço de Perguntas e Respostas, que permite criar relacionamentos entre o que é perguntado e o que é respondido. Diversas perguntas podem ser direcionadas à uma resposta, isso aumenta a variação de formas que as perguntas são feitas, para que o sistema possa responder de forma correta.

Os três itens de destaque do QnA são

1. Perguntas – é o que você espera que um usuário faça. As perguntas serão combinadas com respostas;
2. Respostas – a resposta que será retornada quando um usuário fizer uma pergunta. A resposta está emparelhada com uma pergunta na base de conhecimento;
3. Metadados – são tags associadas ao par de perguntas e respostas. Internamente, eles são representadas como pares de chave-valor e filtram os pares de Pergunta/Resposta para corresponder a uma consulta do usuário.

LUIS

É o acrônimo de Language Understanding Intelligent Service. Que é responsável por receber uma sentença, ou declaração, e é responsável por extrair a intensão e entidade daquele texto. Os principais elementos do Luis são:

1. Declarações – as declarações são inseridas pelo usuário, e enviadas ao aplicativo, que é responsável por interpretá-la;
2. Intenção – uma intenção representa uma tarefa ou ação que o usuário deseja executar. É um propósito ou objetivo expresso na declaração de um usuário;
3. Entidades – A entidade representa uma palavra ou frase dentro do texto, que você deseja extrair.

Dicas de criação

Ao criar projetos de interpretação de linguagem natural, é esperado que você adicione elementos que permitem e facilitem as interações do usuário com seu sistema. Contudo separei alguns elementos importantes para criar seu projeto.

1. Intenções – verifique se elas são distintas. Não crie sobreposição com enunciados como ‘Reservar um voo’ e ‘Reservar um hotel’. Você pode diferenciar qual aspecto da ‘reserva’ você quer extrari, definindo voo e hotel como entidades;
2. Construir iterativamente – mantenha um conjunto separado de sentenças que não são usados ​​como exemplo de declaração ou ponto final. Continue melhorando o aplicativo para seu conjunto de testes, contudo adicione as novas frases para ensinar o aplicativo com as interações dos usuários. Adapte o conjunto de testes para refletir as declarações reais do usuário. Usar este conjunto de teste para avaliar cada iteração ou versão do aplicativo.
3. Use a intenção Nenhuma (none) – essa é a intenção de fallback, significa que o aplicativo não sabe o que é aquela sentença enviada pelo usuário. Adicione ao menos 1 exemplo de sentença à intenção Nenhuma, mas faça isso para cada 10 sentenças de exemplo do seu aplicativo.

Projeto com interpretação de linguagem natural

Neste vídeo é explicado como é fácil criar um Bot que interpreta textos para responder uma FAQ.

O post Projeto com interpretação de linguagem natural apareceu primeiro em Diego Nogare.

mas você sabe como adicionar IA ao seu projeto?

Observando todo o hype gerado pelas tecnologias de IA nos últimos anos, a guerra de tomar a liderança entre Estados Unidos e China, e a forma como os gestores enxergam isso, você sabe como adicionar Inteligência Artificial ao seu projeto? Entenda como consumir serviços prontos de IA, que podem ajudar a resolver problemas do seu negócio. Estas ferramentas de IA são oferecidas por diversos fornecedores como Microsoft, Google, Amazon, IBM… E são técnicas conhecidas como serviços cognitivos, ou suas variabilidades semânticas, cobrindo cinco pilares:

1. 1. Visão Computacional;
   2. Interpretação e/ou geração de fala;
   3. Interpretação de linguagem natural;
   4. Pesquisa e indexação de documentos;
   5. Extração de conhecimento coletivo.

A grande vantagem de uso é que você consegue adicionar IA em seus projetos, contudo, não precisa saber a fundo o que são e como funcionam estes processos. Você consome estas ferramentas através de chamadas de APIs, uso de SDKs ou serviços na nuvem que permitem baixar o resultado treinado e acoplá-lo no seu ambiente. Apesar de não precisar, é sempre bom conhecer as técnicas e processos que está utilizando.

Se você não tem as habilidades necessárias em Inteligência Artificial ou Machine Learning, mas precisa desenvolver produtos que utilizam estas técnicas, é recomendado contratar alguém que conheça do assunto para lhe ajudar. Por outro lado, se sua necessidade é algo que os serviços cognitivos já resolvem, usá-lo é uma grande saída! Em primeiro lugar porque você não precisa se preocupar em construir do zero do seu modelo, você vai consumir o serviço do fornecedor e terá os resultados funcionando no seu projeto. Em segundo lugar, os dados e modelos dos serviços são atualizados com frequência pelos fornecedores, fazendo com que você sempre tenha um resultado mais completo.

Visão Computacional

As ferramentas de Visão Computacional simulam o comportamento da visão biológica, mais especificamente a visão humana, pelo computador. É possível trabalhar com elementos para reconhecimento de objetos em imagens ou vídeos. Reconhecer faces em imagens. Comparar rostos e ver se são as mesmas pessoas… Analisar sentimentos em rostos, como também estimar idade e gênero da pessoa.

Interpretação e/ou geração de fala

Alguns pesquisadores dizem que as interações desta geração serão feitas através de voz, e não exclusivamente com cliques do mouse ou toques na tela. E para isso, é importante que o sistema consiga interagir com o usuário desta nova forma. Quando você ativa algum assistente pessoal como a Alexa, Google Home, Siri ou Cortana, e dá um comando de voz. O assistente interpreta o que você pediu, sintetiza aquilo para texto e dispara o comando internamente nos diversos sistemas que integram esse ambiente. O comando é processado, e algum retorno é feito. Esse retorno é então sintetizado de texto para voz e é reproduzido pelo alto-falante do assistente.

Interpretação de linguagem natural

Quando um texto é enviado para uma análise, é importante conseguir entender o que ele significa e extrair a ação que se espera dali. Mas esse texto pode vir escrito de diversas formas diferentes, e como podemos interpretá-los e entender o que eles significam? É ai que entra o papel da interpretação de linguagem natural (ou processamento de linguagem natural). Esta prática avançada de Inteligência Artificial auxilia a entender as intenções de cada texto e extrair possíveis entidades. O resultado desta técnica permite que as ações sejam pedidas de diversas formas diferentes, contudo, conseguem responder da mesma forma.

Pesquisa e indexação de documentos

Você já se deu conta que sistemas de buscas, como o Google, possuem a característica de fazer as buscas em diversas formas? Se você faz uma busca de um termo qualquer são retornados resultados envolvendo textos, imagens, localizações, videos. Qualquer coisa que contenha aquele termo de busca, e que está indexado nos servidores do Google, são retornados para você. Imagine agora ter essa mesma capacidade em seus documentos! Sim, as pesquisas e indexações de documentos permitem que você faça isso sem expor seus dados publicamente.

Extração de conhecimento coletivo

Quando desenvolvemos modelos de Machine Learning para resolver um problema da nossa empresa, é comum este problema ser específico e condizer com a nossa forma de trabalhar. Contudo, alguns problemas são genéricos, como por exemplo reconhecer um rosto. Independente de ser um rosto das pessoas da nossa empresa, ou do nosso maior concorrente, continuam sendo rostos e seguem (na maioria das vezes) o mesmo padrão. Mas não é necessário criar um modelo de Inteligência Artificial exclusivo para a nossa empresa, para reconhecer um rosto. Podemos usar estes serviços de forma coletiva.

Conheço como funciona a Microsoft, e os serviços cognitivos que eles oferecem são processados com frequência e estão com conjuntos de dados atualizados. Esse conhecimento coletivo que é fornecido para nós, oferece um modelo cada vez mais assertivo e atualizado. E o melhor é que a gente não precisa processar nada para ter isso, somente chamar a API e pronto!

E agora, como eu faço para adicionar Inteligência Artificial ao meu projeto?

Continue acompanhando os textos que vou publicar mais detalhes, de formas específicas, sobre cada uma destas áreas de atuação com serviços cognitivos. Recentemente fiz o exame AI-100 da Microsoft e fui aprovado, este exame está na lista dos Top 5 certificações de IA, e ele cobra bastante coisa sobre arquitetura e serviços cognitivos. Vou usar alguns assuntos exigidos para ser aprovado no exame, para explicar as funcionalidades para vocês!

O post Como adicionar Inteligência Artificial ao seu projeto apareceu primeiro em Diego Nogare.

Usando o Azure Machine Learning é possível consumir dados de uma infinidade de origens, fazendo o upload da sua base de dados ou então lendo os dados de:

• Web URL via HTTP
• Hive Query
• Azure SQL Database
• Azure Table
• Azure Blob Storage
• Data Feed Provider

Neste post vou mostrar como ler os dados de um Azure Blob Storage. Para isso entendo que você já criou seu ambiente e está com o Azure Machine Learning rodando (caso ainda não tenha montado, veja como fazer aqui)…

Importante: O componente de Reader do Azure Machine Learning quando está lendo a origem do Azure Blog Storage faz a leitura de um container do mesmo storage que foi usado para criar o ambiente. Garanta isso!

Para fazer o acesso são necessários alguns dados que ficam nas configurações do storage, vá até o portal do Azure em seguida vá ao menu de storage e então selecione o seu armazenamento. Clique em Gerenciar Chaves de Acesso. Isso lhe abre

Uma nova janela se abre com a chave de acesso primária e secundária. Copie a primária que ela será usada em seguida, lá no Azure Machine Learning.

Ao abrir o StudioML , crie um novo experimento. Caso não saiba fazer isso, pode ser este post. Procure o componente Reader no menu da esquerda e arraste para o seu experimento. Ao clicar no componente, algumas opções se abrirão no menu da direita. Garanta que escolheu Azure Blob Storage na opção do Data source.

Com os dados do storage que você copiou lá do portal do Azure, preencha os campos Account name, Account Key e Path to Container. No meu caso, ficou assim:

• Account Name: blognogareml
• Account Key: A chave de acesso primária que copiei lá do storage
• Path to Container: origemblog/dadosBrutos.csv

Reparem que o ícone de esclamação desapareceu… Isso significa que os dados fornecidos para o componente são semanticamente válidos. Lembrando que os dados devem ser preenchidos exatamente como são, respeitando o case sensitive (maiúsculas e minúsculas).

Para validar se os dados estão acessíveis, clique no ícode Run na barra inferior do StudioML e aguarde a execução do pacote. Após ficar com um check verde no componente, clique no botão de saída do componente e em seguida em View Results.

Se os dados forem lidos corretamente, você terá uma nova janela com alguns dados referentes ao seu dataset, como esta abaixo. Repare que no canto superior esquerdo a janela apresenta a quantidade de linhas (rows) e colunas (columns) que você tem no seu dataset.

Pronto, com isso você consegue acessar seu dataset através de um Azure Blob Storage. Divirta-se

O post Azure Machine Learning – Lendo um CSV com Azure Blob Storage – Parte 5 apareceu primeiro em Diego Nogare.

Voltando ao exemplo que fiz para o Codificando Live de Edição #43, onde analisamos uma base de alimentos e definimos alguns itens da amostra como misturas ou não. A matrix aparece aos 20m32s de vídeo onde é rapidamente apresentada a acuracia, logo abaixo da curva ROC, no item Evaluation Model Result.

Se reparar no vídeo, o treino do modelo é feito com 80% da base que fizemos o upload e é mantido 20% para testes (esta divisão acontece na tarefa de split). É com esta base de testes, que já temos conhecimento do resultado, que a matriz vai validar a coluna de predição informada no treino. Ela aplica o que treinou em cima desta base de teste, e compara se o resultado que ela obteve é igual ao que está nos dados originais. Resultando na seguinte estrutura:

Onde alguns valores são absolutos, baseados na classificação binária de erro ou acerto, que são:

True Positive:

Ele entende que as misturas foram analisadas e classificadas como mistura (acertou a mistura). Neste caso, é 16.

False Positive:

Ele entende que as misturas foram analisadas e classificadas como não mistura (errou a mistura, classificando como outro prato). Neste caso, é 5.

True Negative:

Ele entendeu o que não era mistura (era outro prato) e classificou como outro prato (acertou que não era uma mistura). Neste caso, é 54.

False Negative:

Ele entende que os outros pratos (não misturas) foram classificados como mistura (errou o outro prato). Neste caso, é 0.

Já outros são baseados em cálculos matemáticos simples, como estes abaixo:

∑ Positivos = Acertos = True Positive + False Negative

∑ Negativos = Erros = False Positive + True Negative

Acuracy (acurácia):

(True Positive + True Negative) / (∑ Positivos + ∑ Negativos)

Com nossos números: (16 + 54) / ((16+0) + (5+54)) => 70 / 75 = 0.9333

Precision (precisão):

(True Positive) / (True Positive + False Positive)

Com nossos números: (16) / (16 + 5) => 16 / 21 = 0.7619

Recall:

True Positive / ∑ Positivos

Com nossos números: 16 / (16+0) => 16 / 16 = 1

F1 Score:

(2* True Positive) / (2* True Positive + False Positive + False Negative)

Com nossos números: (2*16) / (2*16 + 5 + 0) => 32 / 37 = 0.8648

Com estes números, e mais a curva ROC e o AUC, é possível validar os valores do seu experimento e saber se está aceitável ou não. Quanto mais exemplos tiver na base de treino, mais precisa será a coluna de predição porque o computador vai aprender com mais exemplos.

O post Azure Machine Learning – Matriz de Confusão – Parte 4 apareceu primeiro em Diego Nogare.

Fala galera, esta é a terceira e última parte de introdução ao Azure Machine Learning. Fiz de propósito nesta ordem, criando o ambiente somente agora, para você saber onde está se metendo antes de sair criando as coisas e só depois descobrir que não era o que precisava. Mas agora que você já viu que existem algumas categorias de algoritmos para trabalhar com Data Mining e Inteligência Artificial e tem ideia de como eles podem ajudar na solução dos seus problemas, nós vamos agora criar o ambiente para trabalhar em nossos experimentos, e partir para os próximos posts que não serão mais introdutórios!

A primeira coisa a se fazer é acessar o Portal do Azure e criar um novo serviço pro Machine Learning. Importante garantir que o nome da Workspace e do Storage sejam válidos, isso pode ser verificado com o check verde ao lado do nome que você criou. No meu caso é BlogNogareML pro workspace e blognogareml (tudo minusculo) pro storage.

Depois de criado o ambiente, uma entrada do Azure Machine Learning fica disponível a partir do menu da esquerda. Acesse este menu e veja o item que você acabou de criar, no meu caso o BlogNogareML. Ao clicar neste item, vá até o Open in Studio, para chegar até a IDE web-based, onde é possível criar as bases de dados particulares e realizar os experimentos.

Uma nova aba no seu navegador é criada e o ML Studio é aberto. Quando for a primeira vez, um vídeo de introdução será apresentado. Após assistir e fechar o vídeo, você pode começar a criar seus experimentos. Reparem que existem duas opções no menu, uma pra criar DataSet e outra pra criar Experiment. Quando a gente quer utilizar um DataSet que precisa ser feito upload pro Machine Learning, deve-se usar a opção DataSet. Mais pra frente, em outro post, vamos mostrar como faz pra usar uma base de dados através de upload neste menu.

E pra criar o experimento em si, criando e conectando as tarefas em uma ordem logica de execução, você vai utilizar o Experiment.

Por enquanto, crie um experimento em branco clicando em Experiment >> Blank Experiment. Ao clicar neste item, a tela com o menu da esquerda contendo as tarefas padrões do Azure Machine Learning e a área central de desenvolvimento é apresentada, permitindo que seja iniciado o desenvolvimento.

Esta é a tela que será utilizada para trabalhar com os Experimentos, WebServices, Testes, Execuções Locais, etc. Você informa o nome, arrasta os componentes no melhor estilo Drag ‘n’ Drop e com isso cria seus trabalhos. Vamos entender as funcionalidades e amplas possibilidades do que conseguiremos trabalhar com esta ferramenta nos próximos textos. Não deixe de acompanhar!

O post Azure Machine Learning – Introdução – Parte 3 apareceu primeiro em Diego Nogare.