oferecendo uma tela sem botões a seu cliente

Hoje em dia é muito comum os usuário interagirem de formas diferentes com seus aplicativos, e cada vez mais, é solicitado que se crie projeto com interpretação de linguagem natural. Isso não acontece só porque nos dias de hoje existe poder computacional disponível para isso, mas também porque é mais rápido desenvolver utilizando os serviços cognitivos.

Estes serviços permitem o usuário digitar uma ação de texto corrido, ou então para ele dizer (utilizando voz) o que deseja, ou até para explorar documentos. Estas tarefas são possíveis, graças à técnicas de processamento de linguagem natural. Estas técnicas não são atuais, já existem desde a década de 60!

Como funciona a interpretação de linguagem natural

Existem diversas técnicas computacionais que permitem interpretar os textos de forma natural. Você pode procurar por elementos e como técnicas, como:

Stemming que destacam o radical da palavra e se refere a um processo heurístico bruto que corta o final das palavras na esperança de atingir o objetivo corretamente na maioria das vezes;

Lemmatization que se refere a fazer as coisas corretamente com o uso de uma análise de vocabulário e morfologia das palavras, buscando remover as terminações flexionadas e retornar a forma básica ou de dicionário de uma palavra.

Stop Words que são as palavras de ligação, artigos, preposições, e outras palavras que fazem com que os textos sejam entendidos para os humanos, mas que não trazem muito benefício para a máquina na hora de interpretar o que está escrito ali.

Token é o termo usado para a palavra, ou conjunto de palavras, que está sendo tratada naquele contexto da interpretação. Contudo, o token depende do Corpus, que é o conjunto de documentos utilizado para aquele domínio de assunto. Todos os documentos utilizado naquele domínio são denominado de Corpus.

O que fazer

Pense que, quando um texto é enviado para uma análise, é fundamental entender o que ele significa para então tomar uma ação. Contudo, esse texto pode ser passado de diversas formas diferentes. Mas se isso acontece, como podemos interpretá-lo e entender o que se espera de resultado? É exatamente neste momento que as técnicas em projetos de interpretação de linguagem natural são aplicadas.

Estas técnicas auxiliam o modelo de Inteligência Artificial a entender as intenções de cada texto e extrair possíveis entidades. O resultado esperado é que, ao usar estas técnicas, as ações sejam realizadas de várias formas diferentes, mas, devem responder da mesma forma. Como acontece em uma conversa natural entre pessoas.

Se for utilizar os serviços cognitivos da Microsoft, você pode combinar as técnicas de QnA e LUIS.

QnA

É o serviço de Perguntas e Respostas, que permite criar relacionamentos entre o que é perguntado e o que é respondido. Diversas perguntas podem ser direcionadas à uma resposta, isso aumenta a variação de formas que as perguntas são feitas, para que o sistema possa responder de forma correta.

Os três itens de destaque do QnA são

1. Perguntas – é o que você espera que um usuário faça. As perguntas serão combinadas com respostas;
2. Respostas – a resposta que será retornada quando um usuário fizer uma pergunta. A resposta está emparelhada com uma pergunta na base de conhecimento;
3. Metadados – são tags associadas ao par de perguntas e respostas. Internamente, eles são representadas como pares de chave-valor e filtram os pares de Pergunta/Resposta para corresponder a uma consulta do usuário.

LUIS

É o acrônimo de Language Understanding Intelligent Service. Que é responsável por receber uma sentença, ou declaração, e é responsável por extrair a intensão e entidade daquele texto. Os principais elementos do Luis são:

1. Declarações – as declarações são inseridas pelo usuário, e enviadas ao aplicativo, que é responsável por interpretá-la;
2. Intenção – uma intenção representa uma tarefa ou ação que o usuário deseja executar. É um propósito ou objetivo expresso na declaração de um usuário;
3. Entidades – A entidade representa uma palavra ou frase dentro do texto, que você deseja extrair.

Dicas de criação

Ao criar projetos de interpretação de linguagem natural, é esperado que você adicione elementos que permitem e facilitem as interações do usuário com seu sistema. Contudo separei alguns elementos importantes para criar seu projeto.

1. Intenções – verifique se elas são distintas. Não crie sobreposição com enunciados como ‘Reservar um voo’ e ‘Reservar um hotel’. Você pode diferenciar qual aspecto da ‘reserva’ você quer extrari, definindo voo e hotel como entidades;
2. Construir iterativamente – mantenha um conjunto separado de sentenças que não são usados ​​como exemplo de declaração ou ponto final. Continue melhorando o aplicativo para seu conjunto de testes, contudo adicione as novas frases para ensinar o aplicativo com as interações dos usuários. Adapte o conjunto de testes para refletir as declarações reais do usuário. Usar este conjunto de teste para avaliar cada iteração ou versão do aplicativo.
3. Use a intenção Nenhuma (none) – essa é a intenção de fallback, significa que o aplicativo não sabe o que é aquela sentença enviada pelo usuário. Adicione ao menos 1 exemplo de sentença à intenção Nenhuma, mas faça isso para cada 10 sentenças de exemplo do seu aplicativo.

Projeto com interpretação de linguagem natural

Neste vídeo é explicado como é fácil criar um Bot que interpreta textos para responder uma FAQ.

O post Projeto com interpretação de linguagem natural apareceu primeiro em Diego Nogare.

mas você sabe como adicionar IA ao seu projeto?

Observando todo o hype gerado pelas tecnologias de IA nos últimos anos, a guerra de tomar a liderança entre Estados Unidos e China, e a forma como os gestores enxergam isso, você sabe como adicionar Inteligência Artificial ao seu projeto? Entenda como consumir serviços prontos de IA, que podem ajudar a resolver problemas do seu negócio. Estas ferramentas de IA são oferecidas por diversos fornecedores como Microsoft, Google, Amazon, IBM… E são técnicas conhecidas como serviços cognitivos, ou suas variabilidades semânticas, cobrindo cinco pilares:

1. 1. Visão Computacional;
   2. Interpretação e/ou geração de fala;
   3. Interpretação de linguagem natural;
   4. Pesquisa e indexação de documentos;
   5. Extração de conhecimento coletivo.

A grande vantagem de uso é que você consegue adicionar IA em seus projetos, contudo, não precisa saber a fundo o que são e como funcionam estes processos. Você consome estas ferramentas através de chamadas de APIs, uso de SDKs ou serviços na nuvem que permitem baixar o resultado treinado e acoplá-lo no seu ambiente. Apesar de não precisar, é sempre bom conhecer as técnicas e processos que está utilizando.

Se você não tem as habilidades necessárias em Inteligência Artificial ou Machine Learning, mas precisa desenvolver produtos que utilizam estas técnicas, é recomendado contratar alguém que conheça do assunto para lhe ajudar. Por outro lado, se sua necessidade é algo que os serviços cognitivos já resolvem, usá-lo é uma grande saída! Em primeiro lugar porque você não precisa se preocupar em construir do zero do seu modelo, você vai consumir o serviço do fornecedor e terá os resultados funcionando no seu projeto. Em segundo lugar, os dados e modelos dos serviços são atualizados com frequência pelos fornecedores, fazendo com que você sempre tenha um resultado mais completo.

Visão Computacional

As ferramentas de Visão Computacional simulam o comportamento da visão biológica, mais especificamente a visão humana, pelo computador. É possível trabalhar com elementos para reconhecimento de objetos em imagens ou vídeos. Reconhecer faces em imagens. Comparar rostos e ver se são as mesmas pessoas… Analisar sentimentos em rostos, como também estimar idade e gênero da pessoa.

Interpretação e/ou geração de fala

Alguns pesquisadores dizem que as interações desta geração serão feitas através de voz, e não exclusivamente com cliques do mouse ou toques na tela. E para isso, é importante que o sistema consiga interagir com o usuário desta nova forma. Quando você ativa algum assistente pessoal como a Alexa, Google Home, Siri ou Cortana, e dá um comando de voz. O assistente interpreta o que você pediu, sintetiza aquilo para texto e dispara o comando internamente nos diversos sistemas que integram esse ambiente. O comando é processado, e algum retorno é feito. Esse retorno é então sintetizado de texto para voz e é reproduzido pelo alto-falante do assistente.

Interpretação de linguagem natural

Quando um texto é enviado para uma análise, é importante conseguir entender o que ele significa e extrair a ação que se espera dali. Mas esse texto pode vir escrito de diversas formas diferentes, e como podemos interpretá-los e entender o que eles significam? É ai que entra o papel da interpretação de linguagem natural (ou processamento de linguagem natural). Esta prática avançada de Inteligência Artificial auxilia a entender as intenções de cada texto e extrair possíveis entidades. O resultado desta técnica permite que as ações sejam pedidas de diversas formas diferentes, contudo, conseguem responder da mesma forma.

Pesquisa e indexação de documentos

Você já se deu conta que sistemas de buscas, como o Google, possuem a característica de fazer as buscas em diversas formas? Se você faz uma busca de um termo qualquer são retornados resultados envolvendo textos, imagens, localizações, videos. Qualquer coisa que contenha aquele termo de busca, e que está indexado nos servidores do Google, são retornados para você. Imagine agora ter essa mesma capacidade em seus documentos! Sim, as pesquisas e indexações de documentos permitem que você faça isso sem expor seus dados publicamente.

Extração de conhecimento coletivo

Quando desenvolvemos modelos de Machine Learning para resolver um problema da nossa empresa, é comum este problema ser específico e condizer com a nossa forma de trabalhar. Contudo, alguns problemas são genéricos, como por exemplo reconhecer um rosto. Independente de ser um rosto das pessoas da nossa empresa, ou do nosso maior concorrente, continuam sendo rostos e seguem (na maioria das vezes) o mesmo padrão. Mas não é necessário criar um modelo de Inteligência Artificial exclusivo para a nossa empresa, para reconhecer um rosto. Podemos usar estes serviços de forma coletiva.

Conheço como funciona a Microsoft, e os serviços cognitivos que eles oferecem são processados com frequência e estão com conjuntos de dados atualizados. Esse conhecimento coletivo que é fornecido para nós, oferece um modelo cada vez mais assertivo e atualizado. E o melhor é que a gente não precisa processar nada para ter isso, somente chamar a API e pronto!

E agora, como eu faço para adicionar Inteligência Artificial ao meu projeto?

Continue acompanhando os textos que vou publicar mais detalhes, de formas específicas, sobre cada uma destas áreas de atuação com serviços cognitivos. Recentemente fiz o exame AI-100 da Microsoft e fui aprovado, este exame está na lista dos Top 5 certificações de IA, e ele cobra bastante coisa sobre arquitetura e serviços cognitivos. Vou usar alguns assuntos exigidos para ser aprovado no exame, para explicar as funcionalidades para vocês!

O post Como adicionar Inteligência Artificial ao seu projeto apareceu primeiro em Diego Nogare.