O livro e com seus 50 algoritmos que deve conhecer

Vou compartilhar minhas impressões desta obra, e já de partida quero avisar que nem todos os algoritmos são para todos nós. Digo isso porque há uma amplitude de assuntos que, dependendo do que você trabalha ou estuda, não vão lhe chamar muita atenção. No meu caso, o capítulo 3 é de ordenação e o capítulo 14 que é de criptografia… Não são exatamente os assuntos que mais me chamam atenção e acabei passando rapidamente por ali. Porém, a seção II que é de Machine Learning eu li com muito mais atenção, como também o capítulo 16.

Com uma abordagem direta em cada capítulo, o livro ensina de forma prática (programando em Python) como aplicar o que está estudando. É bem balanceado entre teoria e prática, certamente o que é bom para materializar a teoria na prática. O livro está organizado em 16 capítulos separados em três seções, e trás os 50 algoritmos que deve conhecer.

Vamos aos capítulos…

Cap 1 – Visão geral de algoritmos

No capítulo 1 mergulhamos no universo dos algoritmos. É uma introdução aos seus fundamentos, mostrando como eles são essenciais desde a formulação de problemas até a execução de soluções. O capítulo destaca a evolução do uso dos algoritmos e suas limitações. Para os entusiastas de Python, tem um guia de como preparar o ambiente para rodar os exemplos do livro, mas se você quiser ver isso em vídeo, gravei essa playlist há algum tempo. E não para por aí: o capítulo também aborda como medir e comparar o desempenho dos algoritmos. É um começo importante para quem quer entender a base do que vem a seguir no livro.

Cap 2 – Estruturas de dados

No capítulo 2 a conversa é sobre as estruturas de dados e como elas são a espinha dorsal de algoritmos. O capítulo, de fato, é um prato cheio para quem usa Python, detalhando como a linguagem gerencia estruturas de dados complexas e quais são as mais indicadas para cada tipo de dado. Mas não se preocupe se você é fã de Java ou C++, os conceitos são universais e vão te ajudar independentemente da linguagem que você curte programar. É o tipo de capítulo que faz você querer mergulhar no código e ver a mágica acontecer.

Cap3 – Ordenação e Busca

E aí, no capítulo 3, é apresentada a parte de algoritmos de ordenação e busca. O capítulo, a princípio, trás diferentes abordagens e tipos de algoritmos de ordenação, cada um com seu próprio estilo e estratégia de solução de problema. E para não deixar a busca de lado, tem exemplos práticos que mostram como esses algoritmos percorrem atrás dos dados.

Cap 4 – Projetando algoritmos

Cap 5 – Grafos

No Capítulo 5, a parada é nos Algoritmos de Grafos. O capítulo é um guia que mostra como navegar em grafos para representar estruturas de dados. Ele não só cobre o básico, mas também detalha teorias e técnicas mais profundas, como análise de redes e busca de grafos. E para colocar a teoria em prática, há um estudo de caso que usa grafos para desvendar fraudes.

Cap 6 – Aprendizado não supervisionado

Neste capítulo a gente coloca a mão na massa com aprendizado supervisionado. O capítulo tem laboratório, onde são explorados os algoritimos de classificação e regressão. O Autor explica seis algoritmos de classificação e três de regressão, ele não só apresenta, mas também coda com esses algoritmos resolvendo problemas reais. E no final ainda compara os resultados para ver o que teve melhor performance.

Cap 8 – Redes Neurais Artificiais

No capítulo 8, antes de mais nada, o foco é pelo mundo das Redes Neurais. O capítulo abre as portas para os conceitos-chave e componentes que formam uma rede neural, explicando sobre suas várias formas e as funções de ativação. O algoritmo de backpropagation, peça central no treinamento de redes neurais, é explicado ems detalhes. Da mesma forma, no final do capítulo ainda tem um exemplo prático de como o Deep Learning pode ser usado para detectar documentos fraudulentos, trazendo a teoria para o chão da realidade.

Cap 9 – NLP Natural Language Processing

Cap10 – Modelos sequenciais

Cap11 – Modelos sequenciais avançados

Cap12 – Sistemas de Recomendação

Aqui o autor explica a arte de lidar com dados. O capítulo é um guia para entender os algoritmos de dados e os princípios que ajudam a resolver problemas de classificação de dados. Ele nos guia pelos algoritmos de armazenamento e compactação de dados, que são fundamentais para gerenciar informações de maneira eficiente. E como em qualquer boa estratégia, o capítulo nos mostra as vantagens e desvantagens de projetar e implementar algoritmos focados em dados.

Cap 14 – Criptografia

Confesso que passei bem rapido por aqui, não é um assunto que me atrai muito…

Cap 15 – Algoritmo em grande escala

Minha opinião sobre estes 50 algoritmos que deve conhecer

Na minha humilde opinião o livro é completo e poderia facilmente servir de base complementar para cursos de graduação em ciência da computação. É um material útil para aprender ou aprimorar suas habilidades em algoritmos com Python.

Como comentei no começo do post, é leitura seletiva para quem se interessa pelos assuntos. Vale o investimento! Para mim, os capítulos entre 6 e 12, que falam de Machine Laerning, além do 16 que fala sobre transparência dos algoritmos, foram os que me chamaram mais atenção.
A versão digital está na Amazon por um pouco mais de 200 reais enquanto escrevo esse texto.

Códigos do “50 Algorithms Every Programmer Should Know – 2nd edition”

No Github da editora você pode acompanhar os códigos do livro e reproduzir o que estudou para fixar o aprendizado com os 50 algoritmos que todo desenvolvedor deve conhecer.

Bons estudos!

O post Review do Livro “50 Algorithms Every Programmer Should Know – 2nd edition” apareceu primeiro em Diego Nogare.

Caso queiram mais detalhes, aqui neste link tem a explicação completa direto do Linkedin: https://www.linkedin.com/help/linkedin/answer/a776208

Reconhecimento

Fiquei surpreso em ser reconhecido como Community Top Voices na categoria de Machine Learning e na de Data Science. Pelo que entendi, recebi o selo por reconhecimento da comunidade que considerou útil alguns comentários que fiz em posts sobre ML e Data Science que o Linkedin me apresentava… O curioso é que eu comentei somente em posts que me faziam sentido e eu tinha conhecimento e vontade de comentar.

Alguns de vocês já acompanham as contribuições que faço para a comunidade de dados no Brasil há anos, outros estão chegando agora. Independente de quando você começou a acompanhar o trabalho de divulgação que faço, vale dar uma passada por esse post de quase 10 anos atrás, onde explico sobre essas contribuições voluntárias: Reconhecimento como Outstanding PASS Volunteer – Agosto/2015. Ou este outro que é um pouco mais antigo, de 2010, que conto sobre um recorte da trajetória que estava trilhando: Comunidade, reconhecimento e conquistas!

O que busco fazer é uma contribuição legítima, tento ajudar o próximo sem esperar nada em troca. Mesmo assim, ser reconhecido pela comunidade global como um especialista Machine Learning e na de Data Science, é realmente muito gratificante.

Acredito que ao voltar à pergunta de quase 15 anos atrás: “Nossa Diego, o que você ganha com isso?!”, posso responder com propriedade que “Não ganho nada… mas ganho tudo!”.

Obrigado galera, vocês são incríveis! Espero, de coração, que as coisas que publico ajudem de alguma forma.

O post LinkedIn Community Top Voices apareceu primeiro em Diego Nogare.

O direcionamento da escrita será o mesmo de sempre, olhar para tecnologias focadas em dados!

Para voltar, escolhi contar como pode-se desenvolver scripts e projetos usando Linguagem R dentro do Visual Studio, tanto 2015 quanto 2017. E o melhor, pode-se usar a versão Community do Visual Studio, que é gratuita. Esta pode ser uma alternativa ao RStudio (que também é gratuito se não for usado para fins lucrativos), caso tenha o ambiente de desenvolvimento baseado em Microsoft já configurado.

Vamos lá, a primeira coisa a se fazer é baixar os softwares necessários. Caso já tenha o .Net Framework instalado, pode pular o download. Se estiver na dúvida, baixe.

1. .Net Framework 4.5.2 (+ – 70MB)
2. Microsoft R Client (+ – 300 MB)
3. Visual Studio Community 2017 (+ – 4.7Gb)

Todos os links acima são de distribuições gratuitas. Lembrando que o terceiro link, o do Visual Studio, você pode manter uma versão paga caso tenha a licença do produto.

Para começar o processo, faça a instalação do .Net Framework. Provavelmente se você mantém seu Windows atualizado, você não precisará instalar o .Net Framework e terá uma mensagem de alerta como a seguir. Caso precise instalar, é só avançar até concluir.

Seguindo o processo, entendendo que o .Net Framework já está instalado e rodando no seu ambiente, é o momento de instalar o Microsoft R Client. Faça a instalação agora, já tiver o Visual Studio em seu ambiente ou não. Ao iniciar a instalação, uma imagem como a seguir é apresentada, e solicita quais são os elementos que gostaria de instalar no ambiente. Eu desmarquei o Pre-Trained Models, mas se quiser estudar por eles, pode marcar a seguir a instalação.

Ao final da instalação, a tela avisa que finalizou e é só clicar em Finish.

O passo seguinte é iniciar a instalação do Visual Studio.

Ao iniciar o instalador atual do Visual Studio, existem vários presets de ambiente configurado. Cada uma destas pré configurações agiliza o processo de setup do ambiente para aquele Workload que pretende trabalhar.

Assegure-se de marcar a opção “Data Science and Analytical applications” e, nas opções da lateral direita, verifique se está marcado o R Language Support e Microsoft R Client dentro das opções de Individual Components. Repare que neste momento o setup faz a instalação do Microsoft R Client, que foi instalado manualmente no passo anterior. A instalação manual é justamente para deixar a ultima versão da publicação no ambiente. Manualmente foi instalado o Microsoft R Client 3.3.3 e a instalação de agora coloca a versão 3.3.2

Ao avançar, a instalação do ambiente começa a trabalhar. No final,

Após alguns instantes, a instalação termina e é possível abrir o Visual Studio. Para abrir, clique em Launch.

Se for a primeira execução do Visual Studio, poderá ser solicitado o seu e-mail de conta Microsoft. É só informar e avançar.

Neste momento, se tudo ocorrer bem, você terá uma versão funcional e totalmente gratuita do Visual Studio 2017 em seu ambiente.

Ao criar um novo projeto (File >> New >> Project)) e informar que será um projeto em R. Você será lançado ao editor do R no Visual Studio.

Escrevi o código abaixo há alguns anos (para outros exemplos). O resultado é criar um gráfico com 10 barras, indo em um dégradé de cores entre vermelho e verde, passando por amarelo.

color <- colorRampPalette(c(“red”, “yellow”, “green”)) 

color(10)

a <- c(1:10)

barplot(a, col = color(10), main = “R no Visual Studio 2017 – Diego Nogare”)

Ao executar o script, o resultado deverá ser como o da imagem abaixo.

Simples assim você tem um ambiente funcional (e gratuito) para escrever códigos em R no seu Visual Studio.

O post Desenvolvendo seus projetos em R no Visual Studio 2017 apareceu primeiro em Diego Nogare.

O evento foi MUITO superior ao que esperava, a estrutura do evento foi impecável. As salas comportaram todos os participantes, workshops e palestras relevantes, interação com os patrocinadores ocorreu naturalmente por serem patrocinadores com importância pro evento e pra nós, participantes. No fim do primeiro dia tivemos um momento pra fazer network (com cerveja na faixa!) no hotel mesmo, e foi interessante conversar com alguns cientistas de dados aqui dos Estados Unidos.

Fiz algumas anotações das palestras/workshops que achei mais interessantes durante o evento, veja abaixo:

Dia 1 – Sábado

Keynote

Brian Granger – Criador do IPython e Project Jupyter

O Jupyter é um compilador/interpretador online para Python (e mais 40 outras linguagens) que permite trabalhar em soluções narrativas com outros profissionais. Parecido com o Knirt (para R), mas ao invés de só renderizar na tela no formato escolhido, ele permite que o script que é escrito seja processador pelo server através do navegador. Jupyter é uma plataforma aberta, desenvolvida pela comunidade e com um time de estrelas por trás, a facilidade do crescimento se dá pelo uso do GitHub como repositório. Empresas como Microsoft, Google, IBM e varias outras estão desenvolvendo soluções para o Jupyter Notebook ou Kernel. JupyterHub permite empresas usar o Jupyter em suas organizações (pelo que entendi, como um repositório privado do github). Num futuro próximo pode ser que mude o nome para Jupyter Workbench, e também estão trabalhando para entregar Real-Time Colaboration, e na tentativa de permitir em uma única janela do navegador ter um console, graficos interativos, e várias outras coisas de UX para os desenvolvedores ficarem só em uma janela e aumentar a produtividade.

O Brian deu um exemplo de dois jornalistas que escrevem sobre ciência no BuzzFeed, que entregam seus experimentos no github e permite que nós possamos reproduzir as pesquisas. Caso queiram ver, este é o link: https://github.com/BuzzFeedNews/everything

Palestras

Claudia Perlich – Big Data matou o click | heróis de métricas não celebrados

40% dos clicks são acidentais ou fraudes! Fraudes são fáceis de gerar através de robos (bots) em eventos de conversão, principalmente nos retargets para aumentar o CTR e o contratante pagar mais pelo serviço. O comportamento de robos são mais fáceis de prever do que humanos, nosso comportamento é quase impossível de prever. Em uma análise focada, quando se analisa um dataset atrás de padrão de comportamento, deve-se conhecer o que procura para eliminar problemas gerados por randomização. Quando se tem uma precisão/acurácia de aproximadamente 50%, isso significa uma randomização. O objetivo é conseguir um valor de limiar acima de 70 ou 80%. Uma técnica que pode ajudar, é coletar para análise alguns registros randomicamente dos 1 ou 2% mais importantes do universo que tem, e analisar o comportamento desta amostra. A chance desta técnica apresentar um padrão de comportamento diferente do comportamento geral é muito grande, e diversos estudos mostram que este comportamento pode ser mais próximo do real do que se imagina.

Richard Socher, PhD – Metamind.io – Deep Learning for Enterprise

Esta foi a palestra mais foda e que eu mais me impressionei. Richard apresentou diversos problemas do mundo e as soluções que sua empresa criou utilizando Deep Learning. Esta palestra me fez mudar a agenda e participar de um Workshop de Deep Learning no segundo dia do evento ao invés de assistir às palestras que tinha me planejado. Não sei como descrever as técnicas que ele apresentou, e não teve quase nenhuma teoria, só que o reconhecimento de voz e de imagem são complexos para se executar com algoritmos convencionais de Data Science. O uso de técnicas de Deep Learning ajuda muito nestas tarefas. Processar isso é muito custos e usa-se o CPU pra procesamento de texto e a GPU pra processar imagens.

Workshop

John Mount / Nina Zumel – Preparando dados para análise usando R: Técnicas avançadas através das básicas

Workshop de 2 horas com diversas técnicas para se trabalhar com dados, limpar e processar as análises. Foi disponibilizado um repositório no github pra gente configurar a máquina antes e acompanhar o workshop com tudo o que foi discutido (repo garfado): https://github.com/diegonogare/PreparingDataWorkshop

Dia 2 – Domingo

Workshop

Markus Beissinger – Intro to Deep Learning with Theano and OpenDeep

Deep Learning segmenta a análise em hierarquia, encontrando item a item treinado separadamente para encontrar o objeto que quer depois. Por exemplo, imagine o reconhecimento de um rosto: em Deep Learning a tecnica começa com uma camada reconhecimento elementos separados, como nariz, orelha, olho, boca, etc; na sequencia a proxima camada reconhece um pouco mais de coisas, como as posições de olhos próximos ao nariz. Boca próximo ao nariz. Orelhas ao lado dos olhos, e assim por diante. Por fim, neste exemplo, ele consegue reconhecer um rosto completo em uma terceira camada de classificação.

O processo interno usa algebra linear, porque tudo dentro de Deep Learning é calculado com matrizes e vetores. Um dos calculos mais básicos ainda é a Regressão Logistica para analisar as probabilidades.

Mesmo a Regressão Logistica sendo a estrutura mais básica, uma das mais usadas é a Rede Neural, que possibilita executar muitas Regressões Logisticas em paralelo e encontrar uma melhor solução para a análise que está fazendo com Deep Learning. Muitas outras técnicas, como Convolutional Nets, por exemplo, devem combinar com as redes neurais artificiais para conseguir fazer o reconhecimento de imagem.

Códigos usados para os exemplos, estão disponíveis nestes dois repositórios garfados https://github.com/diegonogare/odsc e https://github.com/diegonogare/OpenDeep

Fidan Boylu / Muxi Li – How to build and operationalize data science solutions with Cortana Analytics

Fidan apresentou um overview interessante de AzureML utilizando alguns modelos nativos de algoritmos existentes dentro do AzureML, avançou expandindo as possibilidades utilizando R. Um tour guiado para analisar dados que fizemos upload, com certeza todos conseguiram acompanhar. Na sequência Mixu mostrou integração entre AzureML e scripts em Python, analisando tudo nos Workbooks do Jupyter que possui integração com o AzureML. Esta segunda parte eu não acompanhei, e pelo visto, a galera que estava acompanhando também se perdeu.

PS. Não falaram nada de Cortana Analytics!

Dá pra acompanhar depois, passo a passo, com os dados que foram disponibilizados neste repositório garfado: https://github.com/diegonogare/Azure-Machine-Learning-Lab

Ted Kwartler – Introduction to text mining using R

Existem muitos problemas na interpretação de texto: O dado não é estruturado, expressões são individualistas, implicações culturais, e vários outros fatores. É possível trabalhar com Text Mining de duas formas, uma é usando validação sintatica e outra é usando “bag of words”. O foco desta sessão é trabalhar com o bag of words. A análise de sentimentos é sempre lembrada quando se fala de mineração de texto, o Ted ainda está estudando esta disciplina e mostrou algumas coisas utilizando técnicas de Score baseada em dicionários. Em resumo, várias técnicas foram apresentadas, e podem ser acompanhadas no repositório do Github que garfei, não do github do Ted, e sim de uma pasta no Amazon Drive dele: https://github.com/diegonogare/DataScience/tree/master/Text%20Mining

O post Open Data Science Conference – São Francisco/2015 apareceu primeiro em Diego Nogare.

com linguagem R

O conceito do algoritmo K-Means já foi explicado aqui. Nesta publicação vamos implementar o algoritmo K-Means com linguagem R, mas com objetivo de tentar entender um pouco mais esse método de aprendizado de máquinas não supervisionado.

Para este experimento vou usar um dataset público existente no diretório da UC Irvine. Tive o prazer de conhecer esse repositório quando fiz uma Especialização de Ensino Virtual. Para acessar o repositório e encontrar as dezenas de dataset disponíveis, acesse este link: http://archive.ics.uci.edu/ml/datasets.html. O dataset que vamos usar será Daily and Sports Activities Data Set. Acima de tudo é importante entender que ele apresenta informações de 8 pessoas, entre 20 e 30 anos que realizaram 19 atividades físicas. Sensores de Acelerómetro, Magnetómetro e Giroscópio coletaram dados dos eixos X, Y e Z, ou seja, totalizando 9 registros de dados de cada uma das 5 partes do corpo. Os sensores estavam no Dorso, Braço Direito, Braço Esquerdo, Perna Direita e Perna Esquerda. O arquivo com os dados coletados está no link: http://archive.ics.uci.edu/ml/machine-learning-databases/00256/. Para exemplificar, vamos analisar somente os dados coletados dos sensores das pernas e de um único exercício, mas fique a vontade para fazer com qualquer sensor ou exercício.

Vou entender que você já tem o RStudio em sua máquina, mas caso não tenha, recomendo fortemente que leia isso.

Acessando e recebendo os dados externos

Usando R é possível trabalhar com a leitura e tratamento de dados externos em diversas origens. Pode ser um JSON, um XML, ZIP, e mais uma porção de outros formatos de dados. Neste caso vamos baixar um arquivo Zip e extrair seu conteúdo, em seguida vamos ler os dados e trabalhar com um pouco de descoberta em cima disso com os clusters.

Para baixar o arquivo via código e poder replicar o experimento sempre que precisar, para isso, vamos informar qual será o diretório de trabalho e quais os dados do arquivo que deve ser baixado. Depois de baixar o aquivo de 160MB, é necessário extrair os dados e ver o que aparece.

Em primeiro lugar, veja o código abaixo para saber como fazer isso:

setwd("C:/Temp/KMeans")
url <- "http://archive.ics.uci.edu/ml/machine-learning-databases/00256/data.zip"
destfile <- "data.zip"
download.file(url, destfile, mode="wb")
unzip("data.zip")

O resultado é um conjunto de pastas com diversos arquivos dentro. Entretanto, se navegar pra dentro das pastas, vai encontrar 60 arquivos txt em cada uma das pastas p* (que é uma pra cada das 8 pessoas) e por sua vez estão dentro das pastas a* (que representam as atividades).

Se abrir um dos arquivos txt, irá encontrar as 45 colunas com as coletas de cada um dos sensores. Não se assuste com esse monte de números, tudo ficará mais claro no decorrer do texto.

Transformando os dados do arquivo em um DataFrame do R

Quando se abre o arquivo txt bruto não é tão simples de identificar o que são esses números. Contudo, lendo a documentação do Dataset fornecido no link lá em cima, entendemos a estrutura de como os dados são armazenados e quais são as colunas. Para este experimento, vamos usar a atividade número 15 – Pedalar na bicicleta ergométrica na horizontal – e analisar somente os sensores de pernas. Veja o código abaixo:

atividade <- 15

DadosDeOrigem <- gsub(" ","",paste(getwd(), "/data/a", atividade))

setwd(DadosDeOrigem)

Diretorios <- list.files()

TotalPessoas <- length(Diretorios)

DadoBruto <- NULL

i <- 1

while (i <= TotalPessoas) {
  setwd( gsub(" ","",paste(DadosDeOrigem, "/", Diretorios[i])) ) 
  LerArquivos <- list.files()
  j <- 1
  while (j <= length(LerArquivos)) {
    DadoBruto <- rbind(DadoBruto, read.table(LerArquivos[j], sep=","))
    j <- j+1
  }
  i <- i+1
}

#Colocar as colunas que são interessantes analisar
SoPernas <- DadoBruto[,28:45]
colnames(SoPernas) <- c("DAX", "DAY", "DAZ", "DGX", "DGY", "DGZ", "DMX", "DMY", "DMZ", "EAX", "EAY", "EAZ", "EGX", "EGY", "EGZ", "EMX", "EMY", "EMZ")

Para terminar esta parte de acesso, todos os dados de pernas (coluna 28 até 45) da atividade 15 foram armazenados em um novo Dataframe chamado SoPernas. Foi dado um nome para coluna, seguindo a lógica:

• D = Direita
• E = Esquerda
• A = Acelerómetro
• G = Giroscópio
• M = Magnetómetro

A coluna DAX significa D (direita) A (acelerómetro) X (eixo X). A coluna EGZ significa E (esquerda) G (Giroscópio) Z (eixo Z). E assim por diante.

Implementar o algoritmo K-Means com linguagem R

Depois dos dados tratados, usar o algoritmo de K-Means é certamente simples. Ele recebe o dataset que deve ser consultado e o conjunto de segmentos que deve criar. Como já sabemos que são 8 pessoas que fazem parte da amostragem, não precisamos rodar aquele algoritmo de Elbow Method para descobrir quando grupos é possível criar. Veja, por exemplo, o código simples abaixo que recebe o processamento do K-Means e depois mostra a quantidade de elementos do dataframe que foi classificado em cada um dos clusters.

Resultado <- kmeans(SoPernas[1:2], 8)
Resultado$size

Após a execução do K-Means, por exemplo, pode-se plotar os dados em um gráfico e ver como o algoritmo separou os dados nos 8 grupos que foram solicitados. Para facilitar o entendimento, vou plotar somente os dados de DAX e DAY, para um gráfico simples de duas dimensões, usando o recurso de poder plotar cada grupo em uma cor diferente para facilitar a análise de quem está observando.

plot(SoPernas[1:2], col = Resultado$cluster, pch= 19)

Se quiser colocar cada ponto central de um centroide, pode usar este exemplo de código abaixo na sequência da plotagem do gráfico:

points(Resultado$centers[,1:2], col="orange", pch=8, cex=2)

Após plotar o gráfico com os 8 segmentos, é possível identificar facilmente os grupos que o K-Means separou.

Quando um novo item for inserido no dataset, ele ficará associado a algum dos clusters. Por exemplo, você não precisa necessariamente saber se o dado é de uma mulher de 20 anos ou de um homem de 30, simplesmente ao analisar o dado novo contra os dados já processados, o computador vai entender onde estes dados se enquadram e vai te retornar qual é o gênero e a idade que ele estima que seja. Simples, não?!

O post Implementar o algoritmo K-Means com linguagem R apareceu primeiro em Diego Nogare.

Em uma forma lúdica para explicar o conceito

Fala galera, entenda o funcionamento do algoritmo de agrupamento K-Means, que é uma das formas que existe para se trabalhar com aprendizagem de máquinas (machine learning) no paradigma de aprendizado não supervisionado. Isso é diferente do aprendizado supervisionado, onde você informa ao computador o que ele deve procurar e aprender, com exemplos contendo os rótulos previamente. No aprendizado não supervisionado a gente não sabe exatamente o que estamos tentando ensinar ao computador. Por causa disso precisamos recorrer à agrupadores lógicos de segmentação, com foco em encontrar similaridade entre os dados da amostra.

O resultado esperado é que seja encontrado um padrão e assumir que este padrão é o que estamos tentando ensinar ao computador, que por sua vez, vai reproduzir e encontrar esse padrão sempre quando for solicitado. Depois de descoberto o padrão, qualquer item novo que tenha uma similaridade com aquele segmento (agrupamento [cluster, em inglês]) pode ser inferido como “fazendo parte daquilo”.

A proposta deste post é mostrar, com um certo nível de detalhes, como segmentar a amostragem em grupos e descobrir padrões nos dados. No final do texto você conseguirá ver uma referência para a implementação em Linguagem R, mas nesta publicação teremos o foco no entendendo o algoritmo.

Agrupando os dados

Para exemplificar, pense em um dataset com algumas amostras dispostas nos eixo X e Y, como o gráfico abaixo. Seu objetivo é agrupar estes dados baseado em sua similaridades (ou aproximação). Consegue fazer isso?

É possível bater o olho neste gráfico e ver a separação em alguns grupos. Mas cada um de nós que olhar o gráfico pode tentar criar um número diferente de grupos (clusters). Até mesmo quando a quantidade de cluster que pensarmos for igual, pode-se pensar em agrupamentos de formas diferentes. Por exemplo, alguns de nós podem ver a separação com apenas 2 clusters, e o gráfico poderia ser assim:

Ou assim…

Alguém também poderia pensar em separar os dados assim…

Qual é o certo? Todos estão certos! Isso pode acontecer de acordo com a interpretação de cada um dos observadores que encontraram apenas 2 grupos nestes dados.

Outras pessoas podem encontrar 3 grupos, e não apenas dois, podendo chegar a definições como esta:

Ou esta

Ou então essa

E aqui, qual dos gráficos é o certo? O certo é com 2 grupos ou com 3 grupos? Mais uma vez isso é difícil de responder, todos os 6 gráficos estão corretos de acordo com a visão de cada observador.

Entendendo como funciona o algoritmo de agrupamento K-Means

Para entender o funcionamento vamos separar os dados em 2 clusters e entender os passos que o algoritmo de agrupamento K-Means faz para convergir em um resultado. Neste caso o K será igual a 2, criando os 2 clusters que estamos buscando. O K, de K-Means, é a quantidade de centroides (pontos centrais dos grupos) que serão criados e ajudará a encontrará a similaridade dos dados.

Uma das formas de iniciar o processo é o algoritmo inserir o K pontos (centroides) aleatórios iniciais. Pode ser qualquer lugar do plano, para em seguida começar as iterações e encontrar os resultados.

Veja dois pontos aleatórios criados no gráfico, e uma linha tracejada que é calculada aproximadamente na metade da distância dos pontos Vermelho e Azul. Com este segmento, os itens que estão plotados acima da linha tracejada fazem parte do grupo vermelho e os de baixo da linha fazem parte do grupo azul.

A primeira iteração do algoritmo é medir a distância de todos os pontos que estão atrelados ao centroide e então calcular sua média. O resultado gera uma nova coordenada de X e Y, e vai mudar a posição do centroide para o novo ponto que foi calculado, que é a distância média de todos os pontos que se ligaram à aquele centroide. Essa mudança de posição do centroide pode alterar os itens que fazem parte daquele grupo. Veja isso nas imagens abaixo:

O ponto vermelho e azul se moveram baseados na distância média dos elementos que estavam atrelados à aqueles centroides.

Após essa movimentação, a linha tracejada muda sua posição e inclinação.

Reparem que alguns pontos pretos que faziam parte de um grupo na iteração anterior, como resultado, mudaram-se para o outro grupo.

E quando ele vai convergir?

Com essa mudança de grupos, os pontos que estão marcados em verde passaram do centroide azul para o vermelho, e o que está marcado em azul passou do centroide vermelho para o azul. É possível reparar que a iteração de cálculo da média da distância dos pontos até o centroide ocorre em loop, até que nenhum ponto mude mais de centroide. Em outras palavras, isso acontece quando os centroides param de atualizar suas posições, porque já estão na posição central da distância entre os pontos. Chamamos isso de convergir!

Repare mais algumas possíveis iterações dos centroides e sua linha tracejada imaginária.

Veja que entre a penúltima iteração e esta não ouve mais mudança de pontos entre o gráfico e o centroide, portanto o algoritmo de agrupamento K-Means encerra sua execução chegando ao resultado esperado e criando dois grupos. Por exemplo, quando um novo item for incluído no gráfico, ele já terá um grupo que atende aquela região e o computador já saberá do que se trata o dado novo.

Escolhendo a quantidade de K (clusters) no algoritmo de agrupamento K-Means

O Elbow Method é uma das formas usadas para descobrir a quantidade ideal de clusters naquele conjunto de dados. Ele tem esse nome por se parecer com o formato de um “braço” e nós sempre procurarmos o “cotovelo” pra definir que este é o número aceitável de K (grupos) a serem criados com base nos dados da amostra. Este método vai aumentando a quantidade de clusters a partir de 1 e analisando o resultado melhorado a cada incremento. Quando o benefício parar de ser relevante (um salto entre uma quantidade de cluster e a próxima quantidade) ele entra em um modelo platô, no qual a diferença da distância é quase insignificante. Ou seja, é neste momento que entende-se que o algoritmo é relevante com aquela quantidade de K e então ele deve ser usado pra segmentar os dados do gráfico.

Depois de executar o código do algoritmo do Elbow Method e olhando para os dados que estamos apresentando como exemplo, um bom número de K para ele é o número 4.

Rodando o algoritmo com 4 centroides, foi possível ver a transformação acontecendo e gerando esta segmentação:

Conjunto inicial de dados

Após a execução do algoritmo e cada grupo representando uma cor

A posição dos centroides finais, para cada grupo

Para continuar os estudos…

A proposta desta publicação foi explicar de forma lúdica como o algoritmo de agrupamento K-Means funciona, mas você pode acompanhar uma implementação em R e depois ler sobre as possibilidades de implementar também com Azure Machine Learning.

Para ajudar a responder a questão de quantos grupos devem existir neste conjunto de dados, alguns métodos são bem aceitos no meio científico, leia mais sobre eles aqui: https://en.wikipedia.org/wiki/Determining_the_number_of_clusters_in_a_data_set.

O post Entenda o algoritmo de agrupamento K-Means apareceu primeiro em Diego Nogare.

Vídeo:

Slides:

Espero que esta pequena introdução ao Machine Learning abra a mente de todos para os benefícios do uso de inteligência artificial no desenvolvimento de software…

O post Aprendizado de Máquinas com Azure Machine Learning e R apareceu primeiro em Diego Nogare.

Como o foco da Microsoft é estar cada vez mais estar presente em soluções de nuvem, esta nova feature do Azure é altamente importante. Também faz todo sentido para os negócios que se baseiam em Big Data, visto que algoritmos de Machine Learning precisam de dados para realizar suas análises preditivas. Quem encabeçou este projeto na Microsoft é Joseph Sirosh, que estava a 8 anos na Amazon e veio pra Microsoft à pedido do novo CEO, Satya Nadella, em Outubro/2013.

Veja o que dá pra fazer, já legendado em ptBR.

Ainda não tenho detalhes de quais algoritmos de aprendizado de máquina está por trás do Microsoft Azure Machine Learning, nem qual é o tipo de aprendizado que está sendo suportado. Mas não vejo a hora de chegar logo 14/Julho para poder brincar com alguns dados e ver o resultado.

O post Aprendizado de Máquina – Azure Machine Learning apareceu primeiro em Diego Nogare.