Este segundo algoritmo que vamos falar é de Regras Associativas. Voltando ao primeiro post, as Regras Associativas apresentam uma estrutura combinatória dentro de um DataSet a partir de itens similares que estão sendo processados. A maioria dos sistemas inteligentes que utilizam este algoritmo são criados para recomendar um produto para o usuário, normalmente em e-commerce. Já reparou que quando acessa o site da Amazon e procura o livro Do Banco de Dados Relacional à Tomada de Decisão, e vários outros livros de Business Intelligence e BigData são apresentados? Então, não existe um Oompa-Loompa colocando isso aleatoriamente para você. Por trás, existe um sistema de recomendação completo, provavelmente utilizando a categoria “Computação, Informática e Mídias Digitais” como um parametro de entrada para este item. Como sempre, é importante conhecer a base e saber quais segmentações você quer aplicar para a recomendação. Neste caso, quando se coloca a categoria como um parametro de entrada, sempre serão recomendados itens similares dentro desta categoria, mas se todos os compradores do meu livro também comprassem um livro de culinária, ele não apareceria na recomendação pois está em outra categoria.

Bom, já entendemos a aplicabilidade e como ele funciona, agora vamos criar um exemplo para o Adventure Works?

Primeira coisa é necessário criar um novo projeto do tipo SSAS com Data Mining. Mais uma vez vou acreditar que você sabe criar um Data Source apontando para o AdventureWorksDW2012 e um Data Source View apontando para a vAssocSeqLineItems e vAssocSeqOrders. Esta estrutura basicamente é um relacionamento entre pedidos e produtos. Onde uma view tem os pedidos que foram feitos, e na outra view tem a lista de produtos que estão associadas àquele pedido. Consegue ver um relacionamento entre essas views? E a aplicabilidade desse relacionamento na nossa recomendação de conteúdo? Caso não tenha conseguido descobrir essa associação, a idéia é encontrar na lista de itens os produtos que também são comprados (com base na outra view de pedido) quando ao menos um daqueles itens é o que está no meu carrinho. Ficou mais claro? Não? Ok, vamos continuar e ver se conseguimos explicar… Voltando pra Amazon, e olhando a categoria do meu livro. Diversas pessoas olham meu livro e alguns outros livros na mesma visita à pagina, não importa a ordem, pode ser que vejam outros livros e depois o meu (a ordem de visualização vai importar quando estivermos falando de algoritmo de Sequence Cluster, mas isso é pra outro post). O importante é que existe uma ligação entre a visita e os produtos que foram vistos, no caso estes livros. Depois de algum tempo, estes livros passam a ter um relacionamento mais preciso, pois tem mais gente visualizando os livros. Não significa que em todos os acessos os visitantes visualizam todos os livros, estes que estão recomendados são os 5 livros que mais se relacionam com o meu no momento do processamento e dentro naquela categoria que está sendo processada. Pode ser que no futuro um outro livro passe a ser visualizado sempre que alguém buscar o meu livro, isso fará com que o 5º livro da ordem, que seria representado por uma ligação mais fraca, pare de aparecer na recomendação e entre esse outro livro… Tudo isso automaticamente, sem a intervenção daquele Oompa-Loompa comentado lá em cima.

Voltando ao exemplo, depois de incluir o Data Source View, é preciso relacionar as views, arrastando o campo OrderNumber da view vAssocSeqLineItems para cima do campo vAssocSeqOrders.

Próximo passo é hora de criar o Mining Model para as regras associativas, faça isso clicando com o botão dirento em Mining Structure e criando um novo a partir do From existing relational database or data warehouse e escolhendo Microsoft Association Rules.

Ao avançar para as próximas telas, deve-se informar qual view é Case e qual é Nested. Neste caso, a estrutura de CASE é onde temos a informação principal que será usada para segmentar os dados. Fazendo uma analogia ao livro, é onde se encontra a categoria de “Computação, Informática e Mídias Digitais” e não os livros que foram visualizados juntos. Já a tabela NESTED é onde se encontram estes livros que foram visualizados juntos. Então selecione vAssocSeqOrders para Case e vAssocSeqLineItens para Nested.

Ao avançar para a tela seguinte, é solicitado para informar quais campos serão tratados como Key, Input e Predictable. A seleção destas colunas é baseada na mesma explicação que foi feita no post sobre Árvores de Decisão, então dê um pulinho lá e veja o que é. Desmarque todas as opções que vierem marcadas, e selecione as caixas de OrderNumber como chave (coluna key) e as três colunas da Model. Sua seleção ficará assim:

Quando avançar para a próxima tela, garanta que ambas colunas selecionadas estejam marcadas como Key, no Content Type.

Só pra lembrar, como neste caso é importante a acertividade na recomendação dos itens similares, altere de 30 para 0 o valor do campo “Percentage of Data for Testing“. Avance até finalizar o processo.

Se tudo ocorreu direito, seu Mining Structure ficará assim:

Antes de processar seu projeto, lembre-se de informar qual é o servidor que tem o SQL Server Analysis Services instalado e configurado. Após este pequeno detalhe, faça o processamento.

Após processar, mude a aba do seu Mining para Mining Model View, e então, dentro desta aba, vá até o item Dependency Network.

Aqui dentro é possível ver os nós de associação que foram criados.

Parece pouca associação (mas por trás não é), isso acontece pela parametrização da quantidade mínima de ocorrências similares dos objetos. Para aumentar isso, volte até a aba Mining Model, clique com o botão direito em Set Algorithm Parameters.

Altere os parametros de Minimum_Support para 0.01 e de Minimum_Probability para 0.1, ao terminar esta alteração, processe novamente seu modelo e em seguida volte a visualizar as associacões (aba Dependency Network do seu Mining Model View). Veja que agora está bem mais completo e bonito de ver.

Para consumir as associações, é possível escrever códigos DMX (Data Mining Extentions) passando como parâmetro o nome de um dos produtos, e recebendo uma lista dos outros itens que são associados à ele nas compras. Está no meu pipe pra escrever uma app em .Net que consuma esses dados via DMX, e claro, postar aqui como foi feito J

O post Algoritmo de Regras Associativas (Association Rules) no Data Mining do SQL Server 2014 apareceu primeiro em Diego Nogare.

Como já foi falado no primeiro post, este algoritmo de classificação é responsável por criar uma representação visual que chamamos de árvore por contem um nó raíz, nós intermediários que são as ramificações e os últimos nós representados que são as folhas.

É importante conhecer os dados que serão trabalhados para poder definir o que são atributos de entrada e o que são atributos preditivos. Basicamente, os atributos de entradas são colunas do banco de dados que podem influenciar o resultado final, e o resultado final é a coluna preditiva. Imagine um cenário onde o objetivo é classificar pessoas que são possíveis compradores do livro Do Banco de Dados Relacional à Tomada de Decisão. Então neste caso a coluna preditiva do banco é se o cara comprou ou não o livro. As colunas de input são as colunas que tem alguma influência sobre a compra do livro, por exemplo, o idioma, a área de atuação, interesse técnico, etc. O algoritmo, com base nestas informações de input e predição, estrutura os nós da árvore classificando o que é relevante nas ramificações e entregando um (ou mais) caminhos ideais para chegar até as folhas. Pensando por esse lado, foi constatado que das 10 vendas que o livro teve, 8 falam idioma Português, 7 trabalham na área de Banco de Dados e somente 3 tem interesse técnico. Quando estes dados são processados pelo algoritmo e apresentado através da Árvore de Decisão, é possível ver claramente qual é o melhor caminho para segmentar o público que compraria o livro. São profissionais que falam Português e que trabalham na área de Banco de Dados, mas o interesse técnico não importa. Se fizer uma campanha de marketing direcionada para este público, a chance de vender o livro é muito maior do que enviar para um grupo de pessoas que falam Inglês e trabalham na área de Nutrição.

Bom, depois desse exemplo para entender o funcionamento do algoritmo, vamos começar um exemplo utilizando o Adventure Works.

Primeira coisa é necessário criar um novo projeto do tipo SSAS com Data Mining. Vou levar em conta que você sabe criar um Data Source apontando para o AdventureWorksDW2012 e um Data Source View apontando para a vTargetMail.

O próximo passo é onde começa a mineração de dados, procure na Solution Explorer o item de Mining Structure e clique com o botão direito do mouse, em seguida, aponte para New Mining Structure.

Neste momento uma tela de abre e permite que você informe onde estão os dados de origem. Como utilizaremos o Data Warehouse para consumir os dados, deixe marcada a opção que é apresentada.

Ao avançar para a próxima tela, você deve escolher qual algoritmo vai utilizar para sua mineração. No caso deste exemplo, mantenha escolhido o default, que é Decision Tree.

Na tela seguinte, você informa qual é o Data Source View que possui a conexão com sua base de dados de origem. Como foi criado somente um Data Source View, somente ele é apresentado.

Ao avançar, o wizard pergunta quais tabelas são Case e quais são Nested. Mantenha a tabela (eu sei que é uma view!!!!) vTargetMail marcada como Case e avance.

Neste momento é hora de selecionar quais colunas são de entrada e quais são preditivas. Ao bater o olho na tela, é intuitivo marcar as linhas definidas para cada coluna. Garanta que seu ambiente está marcado com:

Key à CustomerKey

Input à Age e CommuteDistance

Predictable à BikeBuyer

Como apresentado a seguir

Avance para a próxima tela, e informe quais são valores Continuous ou então Discrete. Lembrando que valores contínuos apresentam uma grande variação de ocorrencias dentro da coluna e os discretos variam pouco. Por exemplo um campo do tipo CPF é um valor contínuo (varia muito de individuo para individuo) e uma coluna do tipo sexo é discreto (varia só um pouco). Caso não esteja a vontade, ou não conhece a base, pode clicar em Detect e o SQL Server analisa e lhe dá o resultado.

O próximo passo é finalizar e informar o nome. Como não estou com criatividade hoje, vou deixar o nome sugerido pelo SQL Server e vou manter v Target Mail.

Um novo item é criado dentro da Solution Explorer, e é neste objeto que a Mineração de Dados ocorre. Para encontrar a Árvore de Decisão, é preciso processar os dados. É possível processar somente o modelo ou então o projeto como um todo. No caso, vamos processar todo o projeto. Para isso, vá na Solution Explorer, clique com o botão direito no projeto e aponte para Process. Lembrando de apontar para o deploy para o servidor correto.

Se tudo ocorrer bem ao processamento, será apresenta o status Process Succeeded.

Para encontrar a Árvore de Decisão, vá até a área central do SQL Server Data Tools no objeto v Target Mail, e abra a aba Mining Model Viewer.

Reparem que os nós Raiz [1], Ramificações [2] e Folha [3] são apresentados, e pode-se seguir o caminho da predição com base nas variáveis de entrada. Um ponto importante para seguir com a análise, é entender essa graduação de cores, na qual o item mais escuro representa o resultado mais impactante com base na predição esperada. A base do AdventureWorks é de uma empresa fictícia de venda de acessórios para bicicletas, então, olhando esta árvore, é possível predizer que os melhores clientes para realizar possíveis compras futuras seguindo o fluxo com as cores mais escuras.

Agora é com vocês, apliquem estas técnicas de mineração de dados em seu ambiente e façam com que seus resultados sejam mais assertivos!

O post Algoritmo de Árvore de Decisão (Decision Tree) no Data Mining do SQL Server 2014 apareceu primeiro em Diego Nogare.

Para baixar o Add-In, acesse este link e escolha a versão x86 ou x64. No meu caso foi o x64.

Depois de fazer a instalação, o Wizard pergunta se quer abrir uma planilha de exemplos. Fique a vontade para abrir e ver o que tem para “brincar” de mineração de dados.

Abrindo esta planilha de exemplo ou não, é necessário vincular o Add-In do Excel com o seu SSAS. Para isso, vá até a Ribbon DATA MINING e clique no botão << No Connection >>.

Uma tela se abre pedindo para conectar no SSAS, clique no botão New e em seguida preencha os dados de autenticação ao seu servidor. Depois de configurado, a conexão aparece na lista da esquerda.

Por fim, o botão da Ribbon que estava com << No Connection >> já está alterado e apontando para o servidor que você configurou.

A partir de agora é possível trabalhar com mineração de dados de dentro do Excel.

O post Data Mining do SQL Server 2014 no Excel 2013 apareceu primeiro em Diego Nogare.

A primeira coisa a ser feita é baixar o SSDT 2013, que tem por volta de 1GB de tamanho. Faça o download a partir desta página. Não se preocupe de aparecer X86 no nome, ele suporta tanto o x86 quanto o x64. Depois de terminado do Download, abra o arquivo .EXE e informe onde ele será descompactado. Quando terminar de decompactar, procure o Setup dentro da pasta. Abra e siga os passos de instalação.

Depois de instalado o SQL Server Data Tools 2013, é hora de baixar e instalar o Team Explorer, que possui 2 arquivos: um de 130MB e outro de 900Kb. Baixe ambos. Faça o download a partir desta página. Depois de baixar os arquivos, instale a partir do arquivo de 900Kb.

Quando terminar a instalação, abra o SSDT 2013 e vá até o menu TEAM e em seguida, Connect to Team Foundation Server…

Forneça os dados de autenticação, e a partir deste momento, tenha todos seus projetos disponíveis para baixar e trabalhar novamente.

Pronto, com estes poucos passos você pode ter seu ambiente atualizado e seu código versionado!

O post Atualizando o SQL Server Data Tools – SSDT – para o Visual Studio 2013 e controlando versionamento de código com TFS apareceu primeiro em Diego Nogare.

como faço para começar?

Fala galera, nestas últimas semanas mais algumas pessoas me disseram que querem trabalhar com Big Data e tem duvidas de como fazem para aprender mais aqui no Brasil. Bom, venho estudando e lendo sobre Big Data desde antes de entrar no time de especialistas da Microsoft em 2012, e continuo estudando esta área no Portal Minha Vida desde que saí da Microsoft. Contudo posso dizer que consigo ter uma visão um pouco mais ampla do assunto hoje, do que quando ví o Hadoop no Keynote do SQL PASS Summit 2011 em Seattle/WA.

Em primeiro lugar tive sorte, e somado com um pouco de interesse pessoal, acompanhei diversos eventos relacionados à Big Data dos principais players globais do mercado. Pude fazer isso tanto presencialmente quanto online, fosse no Brasil ou lá fora.

Infelizmente no Brasil a maioria dos eventos sobre esta ciência ainda apresentam soluções para se trabalhar quase que exclusivamente com Social Media. Fica a impressão que Big Data se aplica somente à esta área e isso é uma grande falácia! Ignorar a aplicação em outros segmentos como Saúde, Transporte, Financeiro, Educação é manter uma visão rasa e superficial sobre o assunto. Inclusive falei sobre isso no evento de lançamento do SQL Server 2014, na Microsoft, e você pode ver os slides abaixo:

Tecnologias para se trabalhar com Big Data

Uma coisa importante é entender o funcionamento e aplicabilidade desta tecnologia para seu cenário. Nem sempre uma solução implementada para um concorrente da sua empresa será aplicada fielmente à sua. Por outro lado, o entendimento do propósito é bem importante, e você pode usar a solução da concorrência para lhe ajudar com exemplos desta visão.

As técnicas que serão usadas para processar os dados, cruzar as informações, e analisar os resultados devem ser exploradas e ver o que melhor se aplica à sua necessidade. Por exemplo, usar o Hadoop com Hive e Pig pode resolver um problema. Contudo, em uma outra necessidade, pode-se adicionar o Mahout para trabalhar com aprendizado de máquina. Uma outra solução seria utilizar o Prediction IO ou até o Azure Machine Learning (quando for lançado, no próximo mês). As análises podem ser feitas, acima de tudo, no Excel pela facilidade que os usuários possuem em operá-lo. Mas também pode ser necessário ir para uma plataforma mais especializada para Data Science como o MatLab ou então para foco nos profissionais de estatística como o R. Enfim, cada aplicação deve ser entendida como um cenário novo, completo e complexo, e sua resolução precisa ser entendida como tal.

Um panorama mais amplo de Big Data

Caso queira ver um pouco o cenário sobre ferramentas Open Source para se trabalhar com Hadoop, assista esse vídeo sobre conceitos e ferramentas:

Outra necessidade que é bastante buscada para os profissionais que trabalham ou querem trabalhar com Big Data é o que os americanos chamam de Data Scientist. Este é o profissional que conseguirá analisar os dados estruturados e não estruturados, através de modelos estatísticos e matemáticos, para separar o “sinal” (informação útil) do “ruído” (informação desnecessária, ou sujeira). Este profissional é o novo talismã das empresas que querem minerar grandes volumes de dados.

Para se aprofundar nestes assuntos, existem alguns cursos online, de universidades e institutos renomados ao redor do mundo, que podem lhe dar mais uma base sólida e detalhada sobre este novo paradigma (várias pessoas usam esse termo, achei válido usar aqui também. rss) da área de exploração de dados. Veja uma lista de alguns deles:

Alguns cursos extras sobre Big Data

A Caixa de Ferramentas do Cientista de Dados: https://www.coursera.org/course/datascitoolbox

Inteligência Web e Big Data: https://www.coursera.org/course/bigdata

Conceitos chaves da Análise de Dados: https://www.coursera.org/course/datan

Gerenciamento de Dados para Pesquisa Clínica: https://www.coursera.org/course/datamanagement

Análise de Dados: https://www.coursera.org/course/dataanalysis

Estatística. Compreendendo os Dados: https://www.coursera.org/course/introstats

Análise Exploratória de Dados: https://www.coursera.org/course/exdata

Obtenção Limpeza de Dados: https://www.coursera.org/course/getdata

Métodos computacionais para Análise de Dados: https://www.coursera.org/course/compmethods

Caso tenham alguma dúvida, ou sugestão sobre o assunto, fique a vontade para comentar aqui no blog…

Por fim, se você tem a pergunta “Quero trabalhar com Big Data”, segue as dicas aqui. Desejo bons estudos e análises!!!

O post Quero trabalhar com Big Data, como faço? apareceu primeiro em Diego Nogare.

Como o foco da Microsoft é estar cada vez mais estar presente em soluções de nuvem, esta nova feature do Azure é altamente importante. Também faz todo sentido para os negócios que se baseiam em Big Data, visto que algoritmos de Machine Learning precisam de dados para realizar suas análises preditivas. Quem encabeçou este projeto na Microsoft é Joseph Sirosh, que estava a 8 anos na Amazon e veio pra Microsoft à pedido do novo CEO, Satya Nadella, em Outubro/2013.

Veja o que dá pra fazer, já legendado em ptBR.

Ainda não tenho detalhes de quais algoritmos de aprendizado de máquina está por trás do Microsoft Azure Machine Learning, nem qual é o tipo de aprendizado que está sendo suportado. Mas não vejo a hora de chegar logo 14/Julho para poder brincar com alguns dados e ver o resultado.

O post Aprendizado de Máquina – Azure Machine Learning apareceu primeiro em Diego Nogare.

A idéia deste post é mostrar e explicar os tipos de algoritmos existentes na nova release do SQL Server 2014, e em posts seguintes serão criados exemplos práticos com cada um destes algoritmos.

Olhando pro lado acadêmico Data Mining é estudado na matéria de Inteligência Artificial, onde é possível, através de modelos matemáticos e estatísticos, retirar informação útil da massa de dados que está sendo analisada. Este estudo puxa um gancho para os métodos de pesquisa ciêntifica, onde é necessário entender o que são variáveis dependentes e independentes; O que é uma informação preditiva; O que são métodos estocásticos… Estes termos ficam transparentes para os usuários avançados de Mineração de Dados, mas pra quem está começando a olhar pra estes termos só agora, é importante saber o que é cada um e onde serão utilizados dentro desta ciência maluca!

Pra começar, vamos entender o que cada algoritmo faz, e onde podem ser aplicados no SQL Server 2014.

Association Rules (REGRAS associativas)

Este algoritmo é usado para os “carrinhos de compras”, onde o algoritmo define um item à partir da combinação deste ítem com outros na transação. O algoritmo percorre a base de dados à procura deste item e faz uma contagem das aparições. Este algoritmo retorna itens que aparecem associados ao item que foi procurado. Você deve usar este algoritmo em oportunidade de cross-selling, para recomendação de novos produtos ao usuário. É como aqueles produtos que aparecem nos e-commerces quando você está fechando uma compra e o site diz: “Pessoas que compraram o produto ABC, também compraram XYZ”.

Clustering

Algoritmos de Clustering agrupam itens da base de dados analisada dentro de grupos que possuam caracteristicas similares. Com os clusters criados é possível explorar e entender os relacionamentos entre os dados. Este tipo de algoritmo permite analisar o universo de dados e encontrar itens que não seguem um padrão. Este item que está fora dos padrões pode conter algo especial, que merece uma atenção extra. Pode ser um comportamento que lhe dá insights para navegar em novos mares, ou então pode ser uma tentativa de fraude.

Decision Trees (árvore de decisão)

O mais comum, e também o algoritmo padrão na tela de Wizard do Data Mining no SSAS 2014. A árvore de decisão permite uma análise preditiva discreta com uma variável contínua. O resultado é fácil de entender, seguindo a expansão a partir das separações realizadas na raíz, passando às ramificações e finalmente chegando às folhas. Quando o algoritmo analisa aquele grupo (o grupo pode ser uma coluna do database) e divide em ramificações, é possível encontrar facilmente o melhor resultado.

Linear Regression (regressão linear)

A regressão linear é um algoritmo que trabalha apenas com variáveis contínuas e preditivas. É praticamente como a árvore de decisão, mas sem as separações das colunas em raiz, ramificação e folhas.

Logistic Regression (regressão logistica)

Este algoritmo também é uma simples árvore de regressão, como uma rede neural, mas sem nenhuma camada intermediária escondida.

Naïve Bayes

A partir de cada estado preditivo do parametro de entrada, a Naïve Bayes calcula as possibilidades para cada um destes inputs. Você pode utilizar estas probabilidades para definir os objetivos preditivos, com base nas entradas. Como é um algoritmo relativamente simples, a montagem do modelo é bem rápida.

Neural Network (rede neural)

Este algoritmo é o mais próximo da área de Inteligencia Artificial, simulando um cérebro humano, com seus neurônios e sinapses. A rede neural é utilizada para encontrar funções lineares dependentes, através de métodos não lineares intermediários (que podem estar escondidos). Pela complexidade de interpretar algoritmos lineares, como árvore de decisão, este algoritmo não é tão amplamente utilizado para encontrar dependencias lineares.

Sequence Clustering

É o algoritmo mais usando quando é necessário encontrar correlação baseada em similaridade. Este algoritmo cria uma matriz combinando todos os estados conhecidos e então cria as arestas (arcos) de relacionamento entre estes estados. Com isso, é possível calcular probabilidades de ocorrências baseada em sequências, elos, transições, etc. Cada nó do cluster representa um item significativo desta matriz, e seus relacionamentos com outros itens significativos. É uma “extensão” ao algoritmo de clustering.

Time Series (séries temporais)

Algoritmo de séries temporais são usados, em sua maioria, para criação de forecast. Internamente são usados 2 algoritmos: ART – Auto-Regression Trees, e ARIMA – Auto-Regressive Integrated Moving Average. A utilização de um algoritmo interno ou outro é baseado na necessidade, seja para um termo curto ou longo de forecast, respectivamente.

Bom, agora que já se sabe, por cima, o que cada algoritmo faz, vou aplicar estas técnicas de Mineração de Dados com exemplos práticos e possíveis resultados em cada um deles.

O post Data Mining com SQL Server 2014 apareceu primeiro em Diego Nogare.

Vejam abaixo os links para download do material de 2014.

Lembrem-se de se atualizar, SEMPRE! Bons estudos

O post Vídeo e PPT das palestras de SQL Server do TechEd NA 2014 apareceu primeiro em Diego Nogare.

Se quiserem os slides, segue abaixo:

Bons estudos!

O post SQLSat #284 – Porto Alegre – Conhece o Potencial do SQL Server Analysis Services Tabular Mode? apareceu primeiro em Diego Nogare.

Tive o prazer de palestrar no evento falando sobre BigData, com a palestra Descobrindo BigData com HDInsight.

Para quem quiser ver os slides, segue abaixo:

Qualquer dúvida, fique a vontade para me pingar através da área de contato. Bons estudos!

O post Lançamento do SQL Server 2014 – Descobrindo BigData com HDInsight apareceu primeiro em Diego Nogare.