<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Arquivos BigData - Diego Nogare</title>
	<atom:link href="https://diegonogare.net/tags/bigdata/feed/" rel="self" type="application/rss+xml" />
	<link>https://diegonogare.net/tags/bigdata/</link>
	<description>Consultor Executivo de IA &#38; ML</description>
	<lastBuildDate>Tue, 15 Apr 2025 13:52:20 +0000</lastBuildDate>
	<language>pt-BR</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.9.4</generator>

<image>
	<url>https://i0.wp.com/diegonogare.net/wp-content/uploads/2025/06/cropped-cropped-DN-Black-300x300-1.png?fit=32%2C32&#038;ssl=1</url>
	<title>Arquivos BigData - Diego Nogare</title>
	<link>https://diegonogare.net/tags/bigdata/</link>
	<width>32</width>
	<height>32</height>
</image> 
<site xmlns="com-wordpress:feed-additions:1">247556142</site>	<item>
		<title>Azure Machine Learning – Matriz de Confusão – Parte 4</title>
		<link>https://diegonogare.net/2015/01/azure-machine-learning-matriz-de-confusao-parte-4/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Mon, 05 Jan 2015 14:02:42 +0000</pubDate>
				<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[azure]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[cloud computing]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[mineracao de dados]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=1130</guid>

					<description><![CDATA[<p>Fala galera, a primeira publicação do ano é realtiva à Matriz de Confusão, também chamada em algumas literaturas de tabela de contingência. Basicamente esta tabela valida o aprendizado supervisionado, comparando sua base de testes com a base treinada, e indica o quanto de acerto e erro ela teve. Este resultado é o que apresenta a...</p>
<p>O post <a href="https://diegonogare.net/2015/01/azure-machine-learning-matriz-de-confusao-parte-4/">Azure Machine Learning – Matriz de Confusão – Parte 4</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p>Fala galera, a primeira publicação do ano é realtiva à Matriz de Confusão, também chamada em algumas literaturas de tabela de contingência. Basicamente esta tabela valida o aprendizado supervisionado, comparando sua base de testes com a base treinada, e indica o quanto de acerto e erro ela teve. Este resultado é o que apresenta a acuracia do seu experimento.</p>
<p>Voltando ao exemplo que fiz para o <a href="https://www.youtube.com/watch?v=ZLrPm6K2Zww" target="_blank" rel="noopener noreferrer">Codificando Live de Edição #43</a>, onde analisamos uma base de alimentos e definimos alguns itens da amostra como misturas ou não. A matrix aparece aos 20m32s de vídeo onde é rapidamente apresentada a acuracia, logo abaixo da curva ROC, no item <em>Evaluation Model Result</em>.</p>
<p>Se reparar no vídeo, o treino do modelo é feito com 80% da base que fizemos o upload e é mantido 20% para testes (esta divisão acontece na tarefa de split). É com esta base de testes, que já temos conhecimento do resultado, que a matriz vai validar a coluna de predição informada no treino. Ela aplica o que treinou em cima desta base de teste, e compara se o resultado que ela obteve é igual ao que está nos dados originais. Resultando na seguinte estrutura:</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2015/01/010515_1402_AzureMachin1-2.png?w=640" alt="" /></p>
<p>Onde alguns valores são absolutos, baseados na classificação binária de erro ou acerto, que são:</p>
<h2>True Positive:</h2>
<p>Ele entende que as misturas foram analisadas e classificadas como mistura (acertou a mistura). Neste caso, é 16.</p>
<h2>False Positive:</h2>
<p>Ele entende que as misturas foram analisadas e classificadas como não mistura (errou a mistura, classificando como outro prato). Neste caso, é 5.</p>
<h2>True Negative:</h2>
<p>Ele entendeu o que não era mistura (era outro prato) e classificou como outro prato (acertou que não era uma mistura). Neste caso, é 54.</p>
<h2>False Negative:</h2>
<p>Ele entende que os outros pratos (não misturas) foram classificados como mistura (errou o outro prato). Neste caso, é 0.</p>
<p>&nbsp;</p>
<p>Já outros são baseados em cálculos matemáticos simples, como estes abaixo:</p>
<p><strong>∑ Positivos = <span style="text-decoration: underline;">Acertos</span> = True Positive + False Negative<br />
</strong></p>
<p><strong>∑ Negativos = <span style="text-decoration: underline;">Erros</span> = False Positive + True Negative<br />
</strong></p>
<h2>Acuracy (acurácia):</h2>
<p><strong>(True Positive + True Negative) / (∑ Positivos + ∑ Negativos)<br />
</strong></p>
<p>Com nossos números: (16 + 54) / ((16+0) + (5+54)) =&gt; 70 / 75 = 0.9333</p>
<h2>Precision (precisão):</h2>
<p><strong>(True Positive) / (True Positive + False Positive)<br />
</strong></p>
<p>Com nossos números: (16) / (16 + 5) =&gt; 16 / 21 = 0.7619</p>
<h2>Recall:</h2>
<p><strong>True Positive / ∑ Positivos<br />
</strong></p>
<p>Com nossos números: 16 / (16+0) =&gt; 16 / 16 = 1</p>
<h2>F1 Score:</h2>
<p><strong>(2* True Positive) / (2* True Positive + False Positive + False Negative)<br />
</strong></p>
<p>Com nossos números: (2*16) / (2*16 + 5 + 0) =&gt; 32 / 37 = 0.8648</p>
<p>&nbsp;</p>
<p>Com estes números, e mais a curva ROC e o AUC, é possível validar os valores do seu experimento e saber se está aceitável ou não. Quanto mais exemplos tiver na base de treino, mais precisa será a coluna de predição porque o computador vai aprender com mais exemplos.</p>
<p>O post <a href="https://diegonogare.net/2015/01/azure-machine-learning-matriz-de-confusao-parte-4/">Azure Machine Learning – Matriz de Confusão – Parte 4</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1130</post-id>	</item>
		<item>
		<title>Azure Machine Learning – Introdução – Parte 3</title>
		<link>https://diegonogare.net/2014/12/azure-machine-learning-introducao-parte-3/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Thu, 04 Dec 2014 21:00:01 +0000</pubDate>
				<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[azure]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[cloud computing]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[mineracao de dados]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=1119</guid>

					<description><![CDATA[<p>Fala galera, esta é a terceira e última parte de introdução ao Azure Machine Learning. Fiz de propósito nesta ordem, criando o ambiente somente agora, para você saber onde está se metendo antes de sair criando as coisas e só depois descobrir que não era o que precisava. Mas agora que você já viu que...</p>
<p>O post <a href="https://diegonogare.net/2014/12/azure-machine-learning-introducao-parte-3/">Azure Machine Learning – Introdução – Parte 3</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin1-2.png?w=640" alt="" /></p>
<p>Fala galera, esta é a terceira e última parte de introdução ao Azure Machine Learning. Fiz de propósito nesta ordem, criando o ambiente somente agora, para você saber onde está se metendo antes de sair criando as coisas e só depois descobrir que não era o que precisava. Mas agora que você já viu que existem algumas categorias de algoritmos para trabalhar com Data Mining e Inteligência Artificial e tem ideia de como eles podem ajudar na solução dos seus problemas, nós vamos agora criar o ambiente para trabalhar em nossos experimentos, e partir para os próximos posts que não serão mais introdutórios!</p>
<p>A primeira coisa a se fazer é acessar o Portal do Azure e criar um novo serviço pro Machine Learning. Importante garantir que o nome da Workspace e do Storage sejam válidos, isso pode ser verificado com o check verde ao lado do nome que você criou. No meu caso é BlogNogareML pro workspace e blognogareml (tudo minusculo) pro storage.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin2-1.png?w=640" alt="" /></p>
<p>Depois de criado o ambiente, uma entrada do Azure Machine Learning fica disponível a partir do menu da esquerda. Acesse este menu e veja o item que você acabou de criar, no meu caso o BlogNogareML. Ao clicar neste item, vá até o Open in Studio, para chegar até a IDE web-based, onde é possível criar as bases de dados particulares e realizar os experimentos.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin3-2.png?w=640" alt="" /></p>
<p>Uma nova aba no seu navegador é criada e o ML Studio é aberto. Quando for a primeira vez, um vídeo de introdução será apresentado. Após assistir e fechar o vídeo, você pode começar a criar seus experimentos. Reparem que existem duas opções no menu, uma pra criar <em>DataSet</em> e outra pra criar <em>Experiment</em>. Quando a gente quer utilizar um DataSet que precisa ser feito upload pro Machine Learning, deve-se usar a opção DataSet. Mais pra frente, em outro post, vamos mostrar como faz pra usar uma base de dados através de upload neste menu.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin4-2.png?w=640" alt="" /></p>
<p>E pra criar o experimento em si, criando e conectando as tarefas em uma ordem logica de execução, você vai utilizar o Experiment.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin5-2.png?w=640" alt="" /></p>
<p>Por enquanto, crie um experimento em branco clicando em <span style="text-decoration: underline;"><em>Experiment &gt;&gt; Blank Experiment</em></span>. Ao clicar neste item, a tela com o menu da esquerda contendo as tarefas padrões do Azure Machine Learning e a área central de desenvolvimento é apresentada, permitindo que seja iniciado o desenvolvimento.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/12/120414_2054_AzureMachin6-2.png?w=640" alt="" /></p>
<p>Esta é a tela que será utilizada para trabalhar com os Experimentos, WebServices, Testes, Execuções Locais, etc. Você informa o nome, arrasta os componentes no melhor estilo Drag &#8216;n&#8217; Drop e com isso cria seus trabalhos. Vamos entender as funcionalidades e amplas possibilidades do que conseguiremos trabalhar com esta ferramenta nos próximos textos. Não deixe de acompanhar!</p>
<p>O post <a href="https://diegonogare.net/2014/12/azure-machine-learning-introducao-parte-3/">Azure Machine Learning – Introdução – Parte 3</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1119</post-id>	</item>
		<item>
		<title>Azure Machine Learning – Introdução – Parte 2</title>
		<link>https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-2/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Fri, 28 Nov 2014 18:21:23 +0000</pubDate>
				<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[azure]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[cloud computing]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[mineracao de dados]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=1084</guid>

					<description><![CDATA[<p>Fala galera, os modelos algoritmos que temos hoje, 28/Nov/2014, disponíveis no Azure Machine Learning estão separados em três categorias, que podem ser encontrados no menu Machine Learning &#62;&#62; Initialize Model, conforme esta lista: Classification Multiclass Decision Forest Multiclass Decision Jungle Multiclass Logistic Regression Multiclass Neural Network One-vs-All Multiclass Two-Class Average Perceptron Two-Class Bayes Point Machine...</p>
<p>O post <a href="https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-2/">Azure Machine Learning – Introdução – Parte 2</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p>Fala galera, os modelos algoritmos que temos hoje, 28/Nov/2014, disponíveis no Azure Machine Learning estão separados em três categorias, que podem ser encontrados no menu <strong>Machine Learning &gt;&gt; Initialize Model</strong>, conforme esta lista:</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/11/112814_1817_AzureMachin1-2.png?w=640" alt="" /></p>
<h2>Classification</h2>
<ul>
<li>Multiclass Decision Forest</li>
<li>Multiclass Decision Jungle</li>
<li>Multiclass Logistic Regression</li>
<li>Multiclass Neural Network</li>
<li>One-vs-All Multiclass</li>
<li>Two-Class Average Perceptron</li>
<li>Two-Class Bayes Point Machine</li>
<li>Two-Class Boosted Decision Tree</li>
<li>Two-Class Decision Forest</li>
<li>Two-Class Decision Jungle</li>
<li>Two-Class Logistic Regression</li>
<li>Two-Class Neural Network</li>
<li>Two-Class Support Vector Machine</li>
</ul>
<p><span style="font-size: 1.5em;">Clustering</span></p>
<ul>
<li>K-Means Clustering</li>
</ul>
<p><span style="font-size: 1.5em;">Regression</span></p>
<ul>
<li>Bayesian Linear Regression</li>
<li>Boosted Decision Tree Regression</li>
<li>Decision Forest Regression</li>
<li>Linear Regression</li>
<li>Neural Network Regression</li>
<li>Ordinal Regression</li>
<li>Poisson Regression</li>
</ul>
<p>Estes modelos de algoritmos são formulações estatísticas e/ou matemáticas conhecidas e amplamente estudadas no meio acadêmico, aqui no Azure Machine Learning eles já possuem uma parametrização genérica para que funcione com a maioria dos casos. Nas nossas análises de dados, quando limpamos e disponibilizamos os dados para serem treinados pelo modelo, deve-se conectar o modelo escolhido de acordo com a necessidade de resolução daquele problema na tarefa de treino, que recebe também a origem dos dados. É importante ressaltar que cada um destes modelos de algoritmos apresentados possuem características específicas que resolvem problemas semelhantes, mas que a parametrização individual pode resolver melhor um problema através da escolha de um modelo ou de outro.</p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/11/112814_1817_AzureMachin2-2.png?w=640" alt="" /></p>
<p>Para exemplificar, imagine um cenário que avalia se um cadastro pode ser fraudulento ou não. Por mais que se use um modelo da categoria <em>Classification</em> para encontrar uma resposta sobre este problema, ele pode não ser exatamente o melhor modelo para encontrar esta resposta. Isso é analisado com base no resultado da Curva ROC (<em>Receiver Operator Characteristics Curve</em>) que realiza a comparação entre a sensibilidade e a especificidade do teste quantitativo basedo nos valores contínuos que foram treinados pelo algoritmo. As vezes, comparando com outros modelos desta mesma categoria a gente descobre que para classificar o cadastro como um possível problema de fraude o modelo de algoritmo X é melhor que o Y, mesmo que o modelo Y tenha sido o melhor algoritmo para classificar os mesmos dados de treino para saber se o cadastro é um bom pagador de dívidas. Este cadastro fictício diz que ele é um cadastro passível de trazer problemas com fraudes, mas que é um bom pagador. Meio controvérsio, mas é só pra exemplificar <img src="https://s.w.org/images/core/emoji/17.0.2/72x72/1f642.png" alt="🙂" class="wp-smiley" style="height: 1em; max-height: 1em;" /></p>
<p>Esta é a curva ROC, os melhores resultados dela são os que enquadram o maior conjunto possível de amostras (dados) na AUC (<em>Area Under the Curve</em>).</p>
<p>Veja muitos mais detalhes do <a href="http://en.wikipedia.org/wiki/Receiver_operating_characteristic">ROC na wikipedia, clicando aqui.</a></p>
<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/11/112814_1817_AzureMachin3-2.png?w=640" alt="" /></p>
<p>O terceiro e último texto sobre Introdução ao Azure Machine Learning, nós vamos acessar o ambiente e aprender a criar Experimentos e Base de Dados. Nos próximos, que já sairão da introdução, vamos explicar alguns algoritmos e trabalhar com exemplos práticos. Não deixe de acompanhar!</p>
<p>O post <a href="https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-2/">Azure Machine Learning – Introdução – Parte 2</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1084</post-id>	</item>
		<item>
		<title>Azure Machine Learning – Introdução – Parte 1</title>
		<link>https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-1/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Tue, 25 Nov 2014 20:00:27 +0000</pubDate>
				<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[azure]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[cloud computing]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[mineracao de dados]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=1075</guid>

					<description><![CDATA[<p>Fala galera, uma nova feature, lançada a poucos meses em preview e que já está disponível publicamente na plataforma Azure é o Microsoft Azure Machine Learning. Uma funcionalidade para nós trabalharmos com Inteligência Artificial através de Mineração de Dados e que permite entender melhor os nossos dados e ambientes, e tomar melhores decisões pro futuro....</p>
<p>O post <a href="https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-1/">Azure Machine Learning – Introdução – Parte 1</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p><img data-recalc-dims="1" decoding="async" src="https://i0.wp.com/blogdiegonogare.azurewebsites.net/wp-content/uploads/2014/11/112514_1958_AzureMachin1-2.png?w=640" alt="" /></p>
<p>Fala galera, uma nova feature, lançada a poucos meses em <em>preview</em> e que já está disponível publicamente na plataforma Azure é o <strong>Microsoft</strong><br />
<strong>Azure Machine Learning</strong>. Uma funcionalidade para nós trabalharmos com <strong>Inteligência Artificial</strong> através de <strong>Mineração de Dados</strong> e que permite entender melhor os nossos dados e ambientes, e tomar melhores decisões pro futuro.</p>
<p>Neste momento, 25/Nov/2014, ainda é em uma versão de testes com algumas coisas faltando. Uma coisa boa desta plataforma é e que possui um <em>roadmap</em> de lançamento de novas funcionalidades que acompanha todos os outros produtos da plataforma Azure, isso significa que temos atualizações de recursos a cada 3 ou 6 meses.</p>
<p>Hoje a plataforma trabalha com 3 categorias de algoritmos nativos:</p>
<p><strong><em>Classification</em></strong>: Algoritmos de Classificação permitem que análises sejam feitas na base de treino e teste e seu valor preditivo (aquele que estamos buscando) possa ser encontrado de forma discreta. Um resultado discreto significa apresentar um item baseado em um sub-conjunto conhecido de valores possíveis. Normalmente são poucos valores. Os mais comuns de se encontrar no mercado são classificadores binários, que &#8220;predizem&#8221; se a resposta é SIM ou NÃO, e apresenta o grau do índice de acuracidade (confiança) para aquela resposta que foi apresentada.</p>
<p><strong><em>Clustering</em></strong>: Algoritmos de Clustering (ou Segmentação) fazem o processo de particionar os dados da amostra de uma população em vários sub-conjuntos, deixando as ocorrências mais parecidas umas perto das outras. Diferente dos algoritmos de classificação na qual as classes são conhecidas, em algoritmos de Segmentação as ocorrências (ou linhas, ou registros [chame como achar melhor]) são agrupados pelas suas semelhanças. Imaginando a aplicação deste algoritmo em um universo de pessoas, é possível segmentar estes indivíduos por Região que moram, Região que trabalham, Sexo, Faixa de Idade, Faixa de Renda, etc. Qualquer dado discreto conhecido pode ser usado para fazer a segmentação da população e a partir desta segmentação é possível criar várias outras análises. Inclusive mudando de algoritmo para se adequar melhor à sua necessidade. Outra aplicação pra algoritmos de Clustering é entender o comportamento sequencial dos indivíduos, analisando os passos que foram feitos para realizar uma ação em algum lugar. Com estes passos é possível agrupar os indivíduos em sub-grupos, ficando em cada segmentação os indivíduos que percorreram os mesmos passos para realizar aquela determinada ação.</p>
<p><strong><em>Regression</em></strong>: Algoritmos de Regressões permitem que as análises na base de treino e testes retornem valores contínuos para aquele resultado preditivo. Por valores contínuos entendemos que são valores &#8220;infinitos&#8221;, podendo ser qualquer valor possível. Uma aplicação deste algoritmo pode ser uma análise pra saber quanto custa uma casa baseada na metragem e região. Uma análise desta pode dar valores entre 1 Dolar (como as casas em Detroit depois do problema da bolha imobiliária [veja aqui: <a href="http://www.nydailynews.com/life-style/real-estate/1-buy-house-detroit-article-1.1415014" target="_blank" rel="noopener noreferrer">http://www.nydailynews.com/life-style/real-estate/1-buy-house-detroit-article-1.1415014</a> ]) e 380.000.000 Dolares como esta cobertura em Mônaco (<a href="http://gallivantguide.com/monaco-penthouse-387m-worlds-most-expensive/2098/" target="_blank" rel="noopener noreferrer">http://gallivantguide.com/monaco-penthouse-387m-worlds-most-expensive/2098/</a>). Este intervalo de possibilidades é bem grande, e uma aplicação que faça este tipo de análise pode ter uma carga de processamento e consumo de memória bem grande. O uso de algoritmos para estas aplicações, facilitam muito o nosso trabalho!</p>
<p>Eu particularmente senti bastante falta de algoritmos da categoria <strong><em>Association</em></strong>, geralmente utilizados para <em>Basket Market Analysis</em> e que permitem encontrar correlação entre itens ou produtos que estão recebendo alguma interação e podem ser associados uns aos outros. Interação esta que pode ser simplesmente verificar os detalhes do produto, podendo ser até a ação de adicionar o produto no carrinho de compras. Cada interação desta apresenta um, ou mais, produtos associados à aquele que esta recebendo esta interação. Esta associação é baseada em fatos do passado, onde um produto foi consumido com o outro. Isso significa que a predição pode mudar com o decorrer do tempo, quando o comportamento e a correlação entre estes produtos passam a mudar por qualquer motivo que seja.</p>
<p>Em contra partida pode-se executar scripts em R dentro do Microsoft Azure Machine Learning. Só pra contextualizar, R é uma linguagem de programação focada em análise de dados e estatística que foi criada na década de 70. Esta linguagem é amplamente utilizada por estatísticos e matemáticos ao redor do mundo, e agora, com a nova profissão de Cientista de Dados, existe muito mais gente estudando e aprendendo R. Nós podemos criar scripts em R e consumir mais de 340 pacotes de funcionalidades existentes no CRAN (<em>Comprehensive R Archive Network</em> &#8211; <a href="http://cran.r-project.org/" target="_blank" rel="noopener noreferrer">http://cran.r-project.org/</a>) diretamente no Microsoft Azure Machine Learning. Isso ampliou bastante a quantidade de tarefas que é possível fazer com o Machine Learning.</p>
<p>Está no meu pipeline escrever mais alguns posts sobre o Microsoft Azure Machine Learning, criando alguns exemplos e trabalhando com alguns algoritmos. Fiquem ligados!</p>
<p>O post <a href="https://diegonogare.net/2014/11/azure-machine-learning-introducao-parte-1/">Azure Machine Learning – Introdução – Parte 1</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">1075</post-id>	</item>
		<item>
		<title>Algoritmo de Regras Associativas (Association Rules) no Data Mining do SQL Server 2014</title>
		<link>https://diegonogare.net/2014/08/algoritmo-de-regras-associativas-association-rules-no-data-mining-do-sql-server-2014/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Thu, 14 Aug 2014 13:11:45 +0000</pubDate>
				<category><![CDATA[Artigo]]></category>
		<category><![CDATA[Big Data]]></category>
		<category><![CDATA[Business Intelligence]]></category>
		<category><![CDATA[MVTech]]></category>
		<category><![CDATA[SQL Server]]></category>
		<category><![CDATA[Tech Ed Brasil]]></category>
		<category><![CDATA[Virtual PASS BR]]></category>
		<category><![CDATA[association rules]]></category>
		<category><![CDATA[bi]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[regras associativas]]></category>
		<category><![CDATA[sql server]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=960</guid>

					<description><![CDATA[<p>Fala galera, como prometido neste post e iniciado pela Árvore de Decisão, hoje continuo a série de posts falando sobre os algoritmos de Data Mining existentes no SQL Server 2014. Este segundo algoritmo que vamos falar é de Regras Associativas. Voltando ao primeiro post, as Regras Associativas apresentam uma estrutura combinatória dentro de um DataSet a partir...</p>
<p>O post <a href="https://diegonogare.net/2014/08/algoritmo-de-regras-associativas-association-rules-no-data-mining-do-sql-server-2014/">Algoritmo de Regras Associativas (Association Rules) no Data Mining do SQL Server 2014</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p><span style="color: black;"><span style="font-family: Segoe UI; font-size: 10pt; background-color: white;">Fala galera, como <a href="https://diegonogare.net/2014/06/data-mining-com-sql-server-2014/" target="_blank" rel="noopener noreferrer">prometido </a></span>neste post<span style="font-family: Segoe UI; font-size: 10pt; background-color: white;"> e iniciado pela <a href="https://diegonogare.net/2014/08/algoritmo-de-arvore-de-decisao-decision-tree-no-data-mining-do-sql-server-2014/" target="_blank" rel="noopener noreferrer">Árvore de Decisão</a>, hoje continuo a série de posts falando sobre os algoritmos de Data Mining existentes no SQL Server 2014.<br />
</span></span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Este segundo algoritmo que vamos falar é de Regras Associativas. Voltando ao primeiro post, as Regras Associativas apresentam uma estrutura combinatória dentro de um DataSet a partir de itens similares que estão sendo processados. A maioria dos sistemas inteligentes que utilizam este algoritmo são criados para recomendar um produto para o usuário, normalmente em e-commerce. Já reparou que quando acessa o site da Amazon e procura o livro <a href="http://www.amazon.com.br/Banco-Dados-Relacional-Tomada-Decis%C3%A3o-ebook/dp/B00JPR5NLU/" target="_blank" rel="noopener noreferrer">Do Banco de Dados Relacional à Tomada de Decisão</a>, e vários outros livros de Business Intelligence e BigData são apresentados? Então, não existe um <em>Oompa-Loompa</em> colocando isso aleatoriamente para você. Por trás, existe um sistema de recomendação completo, provavelmente utilizando a categoria &#8220;<em>Computação, Informática e Mídias Digitais</em>&#8221; como um parametro de entrada para este item. Como sempre, é importante conhecer a base e saber quais segmentações você quer aplicar para a recomendação. Neste caso, quando se coloca a categoria como um parametro de entrada, sempre serão recomendados itens similares dentro desta categoria, mas se todos os compradores do meu livro também comprassem um livro de culinária, ele não apareceria na recomendação pois está em outra categoria.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode1-2.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p>&nbsp;</p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Bom, já entendemos a aplicabilidade e como ele funciona, agora vamos criar um exemplo para o Adventure Works?<br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Primeira coisa é necessário criar um novo projeto do tipo SSAS com Data Mining. Mais uma vez vou acreditar que você sabe criar um <strong>Data Source</strong> apontando para o <em>AdventureWorksDW2012</em> e um <strong>Data Source View</strong> apontando para a <em>vAssocSeqLineItems</em> e <em>vAssocSeqOrders</em>. Esta estrutura basicamente é um relacionamento entre pedidos e produtos. Onde uma view tem os pedidos que foram feitos, e na outra view tem a lista de produtos que estão associadas àquele pedido. Consegue ver um relacionamento entre essas views? E a aplicabilidade desse relacionamento na nossa recomendação de conteúdo? Caso não tenha conseguido descobrir essa associação, a idéia é encontrar na lista de itens os produtos que também são comprados (com base na outra view de pedido) quando ao menos um daqueles itens é o que está no meu carrinho. Ficou mais claro? Não? Ok, vamos continuar e ver se conseguimos explicar&#8230; Voltando pra Amazon, e olhando a categoria do meu livro. Diversas pessoas olham meu livro e alguns outros livros na mesma visita à pagina, não importa a ordem, pode ser que vejam outros livros e depois o meu (<em>a ordem de visualização vai importar quando estivermos falando de algoritmo de Sequence Cluster, mas isso é pra outro post</em>). O importante é que existe uma ligação entre a visita e os produtos que foram vistos, no caso estes livros. Depois de algum tempo, estes livros passam a ter um relacionamento mais preciso, pois tem mais gente visualizando os livros. Não significa que em todos os acessos os visitantes visualizam todos os livros, estes que estão recomendados são os 5 livros que mais se relacionam com o meu no momento do processamento e dentro naquela categoria que está sendo processada. Pode ser que no futuro um outro livro passe a ser visualizado sempre que alguém buscar o meu livro, isso fará com que o 5º livro da ordem, que seria representado por uma ligação mais fraca, pare de aparecer na recomendação e entre esse outro livro&#8230; Tudo isso automaticamente, sem a intervenção daquele <em>Oompa-Loompa</em> comentado lá em cima.<br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Voltando ao exemplo, depois de incluir o <strong>Data Source View</strong>, é preciso relacionar as views, arrastando o campo <em>OrderNumber</em> da view <em>vAssocSeqLineItems</em> para cima do campo <em>vAssocSeqOrders</em>.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode2-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Próximo passo é hora de criar o Mining Model para as regras associativas, faça isso clicando com o botão dirento em <em>Mining Structure</em> e criando um novo a partir do <em>From existing relational database or data warehouse</em> e escolhendo <strong>Microsoft Association Rules</strong>.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode3-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Ao avançar para as próximas telas, deve-se informar qual view é <strong>Case</strong> e qual é <strong>Nested</strong>. Neste caso, a estrutura de CASE é onde temos a informação principal que será usada para segmentar os dados. Fazendo uma analogia ao livro, é onde se encontra a categoria de &#8220;<em>Computação, Informática e Mídias Digitais</em>&#8221; e não os livros que foram visualizados juntos. Já a tabela NESTED é onde se encontram estes livros que foram visualizados juntos. Então selecione <em>vAssocSeqOrders</em> para <strong>Case</strong> e <em>vAssocSeqLineItens</em> para <strong>Nested</strong>.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode4-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Ao avançar para a tela seguinte, é solicitado para informar quais campos serão tratados como <em>Key</em>, <em>Input</em> e <em>Predictable</em>. A seleção destas colunas é baseada na mesma explicação que foi feita no post sobre <a href="https://diegonogare.net/2014/08/algoritmo-de-arvore-de-decisao-decision-tree-no-data-mining-do-sql-server-2014/" target="_blank" rel="noopener noreferrer">Árvores de Decisão</a>, então dê um pulinho lá e veja o que é. Desmarque todas as opções que vierem marcadas, e selecione as caixas de <strong>OrderNumber</strong> como chave (coluna key) e as três colunas da <strong>Model</strong>. Sua seleção ficará assim:<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode5-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Quando avançar para a próxima tela, garanta que ambas colunas selecionadas estejam marcadas como <strong>Key</strong>, no <em>Content Type</em>.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode6-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Só pra lembrar, como neste caso é importante a acertividade na recomendação dos itens similares, altere de 30 para 0 o valor do campo &#8220;<em>Percentage of Data for Testing</em>&#8220;. Avance até finalizar o processo.<br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Se tudo ocorreu direito, seu Mining Structure ficará assim:<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode7-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Antes de processar seu projeto, lembre-se de informar qual é o servidor que tem o <strong>SQL Server Analysis Services</strong> instalado e configurado. Após este pequeno detalhe, faça o processamento.<br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Após processar, mude a aba do seu Mining para <em>Mining Model View</em>, e então, dentro desta aba, vá até o item <em>Dependency Network</em>.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode8-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Aqui dentro é possível ver os nós de associação que foram criados.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode9-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Parece pouca associação (mas por trás não é), isso acontece pela parametrização da quantidade mínima de ocorrências similares dos objetos. Para aumentar isso, volte até a aba <em>Mining Model</em>, clique com o botão direito em <em>Set Algorithm Parameters.</em><br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode10-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;">Altere os parametros de <em>Minimum_Support</em> para <strong>0.01</strong> e de <em>Minimum_Probability</em> para <strong>0.1</strong>, ao terminar esta alteração, processe novamente seu modelo e em seguida volte a visualizar as associacões (aba <em>Dependency Network</em> do seu <em>Mining Model View</em>). Veja que agora está bem mais completo e bonito de ver.<br />
</span></p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/081414_1309_Algoritmode11-1.png" alt="" /><span style="color: black; font-family: Segoe UI; font-size: 10pt; background-color: white;"><br />
</span></p>
<p><span style="color: black; font-size: 10pt;"><span style="font-family: Segoe UI; background-color: white;">Para consumir as associações, é possível escrever códigos <strong>DMX</strong> (<em>Data Mining Extentions</em>) passando como parâmetro o nome de um dos produtos, e recebendo uma lista dos outros itens que são associados à ele nas compras. Está no meu <em>pipe</em> pra escrever uma app em .Net que consuma esses dados via DMX, e claro, postar aqui como foi feito </span><span style="font-family: Wingdings; background-color: white;">J</span></span></p>
<p>O post <a href="https://diegonogare.net/2014/08/algoritmo-de-regras-associativas-association-rules-no-data-mining-do-sql-server-2014/">Algoritmo de Regras Associativas (Association Rules) no Data Mining do SQL Server 2014</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2181</post-id>	</item>
		<item>
		<title>Algoritmo de Árvore de Decisão (Decision Tree) no Data Mining do SQL Server 2014</title>
		<link>https://diegonogare.net/2014/08/algoritmo-de-arvore-de-decisao-decision-tree-no-data-mining-do-sql-server-2014/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Wed, 06 Aug 2014 01:34:32 +0000</pubDate>
				<category><![CDATA[Artigo]]></category>
		<category><![CDATA[Big Data]]></category>
		<category><![CDATA[Business Intelligence]]></category>
		<category><![CDATA[MVTech]]></category>
		<category><![CDATA[SQL Server]]></category>
		<category><![CDATA[Tech Ed Brasil]]></category>
		<category><![CDATA[Virtual PASS BR]]></category>
		<category><![CDATA[arvore de decisao]]></category>
		<category><![CDATA[bi]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[business intelligence]]></category>
		<category><![CDATA[data mining]]></category>
		<category><![CDATA[decision tree]]></category>
		<category><![CDATA[inteligencia artificial]]></category>
		<category><![CDATA[sql server]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=946</guid>

					<description><![CDATA[<p>Fala galera, como prometido algumas semanas atrás vou escrever uma série de posts falando sobre os algoritmos de Data Mining existentes no SQL Server 2014. Hoje vamos cobrir o uso do algoritmo de Árvore de Decisão, que implementa o algoritmo Microsft Decision Tree. Como já foi falado no primeiro post, este algoritmo de classificação é...</p>
<p>O post <a href="https://diegonogare.net/2014/08/algoritmo-de-arvore-de-decisao-decision-tree-no-data-mining-do-sql-server-2014/">Algoritmo de Árvore de Decisão (Decision Tree) no Data Mining do SQL Server 2014</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p>Fala galera, como <a href="https://diegonogare.net/2014/06/data-mining-com-sql-server-2014/">prometido algumas semanas atrás</a> vou escrever uma série de posts falando sobre os algoritmos de Data Mining existentes no SQL Server 2014. Hoje vamos cobrir o uso do algoritmo de Árvore de Decisão, que implementa o algoritmo Microsft Decision Tree.</p>
<p>Como já foi falado no primeiro post, este algoritmo de classificação é responsável por criar uma representação visual que chamamos de árvore por contem um nó raíz, nós intermediários que são as ramificações e os últimos nós representados que são as folhas.</p>
<p>É importante conhecer os dados que serão trabalhados para poder definir o que são atributos de entrada e o que são atributos preditivos. Basicamente, os atributos de entradas são colunas do banco de dados que podem influenciar o resultado final, e o resultado final é a coluna preditiva. Imagine um cenário onde o objetivo é classificar pessoas que são possíveis compradores do livro <a href="http://www.livrariasaraiva.com.br/produto/7697935">Do Banco de Dados Relacional à Tomada de Decisão</a>. Então neste caso a coluna preditiva do banco é se o cara comprou ou não o livro. As colunas de input são as colunas que tem alguma influência sobre a compra do livro, por exemplo, o idioma, a área de atuação, interesse técnico, etc. O algoritmo, com base nestas informações de input e predição, estrutura os nós da árvore classificando o que é relevante nas ramificações e entregando um (ou mais) caminhos ideais para chegar até as folhas. Pensando por esse lado, foi constatado que das 10 vendas que o livro teve, 8 falam idioma Português, 7 trabalham na área de Banco de Dados e somente 3 tem interesse técnico. Quando estes dados são processados pelo algoritmo e apresentado através da Árvore de Decisão, é possível ver claramente qual é o melhor caminho para segmentar o público que compraria o livro. São profissionais que falam Português e que trabalham na área de Banco de Dados, mas o interesse técnico não importa. Se fizer uma campanha de marketing direcionada para este público, a chance de vender o livro é muito maior do que enviar para um grupo de pessoas que falam Inglês e trabalham na área de Nutrição.</p>
<p>Bom, depois desse exemplo para entender o funcionamento do algoritmo, vamos começar um exemplo utilizando o Adventure Works.</p>
<p>Primeira coisa é necessário criar um novo projeto do tipo SSAS com Data Mining. Vou levar em conta que você sabe criar um <strong>Data Source</strong> apontando para o <em>AdventureWorksDW2012</em> e um <strong>Data Source View</strong> apontando para a <em>vTargetMail</em>.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode1-1.png" alt="" /></p>
<p>O próximo passo é onde começa a mineração de dados, procure na Solution Explorer o item de Mining Structure e clique com o botão direito do mouse, em seguida, aponte para New Mining Structure.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode2-1.png" alt="" /></p>
<p>Neste momento uma tela de abre e permite que você informe onde estão os dados de origem. Como utilizaremos o Data Warehouse para consumir os dados, deixe marcada a opção que é apresentada.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode3-1.png" alt="" /></p>
<p>Ao avançar para a próxima tela, você deve escolher qual algoritmo vai utilizar para sua mineração. No caso deste exemplo, mantenha escolhido o default, que é Decision Tree.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode4-1.png" alt="" /></p>
<p>Na tela seguinte, você informa qual é o Data Source View que possui a conexão com sua base de dados de origem. Como foi criado somente um Data Source View, somente ele é apresentado.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode5-1.png" alt="" /></p>
<p>Ao avançar, o wizard pergunta quais tabelas são Case e quais são Nested. Mantenha a tabela (eu sei que é uma view!!!!) vTargetMail marcada como Case e avance.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode6-1.png" alt="" /></p>
<p>Neste momento é hora de selecionar quais colunas são de entrada e quais são preditivas. Ao bater o olho na tela, é intuitivo marcar as linhas definidas para cada coluna. Garanta que seu ambiente está marcado com:</p>
<p>Key <span style="font-family: Wingdings;">à</span> CustomerKey</p>
<p>Input <span style="font-family: Wingdings;">à</span> Age e CommuteDistance</p>
<p>Predictable <span style="font-family: Wingdings;">à</span> BikeBuyer</p>
<p>Como apresentado a seguir</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode7-1.png" alt="" /></p>
<p>Avance para a próxima tela, e informe quais são valores Continuous ou então Discrete. Lembrando que valores contínuos apresentam uma grande variação de ocorrencias dentro da coluna e os discretos variam pouco. Por exemplo um campo do tipo CPF é um valor contínuo (varia muito de individuo para individuo) e uma coluna do tipo sexo é discreto (varia só um pouco). Caso não esteja a vontade, ou não conhece a base, pode clicar em Detect e o SQL Server analisa e lhe dá o resultado.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode8-1.png" alt="" /></p>
<p>O próximo passo é finalizar e informar o nome. Como não estou com criatividade hoje, vou deixar o nome sugerido pelo SQL Server e vou manter <strong>v Target Mail</strong>.</p>
<p>Um novo item é criado dentro da Solution Explorer, e é neste objeto que a Mineração de Dados ocorre. Para encontrar a Árvore de Decisão, é preciso processar os dados. É possível processar somente o modelo ou então o projeto como um todo. No caso, vamos processar todo o projeto. Para isso, vá na Solution Explorer, clique com o botão direito no projeto e aponte para Process. Lembrando de apontar para o <em>deploy</em> para o servidor correto.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode9-2.png" alt="" /></p>
<p>Se tudo ocorrer bem ao processamento, será apresenta o status Process Succeeded.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode10-2.png" alt="" /></p>
<p>Para encontrar a <strong>Árvore de Decisão</strong>, vá até a área central do <em>SQL Server Data Tools</em> no objeto <strong>v Target Mail</strong>, e abra a aba <em>Mining Model Viewer</em>.</p>
<p><img decoding="async" src="/wp-content/uploads/2014/08/080614_0131_Algoritmode11-2.png" alt="" /></p>
<p>Reparem que os nós Raiz [1], Ramificações [2] e Folha [3] são apresentados, e pode-se seguir o caminho da predição com base nas variáveis de entrada. Um ponto importante para seguir com a análise, é entender essa graduação de cores, na qual o item mais escuro representa o resultado mais impactante com base na predição esperada. A base do AdventureWorks é de uma empresa fictícia de venda de acessórios para bicicletas, então, olhando esta árvore, é possível predizer que os melhores clientes para realizar possíveis compras futuras seguindo o fluxo com as cores mais escuras.</p>
<p>Agora é com vocês, apliquem estas técnicas de mineração de dados em seu ambiente e façam com que seus resultados sejam mais assertivos!</p>
<p>O post <a href="https://diegonogare.net/2014/08/algoritmo-de-arvore-de-decisao-decision-tree-no-data-mining-do-sql-server-2014/">Algoritmo de Árvore de Decisão (Decision Tree) no Data Mining do SQL Server 2014</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2178</post-id>	</item>
		<item>
		<title>Lançamento do SQL Server 2014 – Descobrindo BigData com HDInsight</title>
		<link>https://diegonogare.net/2014/04/lanamento-do-sql-server-2014-descobrindo-bigdata-com-hdinsight/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Tue, 29 Apr 2014 13:44:04 +0000</pubDate>
				<category><![CDATA[Business Intelligence]]></category>
		<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[Eventos]]></category>
		<category><![CDATA[Informativo]]></category>
		<category><![CDATA[Lançamento]]></category>
		<category><![CDATA[SQL Server]]></category>
		<category><![CDATA[Virtual PASS BR]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[evento]]></category>
		<category><![CDATA[HDInsight]]></category>
		<category><![CDATA[lançamento]]></category>
		<category><![CDATA[mvp]]></category>
		<category><![CDATA[Palestra]]></category>
		<category><![CDATA[pass]]></category>
		<category><![CDATA[sql server]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=884</guid>

					<description><![CDATA[<p>Fala galera, dia 25/Abril/2014 aconteceu na Microsoft Brasil, no escritório de São Paulo, o fórum técnico para profissionais de Banco de Dados que foi feito para o Lançamento do SQL Server 2014 no Brasil. Tive o prazer de palestrar no evento falando sobre BigData, com a palestra Descobrindo BigData com HDInsight. Para quem quiser ver...</p>
<p>O post <a href="https://diegonogare.net/2014/04/lanamento-do-sql-server-2014-descobrindo-bigdata-com-hdinsight/">Lançamento do SQL Server 2014 – Descobrindo BigData com HDInsight</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p>Fala galera, dia 25/Abril/2014 aconteceu na Microsoft Brasil, no escritório de São Paulo, o fórum técnico para profissionais de Banco de Dados que foi feito para o Lançamento do SQL Server 2014 no Brasil.</p>
<p>Tive o prazer de palestrar no evento falando sobre BigData, com a palestra <strong>Descobrindo BigData com HDInsight</strong>.</p>
<p>Para quem quiser ver os slides, segue abaixo:</p>
<p><iframe style="margin-bottom: 5px; max-width: 100%; border-top: #ccc 1px solid; border-right: #ccc 1px solid; border-bottom: #ccc 0px solid; border-left: #ccc 1px solid" height="421" marginheight="0" src="http://www.slideshare.net/slideshow/embed_code/33996928" frameborder="0" width="512" marginwidth="0" scrolling="no" allowfullscreen> </iframe></p>
<div style="margin-bottom: 5px"><strong><a title="Lan&ccedil;amento do SQL Server 2014 - Descobrindo BigData com HDInsight" href="https://pt.slideshare.net/DiegoNogare/lanamento-do-sql-server-2014-descobrindo-bigdata-com-hdinsight" target="_blank" rel="noopener noreferrer">Lançamento do SQL Server 2014 &#8211; Descobrindo BigData com HDInsight</a> </strong>from <strong><a href="http://www.slideshare.net/DiegoNogare" target="_blank" rel="noopener noreferrer">Diego Nogare</a></strong> </div>
<p>&nbsp;</p>
<p>Qualquer dúvida, fique a vontade para me pingar através da área de contato. Bons estudos!</p>
<p>O post <a href="https://diegonogare.net/2014/04/lanamento-do-sql-server-2014-descobrindo-bigdata-com-hdinsight/">Lançamento do SQL Server 2014 – Descobrindo BigData com HDInsight</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2164</post-id>	</item>
		<item>
		<title>Primeiros passos com BigData–MVPShowCast 2013</title>
		<link>https://diegonogare.net/2014/03/primeiros-passos-com-bigdatamvpshowcast-2013/</link>
		
		<dc:creator><![CDATA[Diego Nogare]]></dc:creator>
		<pubDate>Tue, 11 Mar 2014 20:05:10 +0000</pubDate>
				<category><![CDATA[Business Intelligence]]></category>
		<category><![CDATA[Cloud Computing]]></category>
		<category><![CDATA[Eventos]]></category>
		<category><![CDATA[Informativo]]></category>
		<category><![CDATA[MSDN]]></category>
		<category><![CDATA[SQL Server]]></category>
		<category><![CDATA[Tech Ed Brasil]]></category>
		<category><![CDATA[TechNet]]></category>
		<category><![CDATA[Video]]></category>
		<category><![CDATA[Virtual PASS BR]]></category>
		<category><![CDATA[azure]]></category>
		<category><![CDATA[BigData]]></category>
		<category><![CDATA[cloud computing]]></category>
		<category><![CDATA[evento]]></category>
		<category><![CDATA[Hadoop]]></category>
		<category><![CDATA[HDInsight]]></category>
		<category><![CDATA[mvp]]></category>
		<category><![CDATA[Palestra]]></category>
		<category><![CDATA[webcast]]></category>
		<guid isPermaLink="false">http://diegonogare.net/?p=808</guid>

					<description><![CDATA[<p>Fala galera, em 2013 fui convidado à participar do MVPShowCast para falar sobre BigData. Veja o post falando sobre isso. Sim, está faltando a apresentação na trilha de BI. Aconteceram alguns problemas na época e não pude fazer a apresentação. Para quem não pode acompanhar no dia, segue o vídeo e os slides utilizados para...</p>
<p>O post <a href="https://diegonogare.net/2014/03/primeiros-passos-com-bigdatamvpshowcast-2013/">Primeiros passos com BigData–MVPShowCast 2013</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></description>
										<content:encoded><![CDATA[<p>Fala galera, em 2013 fui convidado à participar do MVPShowCast para falar sobre BigData. <a href="https://diegonogare.net/2013/10/mvp-showcast-2013-evento-online-gratuito/" target="_blank" rel="noopener noreferrer">Veja o post falando sobre isso</a>. </p>
<blockquote>
<p>Sim, está faltando a apresentação na trilha de BI. Aconteceram alguns problemas na época e não pude fazer a apresentação.</p>
</blockquote>
<p>Para quem não pode acompanhar no dia, segue o vídeo e os slides utilizados para a apresentação.</p>
<p>Vídeo:</p>
<div id="scid:5737277B-5D6D-4f48-ABFC-DD9C333F4C5D:7f347c9d-6bf0-429f-9a10-8346bcc0e2e8" class="wlWriterEditableSmartContent" style="float: none; padding-bottom: 0px; padding-top: 0px; padding-left: 0px; margin: 0px; display: inline; padding-right: 0px">
<div><object width="515" height="289"><param name="movie" value="http://www.youtube.com/v/rW0TAz4ZUSM?hl=en&amp;hd=1"></param></object></div>
<div style="width:515px;clear:both;font-size:.8em">HDInsight – Primeiros passos com BigData</div>
</div>
<p>&nbsp;</p>
<p>Slides:</p>
<p><iframe style="margin-bottom: 5px; max-width: 100%; border-top: #ccc 1px solid; border-right: #ccc 1px solid; border-bottom: #ccc 0px solid; border-left: #ccc 1px solid" height="421" marginheight="0" src="http://www.slideshare.net/slideshow/embed_code/28636703" frameborder="0" width="512" marginwidth="0" scrolling="no" allowfullscreen> </iframe> </p>
<div style="margin-bottom: 5px"><strong><a title="MVPShowCast - HDInsight Primeiros Passos com BigData" href="https://pt.slideshare.net/DiegoNogare/mvpshowcast-hdinsight-primeiros-passos-com-bigdata" target="_blank" rel="noopener noreferrer">MVPShowCast &#8211; HDInsight Primeiros Passos com BigData</a> </strong>from <strong><a href="http://www.slideshare.net/DiegoNogare" target="_blank" rel="noopener noreferrer">Diego Nogare</a></strong> </div>
<div style="margin-bottom: 5px">&nbsp;</div>
<div style="margin-bottom: 5px">Bons estudos!</div>
<p>O post <a href="https://diegonogare.net/2014/03/primeiros-passos-com-bigdatamvpshowcast-2013/">Primeiros passos com BigData–MVPShowCast 2013</a> apareceu primeiro em <a href="https://diegonogare.net">Diego Nogare</a>.</p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">2159</post-id>	</item>
	</channel>
</rss>
