Fala galera, dia 24 e 25 de Setembro/2015 rolou em São Paulo o Microsoft Insights Powered by TechEd.

Eu tive o prazer de apresentar uma sessão sobre as novidades da área de Business Intelligence no SQL Server 2016. Consegui consolidar muita coisa boa que está vindo nesta versão do produto, mas muitas outras ficaram de fora.

Consegui mostrar de forma fluída o uso de pacotes do Integration Services para trabalhar com Azure Blob Storage e HDInsights. Lí dados de diversas fontes com o PowerBI, montei relatórios para dispositivos móveis usando o Datazen. Mostrei o Polibase, a integração nativa do SQL Server para interagir com o Hadoop através de consultas T-SQL e não somente com consultas HiveQL. Também falamos sobre a integração de JSON e R dentro do SQL Server. Foi bastante proveitoso e a sala estava cheia até o final…

Fiquei muito feliz de ter feito esta apresentação e pelas perguntas e comentários da galera que foi até o Ask the Experts, no final.
Caso alguém queira acompanhar os slides, vejam abaixo:

O post TechEd Brasil 2015 – Novidades do SQL Server 2016 para Business Intelligence apareceu primeiro em Diego Nogare.

Vejam abaixo os links para download do material de 2014.

Lembrem-se de se atualizar, SEMPRE! Bons estudos

O post Vídeo e PPT das palestras de SQL Server do TechEd NA 2014 apareceu primeiro em Diego Nogare.

Agora é com vocês… Baixem os vídeos e as apresentações e estudem sobre SQL Server e Business Intelligence. Não deixe de se atualizar, SEMPRE…

Bons estudos!

O post Vídeo e PPT das palestras de SQL Server do TechEd NA 2013 apareceu primeiro em Diego Nogare.

Tive a oportunidade de trabalhar no stand de SQL Server, conversando com congressistas e palestrantes sobre ambientes de Missão Crítica para SQL Server 2012 e 2014. Abaixo tem uma foto que o Rodolfo Fadino (blog|twitter) registrou durante um dos meus turnos no stand.

Como prometido, segue um resumo (bem resumido mesmo) das coisas que ví nas sessões. Espero publicar posts mais detalhados com assuntos específicos de cada coisa interessante que ví. Não está em ordem de sessoões assistidas, está na ordem que o Evernote escolheu. rss

Keynote

windows 8.1 – Personalização de Desktop

Agora é possivel exportar as configurações de um desktop através do PowerShell e então criar uma política de personalização no Windows Server, e aplicar todos os apps configurados nos desktops das outras máquinas (botões de acesso). Também é possivel criar botões menores, como no Windows Phone 8. Também é permitido mudar o background (à sua escolha, não apenas templates) da região onde ficam os botões do desktop.

windows server 2012 r2

Em um site restrito é possivel identificar um erro de acesso negado, informando o usuário do problema e então pedindo para se juntar ao AD, e assim o acesso não será mais negado.

Quando se junta a um rede com domínio, você pode customizar os desktops dos funcionários em seus proprios devices automaticamente. Quando estes funcionarios saírem da empresa, você pode remover os apps sem precisar zerar a maquina.

WINDOWS AZURE

Agora as máquinas virtuais (VHD) que estão paradas no Azure não são cobradas pelo processamento (só o armazenamento da máquina). Isso é algo que impacta diretamente no uso de Cloud por empresas que precisam usar a tecnologia, mas não possuem infra-estrutura necessária para manter um ambiente de teste ou homologação. Agora estes ambientes podem estar na nuvem, e só “ligar” quando for usar.

Enterprise Social Media

Office 365 + Yammer

Numa pesquisa sobre redes sociais com quase 10.000 pessoas em 32 países, 53% de entrevistados entre 18 a 24 anos responderam que as redes sociais ajudam no dia-a-dia, mas apenas 41% de pessoas entevistadas com mais de 45 anos tem a mesma visão.

Nota mental: Estudar isso, não conheço nada do assunto!

BISM Tabular Mode

• Meu Contexto: Excel PowerPivot
• Contexto Colaborativo: Sharepoint PowerPivot
• Contexto Corporativo: SSAS

Nota mental: Estudar isso, não conheço nada do assunto!

How present your data

Apresentar os dados com numeros é importante pela precisão, mas conseguir representar com imagens (graficos, desenhos, etc.) fica muito mais expressivo e fácil de identificar e comparar os dados.

Nota mental: Estudar isso, não conheço nada do assunto!

Do you have BigData?

Os 3 Vs do BigData:

• Volume (Small e Large)
• Variedade (PK/FK e Chave/Valor)
• Velocidade (Push e Post)

Recomendar à pessoa somente o que realmente é pertinente à ela. Mesmo que o produto/vídeo ou artigo faça sentido para você, pode não fazer para o usuário.

O Hadoop é mais lento que o SQL realcional para criar e trabalhar no dia a dia, porque o propósito é completamente outro.

1) Criar o Cluster do HDInsight

2) *** Ter a tabela no Azure Tables, para consumir os dados

3) Criar a base e a tabela em HIVE para interagir com os dados

4) Criar uma outra tabela com particionamento, com a mesma estrutura da anterior mas com a partição

5) Criar uma tabela e já popular, com base em outra.

6) Para fazer o ETL, usar o SQOOP – SQL and Hadoop

7) Executar o PIG para criar os jobs e rodar com o mapeamento do MapReduce

8) A maioria da interação é feita através do painel de JavaScript do HDInsight e algumas coisas com o painel do Hive, também no HDInsight

Procurar a ferramenta –> CloudXplorer e NodeXL (ADD-ONs do Excel)

Nota mental: Estudar isso, não conheço nada do assunto!

PowerPivot in Excel 2013 – Action!

Basicamente tudo sobre PivotTable

Para ordenar os meses, é só ir aos dados de origem (PowerPivot) e ordenar por meses de forma numerica. Isso irá ordenar o resultado dos dados da camada de apresentação.

Usar o CustomerField para criar um campo calculado com base em informações vindas do Data Model, e não alteramos mais nada no Data Model, só a camada de apresentação.

Aprender a usar o comando CALCULATEextremamente útil e completo (complexo támbém)

Nota mental: Estudar isso, não conheço nada do assunto!

Hekaton

Tecnologia In-Memory para soluções OLTP

1) Memória otimizada para Tabelas e Índices

2) Compilação nativa de lógicas de negócios dentro de Procs (Não é mais interpretado, é código nativo compilado)

3) Sem Latch e Lock nas estruturas de dados

4) Não é um produto separado, é uma forma de trabalhar com o SQL Server

5) Aplicado à tabela ou índice em questão, não no contexto de Database ou Instância

— Memória de Tabela e Índice

Na criação da tabela, especifica o Index na coluna e informa que é de HASH com Buckets (tipo um buffer com espaço)

INDEX [nome] HASH WITH (BUCKET_COUNT = 1000000)

Também usa um hint na criação dizendo que é

WITH (MEMORY_OPTIMIZED = ON, DURABILITY = SCHEMA_AND_DATA)

Não tem DML Trigger

Não tem XML ou CLR Datatype

Não tem FK

— Compilação

Usar o Hint

WITH NATIVE_COMPILATION, SCHEMABINDING, EXECUTE AS OWNER

para compilar e não somente interpretar os códigos das procs. Também precisa criar uma tansação atomica (conceito ACID)

NA teoria, um acesso à tabela convencional acessa memória e disco e pode ser “full T-SQL”, já com Hekaton a tabela acessa somente a memória e tem um “limited T-SQL”, mas entrega uma performance muito melhor que a tabela convencional.

É adequado usar tabela convencional quando se usa AD-HOC ou consultas “reporting-style”, já para procs compiladas (com as regras de negócios) funciona muito melhor com o Hekaton pois já está compilado.

— Latch e Lock

> Multi-Version dos dados armazenados… utiliza Snapshot Transaction Isolation Level, mas não usa o TempDB

> Sem lock ou latch evitando block e wait… possui um controle interno de detecção de conflito que elimina os Dead Locks

Nota mental: Estudar isso, não conheço nada do assunto!

KPI with SSAS (Multidimentional and Tabular)

Os dados preditivos do Data Mining são usados para criar os KPIs e saber se os números serão atingidos ou não (projeção).

Data Mining é extremamente importante para estas predições.

Função importante –> CUBEKPIMEMBER e CUBEMEMBER

Estudar MDX e integração com Excel

Usar estes conceitos inclusive no Dashboard Design

Nota mental: Estudar isso, não conheço nada do assunto!

HDInsight – Hadoop with Windows

BigData não significa somente Grande quantidade de Dados. É um conceito que olha para o lado de Transações + Interações + Observações. A idéia junta informações de ERP, CRM e Web, consolidando em um outro nivel, BigData.

HDInsight Service –> Solução do Windows Azure

HDInsight Server –> Para soluções on-premisse

Hadoop é uma tecnologia distribuida para storage e processamento de grande escala.

HDFS é um acronimo (Hadoop Distributed File System) e usado para distribuir arquivos de sistemas não estruturados, quebrando em blocos e redundante entre os servers.

MapReduce é a tecnologia que executa e processa grande volume de dados em jobs paralelos em diversos nós do cluster, e depois combina os resultados.

Oozie é o workflow que organiza as execuções de SQOOP, HIVE, PIG, MapReduce e cria um fluxo de execução controlado e ordenado.

Integration Services e Excel se conectam no Hadoop através de conectores ODBC

Estudar –> .Net MapReduce for Hadoop [.Net Hadoop SDK (Visual Studio)]

Nota mental: Estudar isso, não conheço nada do assunto!

Enriching Big Data for Analysis

Pensar em BigData fica mais simples fazendo uma analogia com uma caixa de sapatos… Você guarda as coisas que um dia vai usar lá, mas não é usado regularmente. Comparar essa caixa com o armazenamento de BigData fica bem simples para entender. Com BigData você armazena tudo o que achar importante, mesmo não sabendo como e porque usá-lo hoje.

Algumas formas de interação:

1) Aquisição de dados –> Streaming, Trickle, Bulk Transfer
– Menos arquivos com tamanho maior é muito melhor do que varios arquivos com pouco tamanho cada;
– Teste diferentes formatos de arquivos para encontrar o mais adequado para você;
– Quanto mais contas de armazenamento (nós do cluster) é melhor, pois consegue mais concorrência (parelelismo);
– Mover dados pra nuvem já compactado, pode ser Gzip, BZ2 ou Deflate (HIVE). Azure tem suporte nativo para ler arquivos nestes formatos;
– AzCopy é tipo um Robocopy, mas apontando para Azure (usado para movimentar dados);
2) Refinar –> Agregações, Sumarizações, Transformações
3) Consumir os dados –> Relatorios, Análises, Planilhas

Nota mental: Estudar isso, não conheço nada do assunto!

Querying in DAX

DAX é a solução para descomplicar o MDX e permitir que Data Model possa ser rápido para ser escrito, mas não necessariamente é fácil, podendo existir muita complexidade e resolução de problemas… Podemos pensar em DAX como um facilitador completo

Nas execuções de DAX, a ordem dos filtros é diferente da ordem convencional do SQL.

Quando estamos consultando algo assim:

(

( TABELA, FILTRO DE CODIGO > 0 E < 20)

FILTRO DE CODIGO > 5 E < 10

)

Primeiro é executado o filtro de 5 e 10, e depois de 0 e 20, sobresaindo o resultado mais interno do contexto de filtro.

Baixar –> DaxStudio (daxstudio.codeplex.com)

Nota mental: Estudar isso, não conheço nada do assunto!

FIM DE EVENTO

O encerramento do evento foi outro marco pra mim, fomos para o Mercedes-Benz Superdome, onde ocorreu o Superbowl 2013 (em Fevereiro). Eu que sou fã de NFL, fiquei bastante emocionado. Nesta festa exclusiva para participantes do evento e seus convidados, tivemos um show curtinho da Tina Tuner, como também a presença do Quarter-Back do NEW ORLEANS SAINTS. Impagável!

Se eu puder deixar um recado para quem costuma frequentar eventos, é esse: Conheça eventos de fora do Brasil, você ficará impressionado

O post Como foi o TechEd NA 2013 – Minhas impressões apareceu primeiro em Diego Nogare.

Fala galera, hoje recebi a confirmação que vou trabalhar no stand da Microsoft no TechEd NA 2013, em New Orleans…

Consegui essa oportunidade para trabalhar no stand em conversas com alguns colegas que trabalham na corp, e com o Track Owner de Data Platform, durante o MVP Summit 2013. Vou trabalhar por volta de 16horas no stand, ainda não sei quais serão as atividades finais, mas estão divididas entre tirar duvidas técnicas dos conferencistas, ajudar nas execuções/aplicações dos HoL (Hand’s on Labs), ficar nas mesas do Ask the Experts e/ou organizar as coisas do evento, se precisar.

Esta será minha primeira vez no TechEd NA. Aqui no Brasil já participei alguns anos seguidos das mesas de Ask the Experts e também já fui palestrante. Para um comparativo de tamanho, os ultimos 2 eventos do Brasil tinham por volta de 2.700 participantes em cada ano, já o TechEd NA tem uma média de mais de 12.000 por ano… É muuuita gente!

Outro ponto interessante é que poderei rever alguns amigos que só encontro em eventos como o MVP Summit ou SQL PASS Summit.

Se você estiver por New Orleans entre 3 e 6 de Junho, e for para o TechEd NA, passe no stand da Microsoft e vamos trocar umas idéias sobre SQL Server, Business Intelligence ou Big Data!

O post TechEd NA 2013 – Eu vou! apareceu primeiro em Diego Nogare.