Arquivos Análise de Dados - Diego Nogare

Review do livro “Extending Power BI with Python and R – Second Edition”

Diego Nogare — Mon, 03 Jun 2024 23:18:38 +0000

Fala galera! Fiz mais um review de livro, mas desta vez foi o “Extending Power BI with Python and R – Second Edition”, do meu amigo Luca Zavarella, que publicou pela Packt Pub. Me senti muito feliz com o convite dele para fazer esse review e compartilhar no blog, afinal, espero que você também estenda o Power BI com Python e R após ler este livro.

Bom, o Power BI é uma ferramenta da Microsoft poderosa para visualização de dados, mas vai muito além disso. Dessa forma, vasculhando alguns posts antigos, achei esse de 2013, falando sobre as novidades de BI no SQL Server 2014 e ainda nem tinha o Power BI.

Primeiramente, nos 22 capítulos deste livro, é possível explorar desde a integração de scripts R e Python até técnicas avançadas de análise e otimização. Em segundo lugar você irá aprender a configurar o R e o Python, a trabalhar com grandes conjuntos de dados, a detectar outliers e valores ausentes, a usar expressões regulares (o que é bem trabalhoso, vamos combinar!) e até incorporar Machine Learning em seus projetos. Aliás, independente de você ser um iniciante ou um usuário experiente, este livro completo com praticamente 800 paginas irá aprimorar suas habilidades no Power BI e ampliar suas possibilidades de análise de dados. Contudo, vou compartilhar contigo minhas impressões, para que você estenda o poder do Power BI com Python e R.

Vamos aos capítulos

1 – Integração de R e Python com o Power BI: Este capítulo abrange a integração de scripts R e Python com o Power BI, destacando sua utilidade além da simples visualização de dados. Explora como adicionar scripts R ou Python no Power BI, as ferramentas específicas para essa integração e as limitações desses scripts em diferentes produtos do Power BI.

2 – Configuração do R no Power BI: Foca na configuração do R com o Power BI, incluindo instalação, configuração de kernel R e ambientes de desenvolvimento.

3 – Configuração do Python no Power BI: Explora a integração do Python com o Power BI, abordando instalação, configuração de kernel Python e uso de ambientes virtuais.

4 – Solução de problemas comuns com Python e R no Power BI: Oferece soluções para problemas frequentes ao usar Python e R no Power BI.

5 – Importação de objetos de dados não tratados: Aborda a importação de arquivos RDS e PKL no Power BI, útil para dados processados externamente.

6 – Uso de expressões regulares no Power BI: Explora o uso de regex para busca e substituição em strings no Power BI, melhorando a limpeza de dados.

7 – Anonimização e pseudo-anonimização de dados no Power BI: Técnicas para proteger a privacidade dos dados usando scripts Python e R.

8 – Registro de dados do Power BI em fontes externas: Como extrair e registrar dados do Power BI em arquivos externos ou sistemas.

9 – Carregamento de grandes conjuntos de dados no Power BI: Técnicas para trabalhar com arquivos grandes usando Python e R.

10 – Aceleração do carregamento de dados com formato Parquet: Conversão de dados do formato CSV para Parquet para otimizar o desempenho.

11 – Chamando APIs externas para enriquecer seus dados: Extensão de dados usando APIs externas.

12 – Cálculo de colunas com algoritmos complexos: Distâncias: Uso de algoritmos para cálculos de distâncias.

13 – Cálculo de colunas com algoritmos complexos: Fuzzy Match: Técnicas avançadas de fuzzy match.

14 – Cálculo de colunas com algoritmos complexos: Problemas de otimização: Abordagem de problemas de otimização usando Python e R.

15 – Inclusão de insights estatísticos: Associações: Exploração de associações entre variáveis usando estatísticas.

16 – Inclusão de insights estatísticos: Outliers e valores ausentes: Detecção de outliers e imputação de valores ausentes.

17 – Uso de aprendizado de máquina sem licença premium ou incorporada: Integração de ML no Power BI.

18 – Uso de linguagens externas do SQL Server para análise avançada e integração de ML no Power BI: Uso de motores analíticos do Python e R no SQL Server e Azure SQL Managed Instance para o Power BI.

19 – Análise Exploratória de Dados (EDA): Foca na importância de compreender profundamente as características inerentes dos dados antes de aplicar modelos de ML. Introduz técnicas de EDA que ajudam na seleção de modelos adequados e na engenharia de features. Aborda limpeza de dados, relacionamentos entre variáveis e insights significativos para construir modelos precisos.

20 – Uso da gramática de gráficos em Python com plotnine (não achei uma tradução melhor, então fiz quase que literal): Guia abrangente sobre o pacote plotnine em Python, com paralelos ao popular ggplot2 em R. Explora a análise do conjunto de dados Titanic usando técnicas do plotnine, como criação de gráficos de barras e histogramas. Também aborda a integração do plotnine com o Power BI, incluindo instruções detalhadas para uso dessas visualizações no ambiente do Power BI.

21 – Visualizações avançadas: Criação de gráficos personalizados avançados, com foco em gráficos de barras circulares. Esses gráficos são úteis para exibir dados periódicos ou cíclicos de forma clara e eficiente. O capítulo aborda seleção e implementação de gráficos de pizza no R e no Power BI, além da integração de scripts R para renderizar gráficos complexos do ggplot2.

Só lembrando que não se deve usar gráficos com nome de comida, sejam eles pizza ou rosca. rss

22 – Visualizações interativas e personalizadas em R: Aprimoramento das visualizações de dados com interatividade, explorando a transição de gráficos estáticos para melhor interpretabilidade.

Minha opinião

Pessoalmente eu considero o Power BI uma ótima ferramenta. Afinal, o capítulo 17 e 18 trazem mais proximidade ao que tenho trabalhado nos últimos anos, e gostei realmente do que li. Na minha opinião é um material sólido para quem pretende aplicar as possibilidades que o R e o Python oferecem para seus projetos de DataViz. Embora o livro ofereca uma visão ampla, prática e aplicada, de como você poderá construir e utilizar estas técnicas. Nesse sentido, as referências e leituras adicionais te ajudarão aprofundar no contexto explicado no cap´tulo. Com o propósito de ajudar a validar o que você aprendeu, todo final de capítulo tem algumas perguntinhas que ajudam a fixar o conteúdo.

Em linhas gerais recomendo sim a leitura, principalmente para quem se interessa pelo assunto de DataViz. Enquanto escrevo esse texto, a versão digital está a venda na Amazon por um pouco mais de 250 reais.

Estenda o poder do Power BI com Python e R

A atualização do Github contendo os códigos não é tão frequente, afinal, há materiais com mais de 2 anos lá no repo. O que não é um problema, já que outros códigos são mais recentes.

Bons estudos!

O post Review do livro “Extending Power BI with Python and R – Second Edition” apareceu primeiro em Diego Nogare.

Tendências em Engenharia de Machine Learning e MLOps em 2024

Diego Nogare — Mon, 19 Feb 2024 18:57:12 +0000

A inteligência artificial (IA) está em constante evolução e as tendências para 2024 prometem transformar a forma como interagimos com essa tecnologia. Neste artigo, apesar de não gostar de falar sobre futurologia, quero explorar possíveis caminhos que moldarão o cenário da Engenharia de Machine Learning e MLOps em 2024 e nos próximos anos.

Ao navegar no linkedin, não é novidade que essas são áreas que estão em constante evolução e que trazem soluções inovadoras para diversos setores da indústria. Principalmente agora, onde a IA está se tornando cada vez mais presente em nossas vidas, impulsionando avanços significativos em produtividade e qualidade.

O que é Engenharia de Machine Learning e MLOps?

Para não ficar exaustivo e extenso demais esse texto, vou fazer uma ligação sobre o que é Engenharia de Machine Learning e MLOps com o texto que escrevi anteriormente para o blog, chamado MLOps e Engenharia de Machine Learning descomplicados. Convido vocês a lerem o texto que dá a base para o que vamos discutir a seguir.

Algumas apostas de Machine Learning para 2024

Tentei separar essa seção em dois sub-grupos, um focado em ferramentas e produtos, e outro engloba as outras coisas.

Ferramentas / Produtos

IA de Machine Learning mais sofisticada
O Machine Learning tradicional é a base da IA moderna e continuará a se aprimorar. Mesmo com os avanços da IA Generativa, o ML é uma área que não vai parar tão cedo. Contudo, isso significa, que os sistemas de IA aprenderão e se adaptarão mais rapidamente, abrindo novas possibilidades em diversos setores. O aprimoramento do aprendizado de máquina e a acessibilidade tecnológica são fatores fundamentais para termos soluções de ML mais sofisticadas.

Engenharia de Machine Learning no mercado de dados
O crescimento da IA e as falhas associadas à sua produtização de forma manual e sem padrões corporativos geraram a necessidade de profissionais especializados. Aliás, foi por causa disso que surgiu a área de MLOps e a demanda por pessoas que trabalham com Engenharia de Machine Learning. Sobretudo, essas pessoas garantem a operacionalização dos modelos, permitindo que os Cientistas de Dados foquem na resolução de problemas, na geração de insights e no desenvolvimento de modelos de ML.

Avanço das plataformas e ferramentas de MLOps: Outra tendência que aposto para 2024 é o avanço das plataformas e ferramentas que facilitam a implementação do MLOps nas empresas. Eventualmente, essas soluções permitem gerenciar todo o ciclo de vida de ML de forma integrada, automatizada e padronizada, reduzindo os custos, os riscos e o tempo dos projetos. Inclusive, quem tiver interesse em um livro curtinho e gratuito em português sobre MLOps, a Databricks está distribuindo um. Clique aqui para acessar O livro completo de MLOps. Faça um cadastro rápido e tenha direito de baixar o livro.

Análise Aumentada (Augmented Analytics)
A análise de dados tradicional está evoluindo, chegando a patamares de explicabilidade bem distintos. Agora, o aprendizado de máquina combinado com o Processamento de Linguagem Natural geram relatórios analíticos automaticamente, permitindo insights instantâneos para consultas ad hoc. Grande parte desta evolução tem a ver com questões de IA Generativa utilizando transformers.

Outras coisas

Aumento da demanda por profissionais qualificados: com o crescimento do uso do machine learning em diversos setores, como saúde, educação, finanças, varejo e indústria, a demanda por profissionais capacitados em Engenharia de Machine Learning e MLOps também deve aumentar. Por isso, investir em formação e atualização nessas áreas pode ser uma ótima oportunidade para quem quer se destacar no mercado.

Inclusive, acompanhe o aumento global sobre as buscas destes termos (em inglês) desde 2015:

Google Trends – MLOps e Machine Learning Engineering

Expansão do uso da computação em nuvem e da computação distribuída: Outra tendência que vejo para 2024 é a expansão do uso da computação em nuvem e da computação distribuída para o desenvolvimento e implantação de sistemas de machine learning. Afinal, a computação em nuvem permite acessar recursos computacionais sob demanda, sem a necessidade de investir em infraestrutura própria. Por outro lado, a computação distribuída permite processar grandes volumes de dados em paralelo, utilizando vários nós ou máquinas conectadas em rede. Essas tecnologias possibilitam criar modelos mais complexos, robustos e escaláveis, além de reduzir os custos operacionais.

Crescimento de padrões de IA Ética, Explicável e Responsável: Assim como o Marco Civil da Internet e a LGPD foram conquistados para proteger os usuários, está em discussão no Senado Federal um projeto para regulamentação da IA. Até a data de publicação deste texto, ainda tem muita discussão para ser feita. Mas, independente disso, vejo uma tendência para 2024 como sendo o crescimento da adoção de padrões que estão diretamente relacionados à IA Ética, IA Explicável e IA Responsável nas organizações.

Inclusive, em Setembro/2023, participei de um evento no ITA – Instituto Tecnológico de Aeronáutica, e uma das apresentações foi sobre IA Ética e Responsável. Baita aula da Dra Daniela América da Silva. Em linhas gerais estas frentes consideram os aspectos sociais, ambientais e legais envolvidos no uso do machine learning. Buscando evitar ou mitigar os possíveis impactos negativos que essa tecnologia pode causar.

Mas, e ai?

Estas são algumas tendências em Engenharia de Machine Learning e MLOps que eu acredito que faz sentido olhar com carinho, principalmente, se estas áreas de atuação estão no seu objetivo profissional. Pode ser que nada disso se fortaleça? Pode! Mas, na minha visão, são bons caminhos para investir um tempinho.

Imagem de capa criada com IA pelo Bing: Utilizei o prompt: “An image in orange and purple colors that represents AI technologies. The image should have the words ‘Trend 2024’, ‘EngML’ and ‘MLOps’ written explicitly. The style of the image should be digital illustration.”.

O post Tendências em Engenharia de Machine Learning e MLOps em 2024 apareceu primeiro em Diego Nogare.

Análise e visualização de dados para ML e Ciência de Dados

Diego Nogare — Mon, 22 Jan 2024 19:45:42 +0000

A Ciência de Dados é uma área em constante crescimento, e no momento em que há um aumento da quantidade de dados disponíveis, a necessidade de Análise e visualização de dados para ML e Ciência de Dados de maneira eficiente tornou-se cada vez mais importante. Neste post, quero explorar como o Machine Learning pode ser usado para essa finalidade, utilizando a linguagem de programação Python.

Machine Learning e Ciência de Dados

Machine Learning é um subcampo da Inteligência Artificial que se concentra em desenvolver algoritmos que permitem que os computadores aprendam a partir dos dados. Contudo, na Ciência de Dados, esses algoritmos são usados para descobrir padrões e insights nos dados. Anteriormente expliquei neste texto como a Inteligência Artificial está presente no nosso cotidiano. Aliás, esse texto também faz uma referência à uma outra publicação que conto um pouco da história da Inteligência Artificial.

Analise e Visualização de dados

Análise de Dados

A análise é o coração da ciência de dados, pois engloba o processo de inspecionar, limpar e transformar dados. Tem o objetivo de descobrir informações úteis, informar conclusões e apoiar os gestores nas tomada de decisões. A análise de dados pode ser dividida em muitas sub-áreas, e quero destacar quatro delas aqui:

Descoberta de Informações: A análise de dados ajuda a descobrir padrões e tendências nos dados que podem não ser imediatamente aparentes. Aliás, isso pode levar a insights valiosos que podem ser usados para informar estratégias de negócios ou direcionar decisões.
Tomada de Decisões Baseada em Dados: Com a análise de dados, as decisões podem ser baseadas em dados, em contraste com decisões com base em intuição, suposições ou com o famoso “eu que mando aqui”. Isso pode levar a melhores resultados e maior eficiência.
Previsão e Modelagem: A análise de dados permite a criação de modelos preditivos que podem ser usados para prever comportamentos ou tendências do futuro. Isso é particularmente útil em campos como vendas, marketing e finanças. Lembrando que, em virtude de ter resultados probabilísticos e não serem resultados determinísticos, a predição está associada à uma probabilidade do resultado acontecer.
Melhoria da Precisão: A análise de dados pode ajudar a melhorar a precisão das previsões e decisões ao fornecer uma base sólida de evidências em que se basear. Ou seja, melhora a tomada de decisão baseada em dados.

Visualização de Dados

Já a visualização de dados, que também é uma parte essencial da ciência de dados, permite que dados complexos sejam transformados em gráficos, facilitando a compreensão e interpretação dos dados. No Dataviz também podemos destacar muitos pontos importantes, mas quero manter o padrão e trazer quatro que entendo ser imporatnte:

Compreensão Rápida: Gráficos e imagens são processados pelo cérebro humano muito mais rápido do que texto, por consequência, a visualização de dados permite que as pessoas entendam os dados rapidamente.
Descoberta de Padrões: A visualização de dados pode revelar padrões, tendências e correlações nos dados que podem não ser evidentes em dados brutos, visto que nosso cérebro funciona melhor ao ver uma imagem do que ao ver um monte de numero amontoado.
Comunicação Eficaz: A visualização de dados é uma maneira eficaz de comunicar informações complexas de maneira clara e concisa. Ela pode ser usada com o intuito de contar histórias com dados, tornando as informações mais acessíveis e memoráveis. Leve em consideração o publico que vai consumir o seu gráfico, comunique com o seu publico de forma que eles entendam o que você está transmitindo.
Tomada de Decisão Informada: A visualização de dados pode ajudar na tomada de decisões ao fornecer uma representação visual clara dos dados. Isso pode levar a melhores decisões baseadas em dados. Um exemplo disso são os acompanhamentos com KPIs em reuniões executivas, os gestores normalmente olham para alguns faróis e ao bater o olho já sabem o que está indo bem e o que está indo mal.

Consegui te explicar a importância da Análise e Visualização de dados para Machine Learning e Ciência de Dados ?

Quer ver código?

Python é uma linguagem de programação popular na Ciência de Dados, isso se dá, acima de tudo, pela sua simplicidade e à variedade de bibliotecas disponíveis. As mais comuns são Pandas e NumPy para análise de dados, e Matplotlib e Seaborn para criar gráficos e visualizações interativas.

O Pandas é uma biblioteca Python que permite manipular estruturas de dados de forma rápida, flexível e expressiva. Foi desenvolvida pensando em pessoas que trabalham com dados relacionais ou rotulados, deixando a manipulação fácil e intuitivo. Da mesma forma, o NumPy, que é um pacote de processamento de arrays de forma geral, pois ele fornece um objeto de array multidimensional de alto desempenho e ferramentas para trabalhar com esses arrays.

O Matplotlib é uma biblioteca Python focada na criação de visualizações estáticas, animadas e interativas. Ela permite criar figuras de qualidade para consumir em vários formatos. Já o Seaborn é uma biblioteca baseada em Matplotlib e é particularmente útil para visualizar dados complexos. Não posso falar muito do Seaborn porque não trabalhei com ele ainda…

Estes pacotes Python que comentei são muito úteis para se trabalhar com Machine Learning e Ciência de Dados, aliás, acredito que usá-los vai te ajudar a resolver problemas de analise e visualização grandes conjuntos de dados e transformar os dados brutos em insights valiosos. Inclusive, durante uma disciplina do doutorado, eu criei um Repo no Github e coloquei alguns códigos lá dentro.

Eu ficaria muito feliz com sua contribuição nesse repo, no final da página do Github explico como você pode contribuir

Imagem de capa criada com IA pelo Bing. Utilizei o prompt: “Um macbook com gráficos coloridos em Azul, Vermelho, Verde e Amarelo e um copo de café na mesa, o macbook está em cima de uma mesa de escritório com o fundo de escritório desfocado. Os gráficos são como um dashboard para tomada de decisão” para a criação.

O post Análise e visualização de dados para ML e Ciência de Dados apareceu primeiro em Diego Nogare.