Outras métricas de um algoritmo de classificação

métricas de um algoritmo

Métricas de avaliação

de algoritmos de classificação

Não são só os métodos “padrões” extraídos da Matriz de Confusão que são úteis para medir a qualidade do seu modelo, mas existem outras métricas de um algoritmo de classificação. Como por exemplo os calculos publicados no artigo Deep learning technology for predicting solar flares from (Geostationary Operational Environmental Satellite) data.

Contudo, para cada problema de negócios que são resolvidos com um algoritmo de classificação de Machine Learning, existem métricas que podem ser utilizadas para medir a qualidade do modelo desenvolvido. Como já discutimos, algo só pode ser melhorado se for medido e evoluir a partir de uma aprendizagem. Mas afinal, quais métricas podemos usar além da Acurácia e Precisão?

Outras métricas

Probability of Detection (POD) que pode ser calculado por POD

 

 

False Alarm Rate (FAR) que é representado pela equação FAR

 

Heidke Skill Score (HSS) que possui a fórmula HSS e mede a fração de predições corretas depois de ajustar as previsões que seriam corretas devido à chance aleatória

 

True Skill Score (TSS) que pode ser matematicamente representado porTSS e combina a sensibilidade e especificidade.

 

É entendido que as métricas HSS e TSS são mais ajustadas que POD e FAR, mas isso acontece por causa da vantagens de utilizar todos os parâmetros. Como por exemplo o TC (todos os elementos classificados corretamente), FN (taxa de falso negativo), FC (todos os elementos classificados de forma incorreta) e TN (taxa de falso positivo).

Contudo, uma vantagem do TSS em comparação com o HSS, é que ele não sofre alteração em relação ao número de elementos categorizados da classe positiva no tamanho da amostra.

 

Sobre Diego Nogare 350 Artigos
Diego Nogare é Gerente Técnico de Engenharia de Machine Learning no Itaú-Unibanco. Também é professor em programas de pós graduação no Mackenzie e na FIAP, em São Paulo. Foi nomeado como Microsoft MVP por 11 anos seguidos, e hoje faz parte do programa Microsoft Regional Director.