Case 2: WhatsApp

4.2.7.1 Sensibilidade e Especicidade

Uma vez terminada a análise de resíduos é fundamental avalaiar a capacidade discri- minatória do modelo.

Como os valores preditos dados pelo modelo são contínuos (pertencem ao intervalo [0,1]), é necessário denir um ponto de corte (cut-o ), que permite classicar e contabilizar o núemro de predições em que a variável resposta toma os valores 0 e 1. O ponto de corte é tal que, se a propensão dada pelo modelo para uma dada observação for inferior a este valor, assume-se que a observação se encontra na categoria 0 da variável resposta. Por outro lado, se a propensão for superior ao ponto de corte considerado, assume-se que a observação pertence à categoria 1 da variável resposta. Uma vez xado o ponto de corte é possível dividir as propensões em duas categorias: abaixo do cut-o (0) e acima do cut-o (1).

Tendo em conta que, para o conjunto de observações consideradas, é conhecido o valor real da resposta (ou valor observado), é possível compará-lo com a categoria da predição feita pelo modelo. Desta forma, existem 4 casos possíveis:

ˆ A categoria de predição é 1 e o valor observado da variável resposta é também 1. A esta grupo da-se o nome de verdadeiros positivos (VP);

ˆ A categoria de predição é 1 e o valor observado da variável resposta é 0. A esta situação dá-se o nome de falsos positivos (FP);

ˆ A categoria de predição é 0 e o valor observado da variável resposta é 1. A este grupo dá-se o nome de falsos negativos (FN);

ˆ A categoria de predição é 0 e o valor observado da variável resposta é 0. A este grupo dá-se o nome de verdadeiros negativos (VN);

Esta comparação pode ser sintetizada na tabela apresentada na gura 4.3, a qual é, usualmente, designada por Confusion Matrix, não possuindo uma tradução consensual para a língua portuguesa.

Figura 4.3: Confusion Matrix para um modelo de regressão logística

Com base nos conceitos apresentados na tabela apresentada na gura 4.3, é possível determinar as seguintes medidas:

ˆ Precisão (do inglês accuracy)- Representa a proporção de predições corretas. Esta medida é suscetível a conjuntos de dados desequilibrados, uma vez que não tem em conta o número de elementos que pertencem a cada categoria. Desta forma pode facilmente conduzir a conclusões incorretas sobre o desempenho do modelo.

É dada por:

ACC = Nº total de acertos

Nº de observações em estudo =

V P + V N

N , (4.53)

onde N representa o número total de observações.

ˆ Sensibilidade - Taxa de verdadeiros positivos, isto é, corresponde à percentagem de classicações corretas na classe de referência "1-Sucesso"da variável resposta (o sujeito tem a característica que se pretende modelar e o modelo prevê essa caracte- rística corretamente). É dada por:

SEN S = Nº de acertos positivos Nº de observações positivas =

V P

4.2 Regressão Logística 61

ˆ Especicidade - Taxa de verdadeiros negativos, ou seja, corresponde à percenta- gem de classicações corretas na classe de "0-insucesso"do modelo (o indivíduo não possui a caraterística a modelar e o modelo prevê corretamente que o sujeito não possui essa mesma característica). É dada por:

ESP = Nº de acertos negativos Nº de observações negativos =

V N

V N + F P (4.55)

ˆ Eciência - Corresponde à média aritmética (ou semi-soma) da sensibilidade e da especicidade e como tal é dada por:

EF F = SENS+ESP

2 (4.56)

Repare-se que, na prática, a sensibilidade variam em sentidos opostos (adiante ilustrar-se-á o porquê), uma vez que, geralmente, quando um modelo é muito sensível a positivos (categoria 1 da variável resposta), tendo a gerar muitos falsos positivos e vice-versa.

De notar que a sensibilidade e a especicidade não são calculadas sobre os mesmos indivíduos, uma vez que no cálculo da sensibilidade apenas são utilizados os indivíduos que se encontram na categoria 1 da variável de interesse e na especicidade utilizam-se somente os indivíduos que se encontram na categoria 0. Sendo assim, esteas medidas são independentes.

Por analogia, na biomedicina, onde estas medidas são frequentemente utilizadas em di- agnósticos clínicos, pode-se denir sensibilidade como sendo a probabilidade condicionada de um diagnóstico positivo sabendo que o indivíduo possui a doença e a especicidade como sendo a probabilidade condicionada de um diagnóstico negativo sabendo que o in- divíduo não tem a doença.

De acordo com Marôco (2010), pode-se classicar a capacidade do modelo preditivo de acordo com a sensibilidade e especicidade apresentadas na tabela 4.1.

Tabela 4.1: Capacidade preditiva do modelo de acordo com a sensibilidade e especicidade

Percentagem Capacidade preditiva

>0,8 Boas Capacidades preditivas ]0,5;0,8[ Capacidades preditivas razoáveis

4.2.7.1 Curva ROC

Aliada aos conceitos de especicidade e sensibilidade, encontra-se a Curva ROC (Re- ceiver Operating Characteristic), que é uma poderosa ferramenta para medir e especicar problemas no desempenho do diagnóstico em medicina, uma vez que permite estudar a variação da sensibilidade e especicidade para diferentes valores de corte. O desempenho de um teste é, usualmente, demonstrado pela curva ROC.

As curvas ROC foram desenvolvidas no campo das comunicações com o objetivo de estudar a relação sinal-ruído. O sinal era interpretado como verdadeiro positivo (sen- sibilidade) e o ruído como falso positivo (1-especicidade). Mais cocretamente, foram desenvolvidas na deteção de sinais eletrónicos e problemas com radares, durante a Se- gunda Guerra Mundial (Zweig and Campbell, 1993).

Na década de 60, as curvas ROC foram utilizadas em psicologia experimental e, nos anos 70, a metodologia rapidamente se disseminou em vários ramos da pesquisa biomédica, área na qual a sua aplicação tem como objetivo auxiliar a classicação de indivíduos em doentes ou não doentes.

A curva ROC traduz-se na representação gráca da sensibilidade, no eixo das ordena- das, e, no eixo das abcissas, do complementar da especicidade, isto é, (1 − ESP ).

Como se pode ver pela gura 4.4, um classicador perfeito corresponderia a uma linha horizontal sobre o gráco, porém dicilmente será alcançada. Na prática, curvas consideradas boas encontram-se entre a linha diagonal (classicador aleatório) e a linha perfeita, onde, quanto maior a distância à linha diagonal, melhor o desempenho do modelo. Tal como referido, a linha diagonal corresponde a um classicador aleatório, isto é, no qual a probabilidade de ser classicado positivo é igual à probabilidade de ser classicado como negativo (0,5).

Grande parte dos autores, utiliza a área abaixo da curva (AUC, do inglês Area Under Curve) como um dos índices mais utilizados para avaliar a qualidade da curva. A área sob a curva varia entre 0 e 1. Hosmer and Lemeshow (2000) apresentam valores indicativos da área sob a curva ROC que podem ser utilizados para classicar o poder discriminante do modelo de regressão e que, numa regra de aplicação geral, são dados pela tabela

De notar que a área sobre a curva pode ser obtida através de diversos métodos de integração numérica, como por exemplo, a método do trapézio.

Por m, a partir da curva ROC, é possível determinar o ponto de corte que maximiza o desempenho do modelo, denominado, usualmente, por cut-o ótimo. Este cut-o traduz o compromisso existente entre o número de verdadeiros positivos e o número de falsos

4.2 Regressão Logística 63

Figura 4.4: Curva ROC.

Tabela 4.2: Valores indicativos da área sob a curva ROC

Área sob a curva ROC Poder disciminante do modelo

0,5 Sem poder discriminativo

]0,5;0,7[ Discriminação fraca

[0,7;0,8[ Discriminação razoável

[0,8; 0,9[ Discriminação boa

≥0,9 Discriminação ótima

positivos.

Dos métodos existentes para determinar o cut-o ótimo, no presente trabalho utilizar- se-á o método denominado de Younden's index (usualmente representado por J). Este índice corresponde à diferença entre a taxa de verdadeiros positivos e a taxa de falsos positivos. A maximização deste índice corresponde à determinação do cut-o ótimo. De acordo com a sua denição, J é a distância vertical entre a curva ROC e a linha diagonal referente à aleatoriedade (a vermelho na gura 4.4).

x. Quando J é máximo, J (x) = 0, onde J corresponde à derivada de 1ª ordem de J. Consequentemente, R0(x) = 1, com R0 a 1ª derivada de R. Uma vez que R0(x) = 1, a tangente à curva ROC é paralela à linha diagonal, que possui declive 1. Desta forma, determinar o ponto de corte ótimo corresponde simplesmente à deslocação da linha diagonal até que a mesma se torne tangente à curva. Ao encontrar esta reta, obtém-se o par (sensibilidade,1-especicidade) correspondente ao cut-o ótimo.