A fim de avaliar a efic´acia da detec¸c˜ao de nosso m´etodo com rela¸c˜ao a outros m´etodos propostos no estado da arte, foram realizados diferentes experimentos para determinar qual m´etodo apresenta uma melhor efic´acia. Portanto, utiliza-se uma ferramenta muito
Resultados e Discuss˜ao 59
´
util na an´alise e compara¸c˜ao de classificadores, chamada Curva Roc (Receiver Operating
Characteristic).
No site da Base FDDB http://vis-www.cs.umass.edu/fddb/results.html, apre- sentam dois tipos de escores das detec¸c˜oes: discreto e cont´ınuo. Al´em disso, utilizam o seguinte crit´erio de avalia¸c˜ao: se a raz˜ao entre a intersec¸c˜ao das ´areas de detec¸c˜ao e anota¸c˜ao sobre a uni˜ao delas mesmas ´e maior ou igual que 0.5 (coeficiente de Jaccard ), o escore 1 ´e alocado para a ´area de detec¸c˜ao, caso contr´ario ´e 0, (Jain and Learned Miller 2010).
Comumente utiliza-se retˆangulos nas regi˜oes das faces nas imagens, por´em Zhu and Ramanan (2012) definiram elipses. Ent˜ao, para representar o grau de casamento entre uma detec¸c˜ao di e uma anota¸c˜ao lj, utiliza-se o coeficiente de Jaccard (Equa¸c˜ao 4.3).
A quest˜ao ´e, como estabelecer um casamento entre um conjunto de detec¸c˜oes e anota¸c˜oes quando existem falsos positivos ou m´ultiplas detec¸c˜oes para uma ´unica face? (ver Figura 6.3).
Figura 6.3: Essa imagem ´e um exemplo do casamento entre as detec¸c˜oes (retˆangulos) e as anota¸c˜oes (elipses). A segunda face `a esquerda tem duas detec¸c˜oes sobrepostas, portanto seleciona-se aquela com maior porcentagem de casamento com a elipse. O segundo retˆangulo amarelo ´e um falso positivo.
O casamento entre as detec¸c˜oes e anota¸c˜oes, formula-se como um problema de em- parelhamento de peso m´aximo em um grafo bipartido (ver Figura 6.4).
Se L ´e o conjunto das anota¸c˜oes e D ´e o conjunto das detec¸c˜oes, constr´oi-se um grafo bipartido G com um conjunto de n´os V = L ∪ D, onde cada n´o di est´a conectado a cada
anota¸c˜ao lj ∈ L com uma aresta associada a um peso n˜ao negativo wi,j. Al´em disso, para
cada detec¸c˜ao di ∈ D, ´e introduzido um n´o ni ∈ N para corresponder ao caso quando
60 Resultados e Discuss˜ao
Figura 6.4: Exemplo do emparelhamento de peso m´aximo em um grafo bipartido. Gera-se um mapeamento injetivo do conjunto das regi˜oes detectadas di ao conjunto
das anota¸c˜oes li. A propriedade do mapeamento resultante ´e maximizar a semelhan¸ca
cumulativa ponderada de todas as regi˜oes detectadas na imagem.
Jaccard ). Ent˜ao, o casamento ´e determinado pela maximiza¸c˜ao do escore de casamento
satisfazendo as seguintes restri¸c˜oes:
∀d ∈ D, ∃l ∈ L ∪ N , d→ lM (6.1) ∀l ∈ L, ∄d, d′
∈ D , d→ l ∧ dM ′ M
→ l (6.2)
onde, s´o existe um casamento de uma detec¸c˜ao di com uma anota¸c˜ao lj e n˜ao duas
detec¸c˜oes di para uma mesma anota¸c˜ao lj.
O resultado do escore ´e usado para avaliar a efic´acia do algoritmo de detec¸c˜ao nessa imagem. Os autores prop˜oem duas m´etricas para determinar o escore yi para a detec¸c˜ao:
• Escore discreto: yi = γS(di,vi) ≥ 0.5
• Escore cont´ınuo: yi = S(di, vi)
onde di ´e a uma detec¸c˜ao e vi corresponde a sua respectiva anota¸c˜ao. O escore cont´ınuo
´e o valor direto do casamento, e o discreto ´e atribu´ıdo 1 ou 0 dependendo se o escore for maior ou igual que 0, 5. A taxa de verdadeiros positivos ´e definida como a m´edia dos escores discretos ou cont´ınuos do ground truth das faces. Para ambos crit´erios utiliza-se as curvas ROC para comparar a efic´acia das diferentes abordagens sobre as bases de teste.
A avalia¸c˜ao utilizando gr´aficos ou diagramas permitem uma melhor visualiza¸c˜ao da multidimensionalidade do problema de avalia¸c˜ao. A curva ROC est´a baseada na pro-
Resultados e Discuss˜ao 61
babilidade de detec¸c˜ao ou taxa de verdadeiros positivos e na probabilidade de falsos alarmes ou taxa de falsos positivos. Um modelo de classifica¸c˜ao ´e representado por um ponto no espa¸co ROC. Alguns pontos no espa¸co ROC merecem destaque, por exemplo: o ponto (0, 0) representa a estrat´egia de nunca classificar um exemplo como positivo, o ponto (100%, 100%) representa a estrat´egia de sempre classificar um novo exemplo como positivo, o ponto (0, 100%) representa o modelo perfeito (todos os exemplos s˜ao classificados corretamente) e o ponto (100%, 0) representa o modelo que sempre faz predi¸c˜oes erradas, (Prati et al. 2008). Modelos pr´oximos ao canto inferior esquerdo consideram-se conservat´orios porque classificam positivamente exemplos se realmente tˆem certeza, eles cometem poucos erros (falsos positivos) e possuem baixas taxas de verdadeiros positivos. Modelos pr´oximos ao canto superior direito s˜ao considerados li- berais porque freq¨uentemente predizem aos exemplos como classe positiva e possuem altas taxas de falsos positivos. Quando os modelos encontram-se na linha diagonal as- cendente (0, 0) − (100%, 100%) representa um modelo de comportamento estoc´astico, ou seja cada ponto (p, p) pode ser obtido pela previs˜ao da probabilidade da classe positiva p e da classe negativa 100% − p. Os pontos dos modelos pertencentes ao triˆangulo su- perior esquerdo a essa diagonal representam modelos que desempenham melhor que o aleat´orio e pontos pertencentes ao triˆangulo inferior direito representam modelos piores que o aleat´orio (ver Figura 6.5).
Figura 6.5: Espa¸co ROC.
Ent˜ao, uma vantagem de utilizar a curva ROC est´a na avalia¸c˜ao da ordena¸c˜ao dos exemplos, ao inv´es da classifica¸c˜ao, por exemplo um classificador n˜ao prediz a classe sen˜ao um valor cont´ınuo ou ordinal e para criar o modelo de classifica¸c˜ao pode-se escolher
62 Resultados e Discuss˜ao
um limiar de classifica¸c˜ao, variando o valor em todo seu espectro (desde o mais restritivo at´e o mais liberal). Portanto, o desempenho do sistema est´a representado por uma curva no espa¸co ROC, chamado curva ROC. Uma outra conex˜ao entre a curva ROC e a ordena¸c˜ao dos exemplos est´a relacionada com a ´area abaixo da curva (em inglˆes Area
Under Curve, AUC) que ´e uma fra¸c˜ao da ´area de um quadrado de lado um, o seu valor
est´a sempre entre 0 e 1. Em (Hanley and McNeil 1982) mostraram que essa ´area ´e numericamente equivalente `a estat´ıstica de Wilconxon. Progressivamente, a AUC vem ganhando espa¸co como medida de avalia¸c˜ao de modelos em aprendizado de m´aquinas.
Para comparar o desempenho das diferentes abordagens recomenda-se analisar a curva ROC, j´a que para um intervalo de desempenho uma abordagem poderia superar outra, por´em a compara¸c˜ao relativa pode ser contr´aria em um intervalo diferente. Por exemplo, um algoritmo de detec¸c˜ao pode ser capaz de manter um elevado n´ıvel de precis˜ao para valores baixos de recall, mas a precis˜ao pode cair abruptamente depois de um ponto. Essa tendˆencia sugere que o detector seja ´util nas aplica¸c˜oes biom´etricas como controle de acesso, os quais requerem de alta precis˜ao com baixos n´ıveis de recall e o mesmo detector n˜ao pode ser ´util em aplica¸c˜oes de vigilˆancia porque requer uma recupera¸c˜ao de todas as faces de uma imagem ou v´ıdeo. Portanto, a an´alise de todos os intervalos das curvas ROC deve ser feita para determinar pontos fortes das diferentes abordagens.