6 Utforsking av identitet på internett
6.1 Lek og spill: Det store maskeradeballet
Valida¸c˜ao Cruzada
O desempenho de duas cascatas de classificadores treinadas independentemente atrav´es do uso dos mesmos parˆametros pela ferramenta opencv-haartraining pode variar subs- tancialmente em raz˜ao da influˆencia das amostras positivas e negativas utilizadas. Tal fato ocorre em fun¸c˜ao da escolha aleat´oria de amostras negativas que ´e feita antes do treinamento de cada est´agio da cascata.
Para garantir a consistˆencia dos resultados apresentados, foram realizadas duas rodadas de valida¸c˜ao cruzada nas quais o conjunto de imagens utilizado foi dividido em 5 e foram realizadas 5 etapas durante as quais 4/5 das imagens foram utilizados para treinamento do detector de FIPs e 1/5 para teste. Em resumo, as rodadas podem ser descritas como se segue: Rodada 1 O conjunto “A” (amostras de boa qualidade) foi dividido em 5 subconjuntos onde 4 foram usados para treinamento e 1 para testes em cada etapa.
Rodada 2 O conjunto formado por amostras de “A ∪ B” (amostras de qualidade variada) foi dividido em 5 subconjuntos onde 4 foram usados para treinamento e 1 para testes em cada etapa.
A seguir s˜ao apresentados os resultados das duas rodadas de valida¸c˜ao cruzada em termos de desempenho da detec¸c˜ao de FIPs e de c´odigos QR completos, respectivamente.
Est´agio 1 - Detec¸c˜ao de FIPs Os parˆametros de treinamento dos classificadores foram determinados com base na an´alise em 5.2.2. Os valores abaixo permaneceram idˆenticos aos determinados em5.2.2:
• Conjunto de Caracter´ısticas (MODE): B´asico; • Simetria (SYM): Sim´etrico;
• Topologia do Classificador (MTS): Cascata; • N´umero de divis˜oes do classificador fraco (NS): 1;
6.4 AVALIA ¸C ˜AO DO DETECTOR DE C ´ODIGOS QR 47 • M´axima taxa de alarme falso (FA): 0.50;
• Tamanho das amostras de treinamento: 16 × 16. Al´em disso, foram usados os parˆametros abaixo: • M´ınima taxa de acerto (HR): 0.98;
• N´umero de est´agios da cascata (ST): 19;
• N´umero de amostras de treinamento na rodada 1 (SAMPLES): 8040; • N´umero de amostras de treinamento na rodada 2 (SAMPLES): 9240;
Os parˆametros HR e ST n˜ao foram avaliados durante a determina¸c˜ao de parˆametros pois devem ser ajustados em fun¸c˜ao do n´umero de est´agios esperados na cascata resultante e na taxa m´ınima esperada de recupera¸c˜ao das amostras analisadas. HR ´e um limitante inferior para a recupera¸c˜ao de amostras positivas em cada est´agio da cascata de classificadores durante o treinamento sendo que, dessa forma, o parˆametro HR=0.98 limita o descarte de amostras positivas (como falsos negativos) a 2% para o conjunto de treinamento. O n´umero de est´agio da cascata (ST=19) combinado com a m´ınima recupera¸c˜ao (HR=0.98) e m´axima taxa de alarmes falsos (FA=0.50) resulta em uma cascata de classificadores que apresenta, relativamente ao conjunto de treinamento, taxa de alarmes falsos menor que 0.519 = 1.9 × 10−6 e taxa de recupera¸c˜ao maior ou igual a 0.9819= 0.68. O treinamento do classificador ´e interrompido quando a taxa de alarmes falsos durante o treinamento de algum est´agio ´e inferior `a taxa esperada ao fim do treinamento ou quando o n´umero de est´agios ´e atingido.
O n´umero de amostras de treinamento (SAMPLES) foi aumentado de 4000 (valor uti- lizado em 5.2.2) para 8040 na rodada 1 e 9240 na rodada 2 como forma de manter aproxi- madamente a mesma raz˜ao entre amostras originais e as criadas artificialmente. Durante a determina¸c˜ao dos parˆametros de treinamento foram utilizadas 380 amostras de FIPs origi- nais e esse conjunto foi expandido para 4000, enquanto nas rodadas de valida¸c˜ao cruzada foram utilizadas 804 e 924 amostras originais de FIPs ampliando-as em um fator de 10 vezes para 8040 e 9240 nas rodadas 1 e 2, respectivamente.
Tabela 6.1: Resultados para a detec¸c˜ao de FIPs - Rodada 1.
Etapa TP FN FP Recupera¸c˜ao Precis˜ao
Etapa 1 196 5 104 0,9751244 0,6533333 Etapa 2 192 9 163 0,9552239 0,5408451 Etapa 3 197 4 124 0,9800995 0,6137072 Etapa 4 192 9 107 0,9552239 0,6421405 Etapa 5 197 4 74 0,9800995 0,7269373 M´edia 194,8 6,2 114,4 0,9691542 0,6353927
48 RESULTADOS EXPERIMENTAIS 6.4 Tabela 6.2: Resultados para a detec¸c˜ao de FIPs - Rodada 2.
Etapa TP FN FP Recupera¸c˜ao Precis˜ao
Etapa 1 221 10 110 0,95671 0,6676737 Etapa 2 223 8 143 0,965368 0,6092896 Etapa 3 224 7 96 0,969697 0,7 Etapa 4 226 5 125 0,978355 0,6438746 Etapa 5 229 2 217 0,991342 0,5134529 M´edia 224,6 6,4 138,2 0,9722944 0,6268582
A recupera¸c˜ao e precis˜ao m´edias alcan¸cadas na detec¸c˜ao de candidatos a FIP na rodada 1 de valida¸c˜ao cruzada foram, respectivamente, 0, 97 e 0, 64 conforme a Tabela 6.1.
A recupera¸c˜ao e precis˜ao m´edias alcan¸cadas na detec¸c˜ao de candidatos a FIP na rodada 2 de valida¸c˜ao cruzada foram, respectivamente, 0, 97 e 0, 63 conforme a Tabela 6.2.
Nota-se que a diferen¸ca de desempenho entre as rodadas de valida¸c˜ao cruzada foi muito pequena, sugerindo que a adi¸c˜ao de 15% de amostras de qualidade ruim (conjunto “B”) ao conjunto “A” n˜ao teve impactos negativos. Ao considerar que em m´edia os testes realizados na rodada 2 s˜ao mais dif´ıceis por conterem as imagens de baixa qualidade provenientes do conjunto “B” os resultados indicam que o uso de amostras de qualidade variada ´e ben´efico. Est´agios 1 e 2 - Detec¸c˜ao de c´odigos QR completos Os resultados de detec¸c˜ao de c´odigos QR completos foram produzidos em valida¸c˜ao cruzada conforme descri¸c˜ao feita acima. Cada detector de FIPs (est´agio 1) treinado com 4/5 das imagens dispon´ıveis foi aplicado `as imagens restantes (1/5) e seus resultados foram processados pelo algoritmo de agrega¸c˜ao de candidatos a FIP (est´agio 2) utilizando os parˆametros de detec¸c˜ao determinados em 6.2.1 e 6.3.1. Eventualmente um mesmo FIP pode ser detectado como dois candidatos a FIPs distintos cujos centros est˜ao posicionados pr´oximos `a localiza¸c˜ao exata do centro do FIP na imagem. Isso pode fazer com que o est´agio 2 aponte a detec¸c˜ao de dois c´odigos QR que, apesar de serem distintos por serem compostos de trios distintos de candidatos a FIPs detectados no est´agio 1, correspondem na realidade ao mesmo c´odigo QR na imagem. Esse tipo de situa¸c˜ao configura as detec¸c˜oes repetidas apontadas na coluna “Repetidas” da Tabela6.3 e da Tabela6.4.
• Fator de Escalonamento (SF, Est´agio 1) = 1.10;
• N´umero m´ınimo de detec¸c˜oes sobrepostas (ND, Est´agio 1) = 30; • Menor tamanho de detec¸c˜ao = 16 × 16;
• Tolerˆancia do crit´erio de tamanho (ε, Est´agio 2) = 0.40; • Tolerˆancia do crit´erio de geometria (d, Est´agio 2) = 0.25;
A recupera¸c˜ao e precis˜ao m´edias alcan¸cadas para a detec¸c˜ao de c´odigos QR durante a rodada 1 de valida¸c˜ao cruzada foram, respectivamente, 0, 94 e 0, 76 conforme a Tabela 6.3.
6.4 AVALIA ¸C ˜AO DO DETECTOR DE C ´ODIGOS QR 49 Tabela 6.3: Resultados para a detec¸c˜ao de c´odigos QR completos - Rodada 1.
Etapa TP FN FP Repetidas Recupera¸c˜ao Precis˜ao
Etapa 1 64 3 61 0 0,9552239 0,512 Etapa 2 62 5 23 0 0,9253731 0,729411765 Etapa 3 64 3 17 1 0,9552239 0,790123457 Etapa 4 60 7 9 0 0,8955224 0,869565217 Etapa 5 65 2 7 2 0,9701493 0,902777778 M´edia 63 4 23,4 0,6 0,9402985 0,760775643
Cabe ressaltar que a etapa 1 apresentou um caso muito ruim representado por uma ´unica imagem na qual houveram 52 detec¸c˜oes falsas de c´odigos QR, de um total de 61 FP dessa rodada. Algo similar ocorreu na etapa 3 onde uma ´unica imagem foi respons´avel por 10 dos 17 alarmes falsos. Essas imagens ilustram um dos tipos de erro dif´ıceis de combater atrav´es da abordagem proposta pois ocorrem devido a um n´umero elevado de falsos positivos de tamanho e distˆancia compat´ıveis com os crit´erios de restri¸c˜oes geom´etricas estabelecidos. A se¸c˜ao 6.4.2 descreve qualitativamente os principais tipos de erros encontrados durante os experimentos.
Tabela 6.4: Resultados para a detec¸c˜ao de c´odigos QR completos - Rodada 2.
Etapa TP FN FP Repetidas Recupera¸c˜ao Precis˜ao
Etapa 1 68 9 15 0 0,8831169 0,819277108 Etapa 2 69 8 17 0 0,8961039 0,802325581 Etapa 3 73 4 8 1 0,9480519 0,901234568 Etapa 4 71 6 21 0 0,9220779 0,77173913 Etapa 5 72 5 61 0 0,9350649 0,541353383 M´edia 70,6 6,4 24,4 0,2 0,9168831 0,767185954
A recupera¸c˜ao e precis˜ao m´edias alcan¸cadas para a detec¸c˜ao de c´odigos QR durante a rodada 2 de valida¸c˜ao cruzada foram, respectivamente, 0, 92 e 0, 77 conforme a Tabela 6.4. Nota-se uma queda pequena na taxa de recupera¸c˜ao da segunda rodada. Considerando que durante a rodada 1 de valida¸c˜ao cruzada a taxa de recupera¸c˜ao de FIPs foi a mesma, pode- se considerar como um dos fatores que influenciaram a queda da taxa de recupera¸c˜ao na rodada 2 a existˆencia de um n´umero maior de imagens com distor¸c˜oes perspectivas ou de superf´ıcie. Esse tipo de imagem, considerada em detalhes na se¸c˜ao 6.4.2, tende a provocar falhas na detec¸c˜ao apenas do segundo est´agio da abordagem proposta, ou seja, os trˆes FIPs de um mesmo c´odigo QR s˜ao detectados corretamente mas por terem tamanhos relativamente diferentes e terem suas distˆancias e ˆangulos distorcidos, n˜ao s˜ao considerados um c´odigo QR. Desempenho Final do Detector de C´odigos QR
Um classificador denominado de “final” foi treinado com todas as imagens do conjunto A e utilizado para avaliar o desempenho da abordagem proposta em situa¸c˜oes de baixa qualidade, m´ultiplos c´odigos QR em uma mesma cena e situa¸c˜oes variadas.
50 RESULTADOS EXPERIMENTAIS 6.4 Para o treinamento, as 1005 amostras do conjunto A foram submetidas a varia¸c˜oes ale- at´orias, conforme procedimento descrito em 5.2.3, aumentado a quantidade de amostras dispon´ıveis para treinamento em 10 vezes.
Os parˆametros usados no treinamento foram os seguintes: • Conjunto de Caracter´ısticas (MODE): B´asico;
• Simetria (SYM): Sim´etrico;
• Topologia do Classificador (MTS): Cascata; • N´umero de divis˜oes do classificador fraco (NS): 1; • M´axima taxa de alarme falso (FA): 0.50;
• Tamanho das amostras de treinamento: 16 × 16. • M´ınima taxa de acerto (HR) : 0.98;
• N´umero de est´agios da cascata (ST): 19;
• N´umero de amostras de treinamento (SAMPLES): 10050; Para detec¸c˜ao, os parˆametros utilizados foram:
• Fator de Escalonamento (SF, Est´agio 1) = 1.10;
• N´umero m´ınimo de detec¸c˜oes sobrepostas (ND, Est´agio 1) = 30; • Menor tamanho de detec¸c˜ao = 16 × 16;
• Tolerˆancia do crit´erio de tamanho (ε, Est´agio 2) = 0.40; • Tolerˆancia do crit´erio de geometria (d, Est´agio 2) = 0.25;
A tabela 6.5 apresenta o desempenho para detec¸c˜ao de FIPs do classificador “final”. Tabela 6.5: Resultados para a detec¸c˜ao de FIPs
Conjunto TP FN FP Recupera¸c˜ao Precis˜ao B 127 26 42 0,830065359 0,75147929 C 200 10 90 0,952380952 0,689655172 S 345 157 244 0,687250996 0,58573854
A tabela 6.6 apresenta o desempenho para detec¸c˜ao de c´odigos QR completos do classi- ficador “final”.
Nota-se que o desempenho nos conjuntos “B”, “C” e “S” foi consideravelmente inferior ao alcan¸cado durante as rodadas de valida¸c˜ao cruzada em termos de recupera¸c˜ao. Em regra,
6.4 AVALIA ¸C ˜AO DO DETECTOR DE C ´ODIGOS QR 51 Tabela 6.6: Resultados para a detec¸c˜ao de c´odigos QR completos
Conjunto TP FN FP Recupera¸c˜ao Precis˜ao B 33 18 5 0,647058824 0,868421053 C 65 6 170 0,915492958 0,276595745 S 78 77 62 0,503225806 0,557142857
todas as imagens marcadas, contidas nos conjuntos “A”, “B” e “C”, foram escolhidas para marca¸c˜ao por apresentarem c´odigos com relativa clareza enquanto as imagens de “S” em sua maioria n˜ao foram marcadas justamente por apresentarem qualidade baixa. Isso explica em parte a grande diferen¸ca de desempenho entre os resultados em “S” e os resultados sobre os outros conjuntos. Outra observa¸c˜ao importante ´e que a precis˜ao para detec¸c˜ao de c´odigos QR completos no conjunto D ´e baixa, como devia-se esperar por serem imagens onde existe mais de um c´odigo QR e, portanto, mais sujeitas `a forma¸c˜ao de falsos positivos por interferˆencia entre os s´ımbolos.