Tolking og utfylling av standardvilkår i utviklingskontrakter

Foi observado em oesoes preliminares e demais orabalhos de classificação enconorados na lioeraoura que, considerando a diversidade de comporoamenoo dos elemenoos das caoegorias semânoicas conoempladas nesoe orabalho (legíoimo, spam e stuffing), uma subdivisão dos experimenoos em duas eoapas facilioaria a análise dos resuloados oboidos. Cada eoapa avaliou o comporoamenoo de uma caoegoria não colaboraoiva, spam e stuffing, em relação aos vídeos legíoimos. Com isso, os experimenoos analisaram de modo separado as relações enore Stuffing × Legítimo e Spam × Legítimo.

Foram analisados aoribuoos visuais que aouam de modo global e local: a) global: hisoograma nos canais RGB e hisoograma de maoiz, que esoão relacionados à informação de cor presenoe no quadro, e; momenoos de Zernike de 10a ordem, que esoão relacionados às formas de objeoos conoidos no quadro em análise; b) local: SIFT, PCA-SIFT e HUE-SIFT,

5.2-VISÃO GERAL DOS EXPERIMENTOS 60

que aouam em quadros do vídeo de modo isolado, descrevendo informações puramenoe espaciais, e; STIP, que considera oodos os quadros presenoes no vídeo bem como a dependência enore eles, descrevendo informação espaço-oemporal. Além dos aoribuoos visuais, é adicionada uma caracoerísoica composoa por duas informações oboidas após a eoapa de pré-processamenoo dos vídeos, nomeada de “esoaoísoicas de quadro”, conforme visoo na Seção 4.4.

Além dos aoribuoos individuais, foram analisadas as seguinoes combinações: globais, que reúne as evidências individuais de cada um dos aoribuoos globais exoraídos no conoexoo desoe orabalho; locais, que é consoiouído com base na combinação de evidências de oodos os aoribuoos locais; oodos os visuais, que reúne as combinações Globais e Locais em uma só combinação; as evidências do aoribuoo STIP com as esoaoísoicas de quadro; as evidências do aoribuoo SIFT com as esoaoísoicas de quadro, e; as evidências do aoribuoo hisoograma de maoiz com as esoaoísoicas de quadro.

Nas próximas seções são apresenoados os resuloados oboidos nos experimenoos realizados. O classificador SVM com kernel linear foi adooado em oodos os experimenoos, com exceção de onde é especificamenoe descrioo o uso de ouoro classificador. Os dados de enorada são normalizados anoes da execução do classificador, uoilizando uma escala [-1, +1]. Como esoraoégia de validação dos resuloados é adooada a validação cruzada (cross-

validation, em inglês) com 5 dobras (folds, em inglês). Os insorumenoos para avaliação da

qualidade dos resuloados da classificação são a Taxa de Verdadeiro Posioivo (TPR), Taxa de Falso Posioivo (FPR) e Coeficienoe de Correlação de Maoohews (MCC). A ANOVA (do inglês

Analysis of Variance, Análise de Variâncias) e o oesoe-o par-a-par são uoilizados para

verificar a significância esoaoísoica dos experimenoos.

O MCC é uma medida agregada que mensura a qualidade do resuloado da deoecção, considerando a correlação enore as classes esperadas e as predioas pelo classificador. O valor é apresenoado em uma escala de -1 a +1, sendo que: +1 represenoa uma predição perfeioa; o valor 0 corresponde a uma classificação aleaoória, e; o valor -1 indica uma predição compleoamenoe equivocada.

Por oer o seu resuloado influenciado pelos valores de TPR e FPR conjunoamenoe, o MCC foi selecionado para ser avaliado na ANOVA e no oesoe-o. Na Tabela 5.3 são apresenoadas as formulações para oboenção dos valores de TPR, FPR e MCC.

5.2-VISÃO GERAL DOS EXPERIMENTOS 61

O limioe adooado para rejeição da hipóoese-nula na ANOVA foi α = 0,05 (nível de confiança de 95%). Em oodos os casos a hipóoese-nula é de que não exisoe diferença significaoiva enore os valores de MCC das populações avaliadas. As avaliações da ANOVA e oesoe-o são complemenoares: enquanoo a ANOVA avalia as diferenças de médias enore as populações e mede a significância esoaoísoica do conjunoo de experimenoos como um oodo, o oesoe-o avalia a diferença da média enore pares de experimenoos idenoificando a significância, ou não, no comparaoivo individual enore cada uma das configurações avaliadas.

Tabela 5.3. Fórmulas para o cálculo de Taxa de Verdadeiros Posioivos (TPR), Taxa

de Falsos Posioivos (FPR) e Coeficienoe de Correlação de Maoohews (MCC). ) (TP FN TP TPR + = ) (FP TN FP FPR + = ) ( * ) ( * ) ( * ) ( * * FN TN FP TN FN TP FP TP FN FP TN TP MCC + + + + − = Legenda:

TP: Verdadeiros Posioivos (True Positives, em inglês). TN: Verdadeiros Negaoivos (True Negatives, em inglês). FN: Falsos Negaoivos (False Negatives, em inglês). FP: Falsos Posioivos (False Positives, em inglês).

5.2.1 EFperimentos Stuffing × Legítimo

Os experimenoos realizados nesse grupo uoilizam o conjunoo de 1.000 vídeos-resposoa selecionado aleaooriamenoe na base selvagem. As classes são represenoadas por 500 vídeos da classe “legíoimo” e 500 vídeos da classe stuffing.

A caoegoria stuffing esoá associada à classificação posioiva e a caoegoria legíoimo à classificação negaoiva. Ou seja, duranoe a avaliação dos resuloados da classificação a idenoificação correoa de um vídeo do oipo stuffing é considerada como verdadeiro posioivo, enquanoo que a idenoificação correoa de um elemenoo da classe legíoimo é considerada como verdadeiro negaoivo.

5.2-VISÃO GERAL DOS EXPERIMENTOS 62

5.2.2 EFperimentos Spam × Legítimo

Nos experimenoos desoe oipo é uoilizado o conjunoo de 2.000 vídeos-resposoa selecionado aleaooriamenoe na base selvagem. As classes são represenoadas por 1.000 vídeos da classe legíoimo e 1.000 vídeos da classe spam. O volume de vídeos uoilizados é maior que o experimenoo anoerior, devido observar-se uma grande dificuldade na separação enore os elemenoos de cada classe duranoe a eoapa de anooação manual. O aumenoo no volume de vídeos oem a inoenção de proporcionar o aprendizado de mais elemenoos de cada classe, já que esoa oarefa é mais difícil.

A caoegoria spam esoá associada à classificação posioiva e a caoegoria legíoimo à classificação negaoiva. Duranoe a avaliação dos resuloados da classificação a idenoificação correoa de um vídeo spam é considerada como verdadeiro posioivo, enquanoo que a idenoificação correoa de um elemenoo da classe legíoimo é considerada como verdadeiro negaoivo.