Test results for traffic light system

Esta seção lista dois trabalhos relacionados a este quanto ao emprego das medidas de boa e má diversidade. O primeiro trabalho realiza um estudo experimental com dados artificiais mostrando que é possível o desenvolvimento de comitês mais acurados quando utilizado uma medida de diversidade para guiar seu processo de construção (BROWN; KUNCHEVA, 2010). O segundo trabalho é uma aplicação das medidas de boa e má diversidade na avaliação de comitês de classificadores (NASCIMENTO et al, 2011).

O trabalho de (BROWN; KUNCHEVA, 2010) faz a definição das medidas de boa e má diversidade. Elas são definidas a partir da decomposição do erro de comitês de classificação que utilizam a técnica de voto majoritário como combinação dos resultados. Esse trabalho também realiza experimentos utilizando uma base de dados artificial utilizando comitês formados por diferentes quantidades de classificadores do mesmo tipo (quantidades de um classificador até mil classificadores). Os resultados apresentados mostram que o valor da diversidade é mais divergente em comitê de pequeno tamanho (na ordem de classificadores). Apresenta que grandes valores de boa diversidade reduzem o erro de classificação enquanto que grandes valores de má diversidade aumentam o erro.

Tanto este trabalho quanto o de (BROWN; KUNCHEVA, 2010) realiza testes experimentais para mostrar que as medidas de boa e má diversidade podem ser usadas explicitamente para gerar comitês mais acurados. Porém, este trabalho realiza experimentos em bases de dados reais verificando de modo prático se a hipótese é válida.

O trabalho de (NASCIMENTO et al, 2011) efetua uma análise experimental da diversidade gerada em comitês de classificadores baseados na técnica de Bagging. Analisa a acurácia e a diversidade de comitês gerados por metodologias implícitas de geração de diversidade. A acurácia é avaliada pela técnica de validação cruzada utilizando dez partições das bases de dados e a diversidade é avaliada pelas medidas de boa e má diversidade.

As metodologias implícitas de geração de diversidade são baseadas na amostragem da base de dados, provida pela técnica de Bagging, e pela seleção dos componentes do comitê através da técnica de otimização de Algoritmos Genéticos. A técnica de Bagging consiste em gerar uma base de dados selecionando de forma aleatória as instâncias presentes na base de dados original. A base gerada possui a mesma quantidade de instâncias que a original, porém algumas instâncias não estão presentes e outras aparecem replicadas (WITTEN; FRANK, 2005).

No trabalho de (NASCIMENTO et al, 2011) a técnica de Bagging é aplicada a uma base de dados após a mesma sofrer um pré-processamento removendo alguns dos atributos. Esse subconjunto de atributos da base de dados é selecionado por uma técnica heurística que utiliza critérios independentes da técnica de classificação a ser empregada na base de dados. Tais técnicas são denominadas de filtros (WITTEN; FRANK, 2005). A técnica de Bagging gera um conjunto de bases de dados que são fornecidas as diferentes técnicas de classificação gerando diferentes classificadores.

Os classificadores gerados são selecionados pela técnica de otimização de Algoritmos Genéticos a fim de formar um comitê que possua a maior acurácia possível. É utilizado como objetivo de otimização o erro de classificação avaliado pela técnica de validação cruzada utilizando duas partições da base de dados em conjunto com a estratificação dos dados. Neste passo é escolhido entre gerar comitês homogêneos ou heterogêneos, selecionando somente comitês gerados pela mesma técnica de classificação ou por técnicas diferentes respectivamente.

Os resultados obtidos são verificados estatisticamente pelo com um nível de significância de 0.05. Eles apresentam que a construção de comitês heterogêneos aumenta a acurácia, a boa diversidade e diminui a má diversidade quando comparados com os comitês gerados do mesmo modo, porém utilizando somente comitês homogêneos. Assim, o trabalho apresenta uma aplicação das medidas de boa e má diversidade, porém não é o objetivo do trabalho fazer comparações quanto ao uso explicito das mesmas na construção dos comitês.

O trabalho proposto analisa um método de construção de comitês de classificadores heterogêneos gerando explicitamente diversidade. Esse método é classificado na categoria de ponto inicial e na categoria de conjunto limitado. São utilizadas as medidas de boa e má diversidade num processo de construção baseado em metaheurísticas de otimização mono e multiobjetivo. O método é aplicado a vários problemas práticos clássicos na literatura para verificar se o uso dessas medidas de diversidade gera comitês mais acurados, de acordo com esse método de construção e método de avaliação adotado. Caso a hipótese se verifique válida os resultados são comparados com os resultados dos trabalhos relacionados apresentados.

CAPÍTULO 4 –

CONSTRUÇÃO DOS COMITÊS

A principal hipótese desse trabalho é que o uso das medidas de boa e má diversidade melhora a acurácia de comitês de classificação quando utilizadas explicitamente no processo de construção dos mesmos. Este trabalho aplica técnicas de otimização metaheurísticas para construção dos comitês de classificadores. Tais técnicas buscam por um comitê de classificação que apresente os melhores valores para os objetivos de otimização entre a acurácia do comitê, a medida de boa diversidade e a medida de má diversidade. Assim, os resultados das execuções das técnicas correspondem a comitês de classificação, isto é, o melhor comitê de acordo com as restrições de execução do algoritmo e com os objetivos escolhidos. Estes comitês são usados para comparar os algoritmos, diferentes quanto aos objetivos de otimização, para assim verificar se o uso das medidas de boa e má diversidade melhora a acurácia de comitês de classificação para este método de construção. Este capítulo descreve como os comitês de classificação são construídos, isto é, como as técnicas de otimização são aplicadas para construção dos comitês de classificação, como elas são executadas e quais os resultados esperados, estes serão usados em análises no próximo capítulo.

As seções seguir detalham estes tópicos: primeiro é apresentado como os comitês são representados e gerados, ou seja, como eles são representados, como os objetivos de otimização são avaliados e quais algoritmos de otimização são aplicados; em seguida é apresentado como os algoritmos descritos são executados, isto é, como são geradas as soluções iniciais, como são determinados os parâmetros dos algoritmos de otimização e quais os parâmetros empregados nas avaliações dos comitês; finalmente são apresentados os resultados esperados dos experimentos, ou seja, quais execuções são efetuadas, quais os parâmetros utilizados e quais as variáveis relacionadas às características dos comitês são obtidas para análise.