Para que a eficácia da meta-aprendizagem para recomendação de algoritmo seja com- provada se faz necessário mostrar empiricamente que, de fato, o método escolhido foi
Medidas Descrição
Nr-attributes Número total de atributos Nr-sym-attributes Número de atributos simbólicos Nr-Min Atributo mínimo numérico Nr-Max Atributo máximo numérico
Nr-Att-num Número total de atributos numéricos Nr-examples Número de exemplos
Nr-classes Número de classes DefaultAccuracy Acurácia padrão Nr-Eigenvalues Número de autovalores MissingValues-Total Total de valores faltosos MissingValues-
Relative
Porcentagem de valores faltosos
Mean-Absolute-Skew Assimetria média absoluta dos atributos MeanKurtosis Curtose média dos atributos
NumAttrsWithOutliers Número de atributos com outliers
MStatistic Boxian M-Estatística para testar a igualdade de matri- zes de covariância dos atributos numéricos
MStatDF Graus de liberdade do M-Statistic
SDRatio A transformação do M-estatístico que avalia as infor- mações na estrutura de covariância das classes NDiscrimFunct Primeira função discriminante
Fract Proporção relativa do poder de discriminação total da primeira função discriminante
Cancor1 Correlação canônica da melhor combinação linear dos atributos para distinguir entre as classes
WilksLambda Poder de discriminação entre as classes ClassEntropy Entropia das classes
EntropyAttributes Entropia dos atributos simbólicos
MutualInformation Informação mútua entre atributos simbólicos e classes JointEntropy Média da Entropia conjunta dos atributos simbólicos
e das classes
Equivalent-nr-of-attrs Razão entre entropia das classes e a média da infor- mação mútua, fornecendo informações sobre o nú- mero de atributos necessários para a classificação NoiseSignalRatio Relação entre ruído e sinal, indicando a quantidade de
informações irrelevantes para a classificação Tabela 4.1: Medidas de Caracterização
o melhor e que é capaz diminuir o tempo gasto com experimentação, com deterioração reduzida na qualidade dos resultados.
Em todas as etapas dos experimentos, a medida de avaliação utilizada para seleção do melhor algoritmo a ser recomendado foi a acurácia média, em termos de taxa de de- sempenho. Lançamos mão da estratégia de avaliação do arcabouço de amostragem 10- fold-cross-validation, uma vez que dispomos de uma quantidade razoável de amostras de dados.
4.2 Considerações Finais
Neste capítulo foi apresentada a condução dos experimentos realizados neste trabalho, abordando temas como: condução dos experimentos, problemas de classificação, medi- das de caracterização de dados, algoritmos de Aprendizagem e aplicação e avaliação da meta-aprendizagem. Tais tópicos são importantes para o entendimento de como os expe- rimentos foram realizados.
Análise dos Resultados
Neste capítulo, são apresentados e discutidos os resultados observados a partir da abordagem proposta por esta dissertação. Como já mencionado, abordagens de meta- aprendizagem têm sido aplicadas a diversas categorias de problemas. Dentre as aplicações mais comuns, tem-se o problema de gerar regras que tenham a capacidade de relacionar o desempenho de algoritmos de aprendizado de máquina com as propriedades das bases de dados [Brazdil et al. 2009]. Dessa maneira, nossa abordagem reuni em um só arcabouço conceitual o uso da meta-aprendizagem para recomendação dos melhores parâmetros para configuração de um comitê. Para um melhor entendimento desta pesquisa os resultados são apresentados na ordem em que os experimentos foram realizados.
Os resultados encontrados neste trabalho serão analisados segundo três perspectivas: • Classificador Base: investigar o algoritmo de aprendizado de máquina que repre-
senta o melhor método utilizado como indutor do comitê, quando seu desempenho é relacionado com as propriedades das bases de dados. A recomendação será feita dentro do seguinte domínio de métodos classificadores, detalhados no Capítulo 2: (Árvore de decisão, Decision Stump, Decision Table, Naïve Bayes, K-NN, SVM, REP Tree, JRip, PART e rede neural RBF ).
• Estrutura do Comitê: uma vez, de posse do indutor que atuará nos componentes do comitê, investigar a melhor estrutura deste comitê: Bagging ou Boosting.
• Tamanho da Estrutura do Comitê: diante da melhor estrutura, via meta-aprendizagem, sugerir quais os melhores tamanhos da mesma.
5.1 Resultados para Classificador Base
Durante os experimentos na investigação do melhor classificador base utilizando-se os dez algoritmos propostos inicialmente, percebe-se que a rede RBF não foi adequada para diversas bases, visto que os problemas de classificação constam de diferentes carac- terísticas, onde em alguns casos o número de padrões e/ou atributos numéricos é bastante significativo, como pode ser visto no Apêndice A, fazendo com que os experimentos com este tipo de indutor ficassem inviáveis por questão de tempo. Diante disso, optou-se por substituir a rede RBF por um outro modelo neural, a rede MLP. No entanto, foram en- contradas as mesmas dificuldades observadas na utilização do modelo RBF, limitações de tempo, uma vez que a execução dos experimentos com este método foi constatado dema- siadamente demorado, impossibilitando a investigação com o mesmo.
Os resultados observados com a investigação de nove algoritmos postulantes a clas- sificador base não se mostraram razoáveis, a nível de meta-aprendizagem, como poderá ser observado na seção que trata dos resultados para meta-aprendizagem. Diante deste contexto, a investigação do melhor método classificador base foi divida em três partes, considerando a proporção de meta-exemplos que cada indutor foi capaz de rotular: (1) com todos os nove indutores; (2) com os seis melhores e (3) com os quatro melhores. Essa divisão se deu em vistas de se ter diferentes números de classes para a meta-base envolvida no processo de meta-aprendizagem, uma vez que cada indutor candidato a clas- sificador base é um possível valor de rótulo para os meta-exemplos.
Os índices de acurácia apontam para variação do desempenho dos comitês, a nível de taxa de acerto de teste, conforme os dados, logo a melhor configuração varia também conforme os dados, como afirma [Soares 2004]. Os índices de acurácia de cada um dos indutores investigados neste trabalho, em ternos de taxa média de acerto, podem ser vistos nas Tabelas B.1, B.2, B.3 e B.4 do Apêndice B.
Os resultados para cada grupo de indutor postulante a melhor classificador base são apresentados a seguir.