3.2 Evaluation of Data
3.2.2 Reliability
Nesta subseção são apresentados os resultados obtidos pelas execuções dos algoritmos de multi-classificação heterogêneo (Stacking e StackingC) para o conjunto de proteínas.
5. Resultados dos Experimentos 73 Como mencionado anteriormente, esse tipo de algoritmo de multi-classificação utiliza algoritmos de AM para desempenhar o papel de meta-classificador e ainda permite utili- zar diferentes tipos e/ou configurações diferentes para os algoritmos base, dessa forma, estes sistemas foram executados com o número de cinco (5), dez (10) e quinze (15) al- goritmos base, sendo estes valores referências para seu tamanho. Sendo assim, como mencionado anteriormente, foi criado uma nomenclatura para facilitar o entendimento dos experimentos realizados. Por exemplo, uma execução de um algoritmo heterogêneo com cinco algoritmos base sendo três configurações do algoritmo KNN, um do MLP e um do Naive, será representado como ’5-Hete-3’, onde o número ’5’ é a quantidade de algoritmos base, ’Hete’ descrevendo que é um algoritmos heterogêneo e o número ’3’ descrevendo que foi utilizado três tipos de algoritmo base. Já que na nomenclatura utili- zada não é possível saber quais os tipos de algoritmos de AM que foram utilizados nos experimentos, no Apêndice B é apresentado os tipos de algoritmos que foram utilizados nesses experimentos.
5.2.2.1 HETEROGÊNEO DE TAMANHO 5
O valor em negrito na Tabela 5.5 descreve o experimento que apresentou o melhor de- sempenho de acordo com a taxa de acurácia para o conjunto de proteínas. Dessa forma, o melhor resultado foi obtido utilizando o algoritmo StackingC, com o experimento ’5- Hete-3’, onde descreve que foi utilizado um algoritmo heterogêneo com cinco classifica- dores base (’5’) de três tipos diferentes de algoritmos de AM (’3’) como classificadores base, atingindo uma taxa de acurácia igual a 80,01%.
Algoritmos Heterogêneos - Tamanho 5 Conjunto de Proteínas
Execução StackingC Stacking
5-Hete-5 74,83 ± 0,420 77,37 ± 0,430 5-Hete-4 77,56 ± 0,423 76,90 ± 0,434 5-Hete-3 80,01 ± 0,412 76,72 ± 0,436
5-Hete-2 75,96 ± 0,422 78,88 ± 0,421 Média Total 77,09 ± 2,247 77,47 ± 0,982
Tabela 5.5: Resultados obtidos pelos experimentos dos algoritmos heterogêneos de tama- nho cinco para o conjunto de dados de proteínas.
Entretanto, a partir da última linha da Tabela 5.5 pode-se observar que realizando a média de todos os resultados obtidos pelos algoritmos heterogêneos, para verificar qual o algoritmo que apresentou o melhor desempenho, obteve-se que o algoritmo com a maior média foi o algoritmo Stacking. Novamente, a eficácia do algoritmo StackingC pode ter
5. Resultados dos Experimentos 74 sido prejudicada pela quantidade de classes no conjunto de proteínas e pela dificuldade de se conseguir uma classificação correta para os padrões de treinamento. Ainda analisando a última linha dessa tabela, a média total obtida pelos SMC’s heterogêneos de tamanho 5 foi maior que a média total obtida pelos algoritmos individuais.
Homogêneos Tam 5 X Heterogêneos Tam 5
Para verificar se os algoritmos StackingC e Stacking utilizando diferentes tipos de algoritmos de AM como algoritmos base apresentaram melhores desempenhos que estes algoritmos utilizando os mesmos tipos de algoritmos base, foram realizadas comparações entre os resultados obtidos por estes SMC’s.
A Figura 5.4 a esquerda mostra a média obtida pelos algoritmos homogêneos e hetero- gêneos de tamanho 5 para o conjunto de proteínas. De acordo com essa figura, os melho- res desempenhos foram obtidos com a utilização dos algoritmos heterogêneos. Por esse motivo, apenas serão apresentados os resultados obtidos pelas execuções dos algoritmos heterogêneos com dez e quinze classificadores base. À direita nessa figura é apresentado um gráfico com a evolução destes experimentos, e pode ser verificado que o algoritmo que obteve um maior aumento no desempenho ao utilizar diferentes tipos de algoritmos base foi o algotimo Stacking.
Figura 5.4: Comparação entre algoritmos heterogêneos e homogêneos de tamanho igual a cinco para o conjunto de proteínas.
5.2.2.2 HETEROGÊNEO DE TAMANHO 10
A Tabela 5.6 mostra os resultados obtidos (taxa acurácia e desvio padrão) das execuções realizadas pelos algoritmos de multi-classificação StackingC e Stacking de tamanho dez para o conjunto de dados de proteínas. Como pode ser visto nessa tabela, o melhor re- sultado foi obtido com o algoritmo Stacking no experimento ’10-Hete-4’, isso quer dizer, que foram utilizados dez classificadores base no algoritmo heterogêneo com quatro tipos de algoritmos diferentes, obtendo assim uma taxa de acurácia igual a 79,54%.
5. Resultados dos Experimentos 75 Algoritmos Heterogêneos - Tamanho 10
Conjunto de Proteínas
Execução StackingC Stacking
10-Hete-5 76,34 ± 0,432 78,88 ± 0,421 10-Hete-4 77,94 ± 0,427 79,54 ± 0,415 10-Hete-3 77,19 ± 0,430 76,24 ± 0,440 10-Hete-2 78,51 ± 0,413 77,19 ± 0,423 Média Total 77,47 ± 0,801 77,96 ± 1,745
Tabela 5.6: Resultados obtidos pelos experimentos dos algoritmos heterogêneos de tama- nho dez para o conjunto de dados de proteínas.
Como aconteceu com os SMC’s heterogêneos de tamanho 5, pode ser observado a partir da última linha da Tabela 5.5 que o algoritmo com a maior média foi o algoritmo
Stacking. E pelo mesmo motivo pode ser explicado que a eficácia do algoritmo StackingC
pode ter sido prejudicada pela quantidade de classes no conjunto de proteínas e pela difi- culdade de se conseguir uma classificação correta para os padrões de treinamento. Nova- mente a média total obtida pelos algoritmos heterogêneos foi maior que média total dos algoritmos individuais.
Heterogêneos de Tam 5 X Heterogêneos de Tam 10
A partir dos resultados obtidos pelos experimentos dos algoritmos heterogêneos de ta- manho cinco e dez, foi feita a média destes resultados para, assim, verificar se houve uma melhora no desempenho dos algoritmos com o aumento da quantidade de classificadores base. Dessa forma, a Figura 5.5 mostra as médias desses experimentos para o conjunto de proteínas. Baseado nessa figura podemos verificar que houve uma melhora dos algo- ritmos com dez classificadores base em relação aos algoritmos com cinco classificadores base.
Para verificar qual algoritmo que se beneficiou mais com a utilização de dez classifi- cadores base, a Tabela 5.7 mostra a diferença entre a média dos algoritmos heterogêneos utilizando cinco classificadores base com os algoritmos com dez classificadores base. Baseado nessa tabela, podemos constatar que o algoritmo que se beneficiou mais com a utilização de dez classificadores base ao invés de cinco foi o algortimo Stacking.
Portanto, foi visto que para o conjunto de proteínas houve um aumento no desem- penho com a utilização dos algoritmos heterogêneos com dez classificadores base em comparação à utilização de apenas cinco classificadores base. Isso pode ter acontecido pois os padrões do conjunto de proteínas são difíceis de se classificar e com a utilização de uma quantidade maior de "opiniões" (quantidade maior de respostas) é possível que se obtenha a classe verdadeira do padrão.
5. Resultados dos Experimentos 76
Figura 5.5: Comparação entre as médias dos resultados dos algoritmos heterogêneos de tamanho cinco com os de tamanho dez.
Algoritmo Dif StackingC 0,40
Stacking 0,49
Tabela 5.7: Diferença dos algoritmos heterogêneos de tamanho 5 com os algoritmos de tamanho 10 para o conjunto de dados de proteínas.
5.2.2.3 HETEROGÊNEO DE TAMANHO 15
A Tabela 5.8 mostra as execuções realizadas para o conjunto de dados de proteínas, uti- lizando os algoritmos heterogêneos de tamanho igual a quinze (15), ou seja, quinze clas- sificadores base, com cinco, quatro e três tipos de algoritmos diferentes. De acordo com essa tabela, o melhor resultado foi obtido utilizando o algoritmo Stacking com o experi- mento ’15-Hete-4’, isto é, foram utilizados 15 algoritmos base de quatro tipos diferentes de algoritmos de AM, obtendo a taxa de acurácia igual a 79,35%.
Algoritmos Heterogêneos - Tamanho 15 Conjunto de Proteínas
Execução StackingC Stacking
15-Hete-5 78,03 ± 0,428 77,85 ± 0,448 15-Hete-4 77,94 ± 0,416 79,35 ± 0,437 15-Hete-3 76,72 ± 0,413 77,33 ± 0,410 Média Total 77,56 ± 0,736 78,18 ± 1,053
Tabela 5.8: Média das execuções dos algoritmos heterogêneos de tamanho quinze para o conjunto de dados de proteínas.
5. Resultados dos Experimentos 77 a partir da última linha da Tabela 5.5 que o algoritmo com a maior média foi o algo- ritmo Stacking. E pelo mesmo motivo pode ser explicado que a eficácia do algoritmo
StackingC pode ter sido prejudicada pela quantidade de classes no conjunto de proteínas
e pela dificuldade de se conseguir uma classificação correta para os padrões de treina- mento. Novamente a média total dos algoritmos heterogêneos foi maior que a média total dos algoritmos individuais.
Heterogêneos de Tam 10 X Heterogêneos de Tam 15
A partir dos resultados obtidos pelos experimentos dos algoritmos heterogêneos com dez e quinze algortimos base, foi feita a média destes resultados para assim verificar se houve uma melhora no desempenho dos algoritmos com o aumento da quantidade de classificadores base. Dessa forma, a Figura 5.6 mostra as médias desses experimentos para o conjunto de proteínas. Baseado nessa figura podemos verificar que como era espe- rado, houve uma melhora dos algoritmos com quinze classificadores base em relação aos algoritmos com dez classificadores base.
Figura 5.6: Comparação entre as médias dos resultados dos algoritmos heterogêneos de tamanho dez com os de tamanho quinze para o conjunto de proteínas.
Para verificar qual algoritmo que se beneficiou mais com a utilização de quinze classi- ficadores base, a Tabela 5.9 mostra a diferença entre a média dos algoritmos heterogêneos utilizando dez classificadores base com os algoritmos com quinze classificadores base. Baseado nessa tabela, podemos constatar que o algoritmo que se beneficiou mais com a utilização de quinze classificadores base ao invés de dez foi novamente o algortimo
Stacking.
Portanto, foi visto que para o conjunto de proteínas houve um aumento no desem- penho com a utilização dos algoritmos heterogêneos com quinze classificadores base em comparação à utilização de dez classificadores base. Isso pode ter acontecido pelo mesmo motivo que os desempenhos utilizando dez classificadores base foram melhores que os de- sempenhos com cinco classificadores base. Ou seja, os padrões do conjunto de proteínas
5. Resultados dos Experimentos 78 Algoritmo Dif
StackingC 0,07 Stacking 0,22
Tabela 5.9: Diferença dos algoritmos heterogêneos de tamanho 10 com os algoritmos de tamanho 15 para o conjunto de dados de proteínas.
são difíceis de se classificar e com a utilização de uma quantidade maior de "opiniões" é possível que se obtenha a classe verdadeira do padrão.
Homogêneos 10 Iterações X Heterogêneos Tam 10
Nesta subseção serão realizadas comparações entre as médias dos resultados obtidas pelos algoritmos homogêneos Adaboost e Bagging com dez iterações com as médias dos resultados dos algoritmos heterogêneos StackingC e Stacking de tamanho igual a dez para o conjunto de proteínas.
Na Figura 5.7 é possível verificar a comparação realizada entre os resultados dessas execuções. Nessa figura pode ser visto que para o conjunto de proteínas, as médias obtidas pelos algoritmos heterogêneos foram maiores em relação aos algoritmos homogêneos, e ainda pode ser observado que a melhor média foi obtida pelo algoritmo heterogêneo
Stacking.
Figura 5.7: Comparação entre os algoritmos homogêneos, com dez iterações, com os algoritmos heterogêneos de tamanho dez para o conjunto de proteínas.
Portanto, foi comprovado que a utilização dos algoritmos heterogêneos com dez clas- sificadores base de diferentes tipos apresentaram melhores desempenhos que os algorit- mos homogêneos com dez iterações. Isso se deve ao fato dos algoritmos heterogêneos utilizarem classificadores de tipos diferentes, apresentando assim uma maior diversidade entre as respostas de cada classificador, diferente dos algoritmo homogêneos, que apesar de apresentarem uma certa diversidade, utilizam o mesmo tipo de classificador base.
5. Resultados dos Experimentos 79 Para facilitar o entendimento de todos os resultados obtidos com a utilização do con- junto de proteínas, foi criada a Tabela 5.10. Essa tabela apresenta um resumo dos resul- tados obtidos por todos os experimentos, facilitando assim, a analise e conclusão destes desempenhos.
Índice Comparação Melhor desempenho
1 Adaboost 10 X 100 Adaboost 100
2 Bagging 10 X 100 Bagging 100
3 Adaboost X Bagging Adaboost
4 Homogêneo Tam 5 Stacking
5 Heterogêneo Tam 5 Stacking
6 Homogêneo Tam 5 X Heterogêneo Tam 5 Heterogêneo
7 Heterogêneo Tam 10 Stacking
8 Heterogêneo Tam 5 X Tam 10 Tamanho 10
9 Heterogêneo Tam 15 Stacking
10 Heterogêneo Tam 10 X Tam 15 Tamanho 15
11 Homogêneo 10 Iterações X Heterogêneo Tam 10 Heterogêneo
Tabela 5.10: Resumo dos resultados obtidos com a utilização do conjunto de dados de proteínas.
De acordo com essa tabela, pode ser observado que os melhores desempenhos foram alcançados utilizando os SMC’s heterogêneos de tamanho 15. Já que os algoritmos he- terogêneos apresentaram melhores resultados que os homogêneos (índices 6 e 11). Além disso, os SMC’s heterogêneos de tamanho 15 foram melhores que os de tamanho 5 e 10 (índices 8 e 10). Ainda pode ser observado que o melhor algoritmo heterogêneo foi o
Stacking (índices 4, 5, 7 e 9).