Uma das formas de se analisar a capacidade de generalização da RNA é através da validação cruzada, como já foi mencionado anteriormente. Para isso, em cada época de treinamento foi calculado o valor do EMQ para os dados de treinamento e os dados de
Resultados e Discussões 5
54 Igor Guedes Rebouças
validação – que nesse caso, foram usados todos os dados do material. Esta técnica analisa o EMQ do conjunto de treinamento (EMQTREINO) e do conjunto total de dados (EMQTODOS) para cada época de treinamento, fazendo com que, ao final do treinamento, se escolha os pesos sinápticos da rede no menor valor de EMQTODOS.
A análise da capacidade de generalização se dá a partir verificação do comportamento do EMQ, tanto dos dados de treinamento quanto dos dados de validação, ao longo do processo de treinamento. Isso pode ser feito a partir da construção de gráficos que apresentem as duas curvas do EMQ (EMQTREINO e EMQTODOS) em função das épocas de treinamento. Vale salientar que o grau de proximidade entre as duas curvas durante todas as épocas de treinamento é uma característica interessante a ser obtida, já que significa dizer que o erro obtido para o conjunto de treinamento é representativo em relação ao comportamento real do ambiente que se está modelando.
As Figuras 5.1 e 5.2 apresentam os gráficos para análise da capacidade de generalização da rede para o material QQ1, utilizando um conjunto de dados com três e duas curvas S-N, respectivamente. 0 1000 2000 3000 4000 5000 1E-5 1E-4 1E-3 0,01 0,1
EM
Q
Épocas de Treinamento
Conjunto total dos dados
Conjunto dos dados de treinamento (3R)
Figura 5.1 - Curvas de EMQ para o material QQ1, obtidas durante o treinamento de uma RNA mista-perceptron com 29 neurônios ocultos e com três curvas S-N (3R).
55 Igor Guedes Rebouças 0 1000 2000 3000 4000 5000 1E-5 1E-4 1E-3 0,01 0,1
EM
Q
Épocas de Treinamento
Conjunto dos dados de treinamento (2R) Conjunto total dos dados
Figura 5.2 - Curvas de EMQ para o material QQ1, obtidas durante o treinamento de uma RNA mista-perceptron com 21 neurônios ocultos e com duas curvas S-N (2R).
Freire Jr (2005) observou que, dentre praticamente todos os materiais que foram analisados em seu trabalho, o comportamento dessas curvas se mostraram semelhantes. Todos eles apresentaram uma grande coincidência entre as curvas no início, mas separaram-se em um determinado número de épocas de treinamento. Nos casos que Freire Jr (2005) apresentou, o menor valor do EMQTODOS era justamente no ponto onde havia a separação entre as curvas.
Neste trabalho, apesar de ser possível perceber a região onde há a separação entre as curvas, o ponto de distanciamento não necessariamente define o menor valor do EMQTODOS. Por exemplo, observando o gráfico do QQ1-3R (Figuras 5.1), é fácil perceber que o ponto de separação entre as curvas acontece em torno das 500 épocas de treinamento. Porém a região que desenvolveu o menor erro quadrático foi após 4997 épocas de treinamento (ver Tabela 5.1). Isso acontece porque a curva do conjunto total de dados tem uma leve declinação até o fim do treinamento, proporcionando a diminuição do erro durante quase todo o processo de treinamento. Alguns materiais, como o Mat(0)2 e o QQ1T, são exceções a esse comportamento.
As Tabelas 5.1 e 5.2 apresentam os menores valores dos EMQ para todos os materiais que foram treinados nesse trabalho, além de seus respectivos valores de épocas de treinamento e neurônios ocultos.
Resultados e Discussões 5
56 Igor Guedes Rebouças
Tabela 5.1 - Resultados para todos os materiais treinados com o conjunto de dados 3R e por uma rede mista-
perceptron.
Tabela 5.2 - Resultados para todos os materiais treinados com o conjunto de dados 2R e por uma rede mista-
perceptron.
Analisando os valores apresentados pelas Tabelas 5.1 e 5.2, é digno de nota o fato de que, mesmo tendo sido treinado com apenas duas curvas S-N (2R), o modelo misto praticamente conserva os valores de EMQTODOS em um mesmo patamar quando comparado com os resultados desenvolvidos utilizando três curvas S-N. Isso mostra que o modelo misto possui alto grau de generalização, pois consegue gerar respostas acuradas mesmo em condições de baixa quantidade de dados para treinamento.
Além de verificar que este modelo de rede mista possui uma boa capacidade de generalização – devido aos baixos valores de EMQ obtidos na validação cruzada (Tabelas 5.1 e 5.2) – é possível analisar também a robustez da rede. Para este fim, os gráficos de dispersão (EMQTREINO versus EMQTODOS) mensuram bem essa característica da RNA. Cada ponto presente nos gráficos corresponde a uma arquitetura diferente, ou seja, uma mesma rede mista-perceptron com quantidade de neurônios ocultos diferentes. Quanto mais repetitivos forem os resultados, mais robusto é o modelo. A Figura 5.3 mostra a dispersão para o C12- 3R, enquanto que a Figura 5.4, o C12-2R.
EMQTREINO EMQTODOS
Épocas de Treinamento Neurônios Ocultos C10 1,75E-04 5,5632E-4 4406 29 C12 2,50E-04 4,44E-04 4996 2 QQ1 3,38E-04 5,03E-04 4997 18 QQ1T 5,87E-04 7,20E-04 2114 10
Mat(0)2 3,09E-04 5,94E-04 606 13
EMQTREINO EMQTODOS
Épocas de Treinamento Neurônios Ocultos C10 1,7161E-04 5,2578E-04 1237 21 C12 2,4469E-04 5,4409E-04 4932 26 QQ1 3,3897E-04 6,0904E-04 3430 25 QQ1T 2,9034E-04 5,5221E-04 1752 3
57 Igor Guedes Rebouças 1E-4 1E-3 0,01 1E-4 1E-3 0,01
EM
Q
T ODOSEMQ
TREINODISPERSÃO
Figura 5.3 - Dispersão do EMQ entre todos os dados e os dados de treinamento para o material C12, usando um conjunto de treinamento com três curvas S-N (3R) e uma rede mista-perceptron.
1E-4 1E-3 0,01 1E-4 1E-3 0,01
DISPERSÃO
EM
Q
T ODOSEMQ
TREINOFigura 5.4 - Dispersão do EMQ entre todos os dados e os dados de treinamento para o material C12, usando um conjunto de treinamento com duas curvas S-N (2R) e uma rede mista-perceptron.
Na Figura 5.3, os vinte e nove pontos presentes no gráfico estão praticamente unidos em uma só região. Isso mostra o alto grau de reprodutibilidade desse modelo, nessas condições de treinamento. Observa-se ainda que, para o mesmo material, embora se reduza a quantidade de dados de treinamento, há pouca variação na dispersão dos valores do EMQ (valor máximo aproximado de 1,4%), mostrando que a rede também é bastante robusta com poucos dados
Resultados e Discussões 5
58 Igor Guedes Rebouças
(Figura 5.4). Esses resultados (especialmente com 2R) comprovam o grande diferencial desse modelo. Assim como no C12, os demais materiais também desenvolveram pouca dispersão nas condições em que foram treinados.