A.5.1. Regras de aprendizado.
O processo de aprendizagem nas RNA ocorre por meio do ajuste dos pesos das conexões e da atualização de sua arquitetura com o objetivo de executar uma função específica de forma eficiente. Este processo de aprendizagem ocorre pelo treinamento da rede por meio de iterações e apresentações de exemplos ou padrões que servem como parâmetros para a atualização dos pesos na rede.
Para entender um processo de aprendizagem, primeiro deve-se conhecer qual é o paradigma de aprendizado (HAYKIN, 1994), ou seja, qual informação da rede está disponível; segundo devem-se entender as regras de aprendizado, ou melhor, como os pesos da rede são atualizados e finalmente como é o algoritmo de aprendizado, isto é, qual é o procedimento em que as regras de aprendizagem são usadas para ajustar os pesos.
Há três paradigmas de aprendizagem: supervisionado, não supervisionado e híbrido. No aprendizado supervisionado os pesos são determinados para a rede produzir respostas tão próximas quanto possíveis às respostas corretas. No aprendizado não supervisionado não há necessidade de uma resposta correta. A estrutura básica da rede é explorada por meio da correlação entre padrões e organizada em categorias de padrões. O aprendizado híbrido por sua vez combina aprendizado supervisionado e não supervisionado onde parte dos pesos é determinada por meio de um aprendizado supervisionado, enquanto outra parte é obtida por meio de um aprendizado não supervisionado.
Existem quatro tipos básicos de regras de aprendizagem: correção de erros, Boltzmann, Hebbian e aprendizado competitivo. A regra que é utilizada neste trabalho é a regra de correção por erros, onde se busca uma convergência entre limites máximos pré-estabelecidos de erros, apresentam melhores resultados em treinamento de sistemas de potência (CANELOI, 2004).
Regra de aprendizado de Correção por erros
No paradigma de aprendizagem supervisionado a rede fornece uma saída desejada para cada padrão de entrada. Durante o processo de aprendizado uma saída
y
gerada pela rede não pode ser igual a uma saída desejada d. O princípio básico da regrade aprendizagem de correção de erros é usar o sinal de erro (d− y) para modificar os pesos da conexão para gradualmente reduzir este erro.
A regra de aprendizagem do Perceptron é baseada no princípio de correção de
erros. Um Perceptron consiste de um único neurônio com ajustes de pesos,
w
j,n
j=1,2,... , e o limiar (bias)
µ
, como mostra a Figura A-2. Dado um vetor de entradat n
x
x
x
x=(
1,
1,...,
)
, a entrada da rede para o neurônio é dada pela equação (3-2).µ
−
=
= n j j jx
w
y
1 (A-2)A saída dos perceptron é +1se
v>0
, ou 0 caso contrário. Em um problema para classificar duas classes, o perceptron atribui um padrão de entradas para umaclasse se y=1, e para outra classes se y=0. A equação linear (3-3) define a fronteira
de decisão (um hiperplano em um espaço de dimensão n) que divide o espaço.
0
1=
−
=µ
n j j jx
w
(A-3)Rosemblatt (ROSENBLATT, 1962) desenvolveu um procedimento de aprendizagem para determinar os pesos e o limiar em um perceptron, dado um conjunto
de padrões de treinamento. Nota-se que o aprendizado ocorre somente quando o
quando padrões para treinamento são extraídos de duas classes linearmente separáveis, o procedimento de aprendizado do perceptron converge depois de um número finito de
iterações. Este é o Teorema de convergência do perceptron. Na prática, não se sabe quando os padrões são linearmente separáveis. Outras funções de ativação que conduzem para diferentes características de aprendizagem podem ser usadas. Entretanto, uma simples camada do perceptron pode separar padrões linearmente
separáveis contanto que uma função de ativação monotônica1 seja usada.
O algoritmo de aprendizagem backpropagation é também baseado no princípio
da correção de erros.
A.5.2. Algoritmos de aprendizado.
A Tabela A-2 resume vários algoritmos de aprendizagem e sua arquitetura associada. Os paradigmas de aprendizagem supervisionados e não supervisionados empregam regras de aprendizagem baseadas na correção de erros, Hebbian e aprendizado competitivo. As regras de aprendizagem baseadas em correção de erros podem ser usadas para treinar redes de alimentação à diante, enquanto regras Hebbian de aprendizagem são usadas para todos os tipos de arquiteturas de redes. Entretanto, cada algoritmo de aprendizagem é projetado para treinar uma arquitetura específica. Então, quando um algoritmo de aprendizagem é discutido, uma arquitetura de rede em particular está implícita. Cada algoritmo pode executar poucas tarefas de modo adequado. A última coluna da Tabela A-2 lista as tarefas que cada algoritmo pode realizar devido à limitação de espaço.
1 Uma função monotônica pode ser crescente ou decrescente e pode ter vários pontos de
Tabela A-2 - Características de algoritmos de aprendizado mais comuns em RNA (adaptado JAIN et al., 1995).
Algoritmos de aprendizagem conhecidos
Paradigma Regra Arquitetura Algoritmo Tarefas
Correção de erros Perceptron simples ou múltiplas camadas Perceptron Backpropagation Adaline Madaline Classificação de padrões Aproximação de funções Previsão Controle
Boltzmann Recorrentes Boltzmann Classificação de padrões Hebbian Multicamadas alimentação adiante (feedforward) Análise discriminação linear Análise de dados Classificação de padrões Supervisionado
Competitivo Competitivo Vetor de quantificação Categorização em classes Compressão de dados Correção de erros Multicamadas alimentação adiante (feedforward) Projeto de Sammon Análise de dados Alimentação a diante ou competitivo Análise dos componentes principais Análise de dados Compressão de dados Hebbian
Rede Hopfield Memória associativa
Memória associativa Não
supervisionado
Competitivo Competitivo Vetor de quantização Categorização Compressão de dados Híbrida Correção de erros e competitivo
Rede RBF RBF Classificação de padrões Aproximação de funções Previsão; Controle
Algoritmo para Redes multicamadas Alimentadas à Diante
A classe de rede multicamadas alimentadas à diante é o perceptron
multicamadas em que cada unidade emprega também a função de limiar ou função sigmóide. O perceptron de multicamadas pode formar limiares de decisão complexa e
algoritmos de aprendizagem backpropagation, e os pesos em um perceptron
multicamadas fazem estas redes muito populares entre pesquisadores e usuários de RNA.
É denotado
w
ij(l)como o peso da conexão entre a iézima unidade da camada ( -1) para jézima unidade na camada l.
Dado que
{(
(1),
(1)),(
(2),
(2)),...,(
(ρ) (ρ))}
d
x
d
x
d
x
é um conjunto de ρ padrõestreinamento (pares de entrada e saída), onde
x
(l)∈R
n é a entrada do vetor no espaço dimensional de padrões, ed
(i)∈[ ]0,1
m, um hipercubo m-dimensional para propósitos de classificação, m é o número de classes, a função custo dos erros quadrados maisfreqüente usada em RNA na literatura é definida como:
= − = ρ 1 2 ) ( ) ( 2 1 i i i d y E (A-4)
O algoritmo backpropagation (RUMELHART, 1989) é um método de
gradiente-descendente para minimizar função custo dos erros quadrados na Equação (3- 4) conforme Figura A-4.
Figura A-4 - Algoritmo de aprendizado backpropagation.
Cada unidade na primeira camada oculta forma um hiperplano no espaço de padrões. As fronteiras entre classes padrão podem ser aproximadas por hiperplanos. Uma unidade na segunda camada oculta forma uma hiper-região das saídas das unidades da 1ª camada; uma região de decisão é obtida pela execução de uma operação AND nos hiperplanos. As unidades da camada de saída combinam as regiões de decisão feitas pelas unidades da segunda camada oculta pela execução de operações lógicas OR.
Uma rede com duas camadas forma várias fronteiras de decisão e, além disso, as MLP com função de ativação sigmóide podem formar fronteiras de decisão suaves no lugar de fronteiras lineares de variáveis.
Problemas com redes alimentadas à diante
Há muitos problemas no projeto deste tipo de rede:
• quantas camadas são necessárias para uma dada tarefa; • quantas unidades são necessárias por camada;
• como a rede atuará com dados não incluídos no conjunto de treinamento;
(habilidade de generalização); e
• dimensão necessária do conjunto de treinamento para obter uma boa
generalização.
Embora redes alimentadas à diante usando backpropagation sejam muito
empregadas para classificação e funções de aproximação (HERTZ, 1991), vários parâmetros de projeto ainda devem ser determinados por tentativas e erros. Resultados teóricos existentes apenas fornecem poucas linhas gerais para escolher estes parâmetros na prática.
L
ISTA DE
R
EFERÊNCIAS
AES Eletropaulo; A empresa. http://www.eletropaulo.com.br/, 29 de novembro de 2005.
ASHBY, W.R.; Design for a brain. New York, John Wiley, 1952.
BARTO, A.G.; SUTTON, R.S.; ANDERSON, C.W.; Neuronlike adaptive elements that can solve difficult learning control problems. IEEE Transactions on Systems, Man and Cybernetics. v.13, p.34-846, 1983.
BROOMHEAD, D.S.; LOWE, D.; Multi-variable function interpolation and adaptive networks. Complex Systems, v.2, p. 269-303, 1988.
BROWN, R.E.; Electric Power Distribution Reliability. Marcel Dekker, Inc., New York, USA, 2002.
BRUNHEROTO, P. A.; GOUVÊA, M. R.; ROBBA, E. J.; Distribuição Subterrânea: é viável? Anais do II Encontro Técnico de Redes Subterrâneas de Distribuição de Energia Elétrica, São Paulo, 2004.
BURKE, J. J.; Power distribution engineering – fundamentals and applications. Ed. Marcel Dekker, New York, USA, 1994.
CIRED 2005; 18th. International Conference and Exhibition on Electricity Distribution. Cired 2005 Conference Organizers, Turin, Italy, 6-9 June 2005.
COHEN, M.A.; GROSSBERG, S.; Absolute stability of global pattern formation and parallel memory storage by competitive neural networks. IEEE Transaction on Systems, Man, and Cybernetics, b13, p.815-26, 1983.
CPFL – Companhia Paulista de Força e Luz; Transformador de Distribuição Trifásico Pedestal. No. Documento: 3916; Categoria: Instrução; Versão: 1.1; Aprovação: Ronaldo Antônio Roncolatto; Campinas/SP, 24/06/2003.
DAS, R; SACHDEV, M. S.; SIDHU, T. S.; A Fault Locator for Radial Subtransmission and Distribution Lines. IEEE Power Engineering Society Summer Meeting, July 16-20, 2000, Seattle, Washington. 2000.
DEL NERO, R. R., DIAS, D. S.; Desenvolvimento de Protetor Nacional para redes reticuladas de distribuição subterrânea. Sendi 2004 - XVI Seminário Nacional de Distribuição de Energia Elétrica, paper code 109 , Brasília, 2004.
DIAS, D. S.; Manutenção Preventiva e Corretiva em Network Protector: Viabilidade Técnica – Econômica; Anais do II Encontro Técnico de Redes Subterrâneas de Distribuição de Energia Elétrica, São Paulo SP, 2004.
DEMUTE, H.; BEALE, M.; Neural Network Toolbox For Use with Matlab- User´s Guide. Version 4, Release 13, The Math Works Inc., 2002.
DILLON, T.S.; NIEBUR, D.; Neural Networks Applications in Power Systems. CRL Publishing, London, UK, 1995.
DUGAN, R. C.; MCGRANAGHAN, M. F.; SANTOSO, S.; BEATY, H. W.; Electric Power Systems Quality. 2nd Edition, McGraw Hill, 2002.
DUNCAN, B. K.; BAILEY, B. G.; Protection, Metering, Monitoring, and Control of Medium-Voltage Power Systems. IEEE Transactions on Industry Applications, Vol. 40, no 1, Jan/Feb, 2004.
FANNING, R. P.; Implementation of Networked Primary and Secondary Distribution Systems for US Utilities. IEEE, Power Engineering Society General Meeting, 2003, Vol. 4, page 2429.
GARCIA, D. A. A.; PEREIRA, S. L.; SILVA, H. A. P.; GRIMONI, J. A. B.; ARAÚJO Fo., E. D.; Monitoramento de Sistemas Reticulados de Baixa Tensão – Viabilidade Econômica, T&D Latin América 2004 - IEEE-PES, São Paulo, 2004.