As primeiras extensões da rede de Elman a serem propostas envolvem a arquitetura original com uma camada oculta. Em seguida, são descritas as extensões da rede de Elman para uma arquitetura com duas camadas ocultas.
7.3.1 Redes com Uma Camada Oculta
A rede de Elman original realimenta, para as unidades de contexto, as saídas dos neurônios ocultos no instante anterior (n − 1). A extensão aqui proposta realimenta as derivadas das saídas (funções de ativação) dos neurônios da camada oculta no instante n − 1. A principal razão para realimentar as derivadas é que a derivada é uma fonte de informação da dinâmica do sistema, que pode reter informação temporal no laço de realimentação ao longo do tempo.
Matematicamente, o vetor de contexto passa a ser definido como xc(n) = [xc
1(n) xc2(n) ··· xcq(n)]T ∈ Rq (7.11)
= [v′1(n − 1) v′2(n − 1) ··· v′q(n − 1)]T,
em que a derivada da função de ativação tangente hiperbólica do i-ésimo neurônio oculto é calculado por, no instante n,
v′i(n) =1 2 1 − v2i(n) , (7.12)
sendo a saída vi(n) calculada conforme a Equação (7.3). Esta extensão da rede de Elman será
denotada doravante de
D-Elman(dE+ q, q, 1),
onde o prefixo D é para lembrar que as derivadas das funções de ativação dos neurônios ocultos são realimentadas para as unidades de contexto. A Figura 38 exibe, simplificadamente, esta variante da rede de Elman, onde o bloco φ′representa as derivadas das funções de ativação dos
neurônios ocultos. q q dE 1 z-1 z-1 z-1 z-1 d + qE q q dE 1 z-1 z-1 z-1 z-1 d + qE ϕ
ʹ
Figura 38 – D-Elman(dE+q, q, 1), rede de Elman com realimentação das derivadas das ativações
da camada oculta.
7.3.2 Redes com Duas Camadas Ocultas
Com duas camadas ocultas, pode-se escolher a partir de qual camada oculta reali- mentar as saídas (ou suas derivadas) dos neurônios. Isto posto, quatro variantes são propostas:
• (i) realimentar as ativações da primeira camada oculta para as unidades de contexto, • (ii) realimentar as derivadas das ativações da primeira camada oculta para as unidades de
contexto,
• (iv) realimentar as derivadas das ativações da segunda camada oculta para as unidades de contexto.
(i) Realimentando as Ativações da 1aCamada Oculta: Esta extensão da rede de Elman será
denotada por
Elman(dE+ q1, q1,q2, 1),
onde q1(q2) simboliza o número de neurônios da primeira (segunda) camada oculta. O vetor de
contexto passa a ser definido como xc(n) = [xc
1(n) xc2(n) ··· xcq1(n)] T
∈ Rq1 (7.13)
= [v1(n − 1) v2(n − 1) ··· vl(n − 1) ··· vq1(n − 1)]T,
em que vl(n − 1) é a saída do l-ésimo neurônio da primeira camada oculta, no instante n − 1. A
Figura 39(a) traz um esquema ilustrativo da arquitetura da rede Elman(dE+ q1, q1,q2, 1).
(a) d + qE 1 q1 q2 dE q1 1 z-1 z-1 z-1 z-1 z-1 z-1 (b) d + qE 1 q1 q2 dE q1 1 z-1 z-1 z-1 z-1 z-1 z-1 (c) d + qE 2 q2 q2 dE q1 1 z-1 z-1 z-1 z-1 (d) d + qE 2 q2 q2 dE q1 1 z-1 z-1 z-1 z-1 ϕʹ
Figura 39 – Variantes da rede de Elman. (a) Elman(dE+ q1, q1,q2, 1), (b) D1-Elman(dE+ q1,
q1,q2, 1), (c) Elman(dE+ q2, q1,q2, 1), (d) D2-Elman(dE+ q2, q1,q2, 1).
A ativação do i-ésimo neurônio da primeira camada oculta da rede Elman(dE+ q1,
q1,q2, 1) é definida como u(1)i (n) = dE
∑
j=1 w(1)i j (n)xj(n) + q1∑
l=1 wcil(n)xcl(n) − θi(1)(n), i= 1, . . . , q1, (7.14)em que w(1)i j é o peso que conecta a j-ésima unidade de entrada ao i-ésimo neurônio da primeira camada oculta, wc
il é o peso que conecta a l-ésima unidade de contexto ao i-ésimo neurônio da
Assim, para a rede de Elman com q1neurônios na primeira camada oculta, as saídas
destes neurônios são dadas por
vi(n) = φ [u (1) i (n)] = 1 − exp{−u(1)i (n)} 1 + exp{−u(1)i (n)} , i= 1, . . . , q1, (7.15)
em que u(1)i denota a ativação do i-ésimo neurônio da primeira camada oculta.
A ativação do k-ésimo neurônio da segunda camada oculta é definida como u(2)k (n) =
q1
∑
i=1w(2)ki (n)vi(n) − θk(2)(n), k= 1, . . . , q2, (7.16)
em que w(2)ki é o peso que conecta o i-ésimo neurônio da primeira camada oculta ao k-ésimo neurônio da segunda camada oculta e θk(2)(n) é o limiar do k-ésimo neurônio da segunda camada oculta.
A saída do k-ésimo neurônio da segunda camada oculta é dado por
zk(n) = φ [u(2)k (n)] = 1 − exp{−u
(2) k (n)}
1 + exp{−u(2)k (n)}
, k= 1, . . . , q2, (7.17)
em que u(2)k denota a ativação do k-ésimo neurônio da segunda camada oculta. A ativação do único neurônio de saída é calculado da seguinte forma a(n) =
q2
∑
k=1mk(n)zk(n) − θ(3)(n), (7.18)
em que mk é o peso que conecta a saída do k-ésimo neurônio da segunda camada oculta ao
neurônio de saída.
Por fim, a saída é definida como
y(n) = φ [a(n)]. (7.19)
(ii) Realimentando as Derivadas das Ativações da 1a Camada Oculta: Esta extensão da
rede de Elman será denotada por
D1-Elman(dE+ q1, q1,q2, 1),
em que o prefixo D1indica que as derivadas das funções de ativação dos neurônios da primeira
camada oculta é que devem ser realimentadas para as unidades de contexto. O vetor de contexto passa a ser definido como
xc(n) = [xc
1(n) xc2(n) ··· xcq1(n)] T
∈ Rq1 (7.20)
em que v′
l(n − 1) é a derivada da função de ativação do l-ésimo neurônio (l = 1,··· ,q1) da pri-
meira camada oculta, no instante n − 1. Na Figura 39(b) mostra-se uma ilustração da arquitetura D1-Elman(dE+ q1, q1,q2, 1).
Para a rede D1-Elman(dE+ q1, q1,q2, 1), a formulação matemática é a mesma
da rede Elman(dE+ q1, q1,q2, 1), exceto pela redefinição do vetor de contexto como está na
Equação (7.20).
(iii) Realimentando as Ativações da 2a Camada Oculta - Esta extensão da rede de Elman
será denotada por
Elman(dE+ q2, q1, q2, 1),
onde q1(q2) simboliza o número de neurônios da primeira (segunda) camada oculta. O vetor de
contexto passa a ser definido como xc(n) = [xc
1(n) xc2(n) ··· xcq2(n)] T
∈ Rq2 (7.21)
= [z1(n − 1) z2(n − 1) ··· zl(n − 1) ··· zq2(n − 1)]T,
em que zl(n − 1) é a saída do l-ésimo neurônio (l = 1,··· ,q2) da segunda camada oculta, no
instante n − 1. A Figura 39(c) exibe a arquitetura da rede Elman(dE+ q2, q1, q2, 1).
A ativação do i-ésimo neurônio da primeira camada oculta da rede Elman(dE+ q1,
q1,q2, 1) é definida como u(1)i (n) = dE
∑
j=1 w(1)i j (n)xj(n) + q2∑
l=1 wcil(n)xcl(n) − θi(1)(n), i= 1, . . . , q1, (7.22)em que w(1)i j é o peso que conecta a j-ésima unidade de entrada ao i-ésimo neurônio da primeira camada oculta, wc
il é o peso que conecta a l-ésima unidade de contexto ao i-ésimo neurônio da
primeira camada oculta e θi(n) é o limiar do i-ésimo neurônio da primeira camada oculta. É
importante ressaltar que a única diferença da Equação (7.22) para a Equação (7.14) da rede Elman(dE+ q1, q1,q2, 1) é o termo superior do segundo somatório.
As saídas dos neurônios da primeira camada oculta são dadas por
vi(n) = φ [u (1) i (n)] = 1 − exp{−u(1)i (n)} 1 + exp{−u(1)i (n)} , i= 1, . . . , q1, (7.23)
As ativações e saídas dos neurônios da segunda camada oculta, bem como a ativação e saída do neurônio de saída são os mesmos da rede Elman(dE + q1, q1,q2, 1), dados pelas
Equações (7.16), (7.17), (7.18) e (7.19), respectivamente.
(iv) Realimentando as Derivadas das Ativações da 2aCamada Oculta: Por fim, esta exten-
são da rede de Elman será denotada por
D2-Elman(dE+ q2, q1, q2, 1),
em que o prefixo D2serve para lembrar que as derivadas das funções de ativação dos neurônios
da segunda camada oculta é que devem ser realimentadas. O vetor de contexto passa a ser definido como xc(n) = [xc 1(n) xc2(n) ··· xcq2(n)] T ∈ Rq2 (7.24) = [z′1(n − 1) z′2(n − 1) ··· z′l(n − 1) ··· z′q2(n − 1)]T, em que z′
l(n−1) é a derivada da função de ativação do l-ésimo neurônio (l = 1,··· ,q2) da segunda
camada oculta, no instante n − 1. Na Figura 39(d) mostra-se uma ilustração da arquitetura D2-
Elman(dE+ q2, q1, q2, 1).
Para a rede D1-Elman(dE+ q2, q1,q2, 1) a formulação matemática é a mesma da
rede Elman(dE+ q2, q1,q2, 1), exceto pela redefinição do vetor de contexto como está na
Equação (7.24).