Com os dois modelos construídos, foram utilizados todos os conjuntos de dados disponíveis para testá-los.
Foram comparados os resultados dos indicadores de desempenho organizacional realizados, com as respectivas saídas das SEM I e II, bem como das diversas RNA elaboradas.
Para tanto, foram calculadas as diferenças entre os valores estimados por ambos os modelos e os valores observados, obtendo-se, por meio do desvio-padrão, uma indicação do quanto as estimativas de determinado modelo se distanciavam do valor real.
A Tabela 27 ilustra o resultado destes cálculos para a SEM I, enquanto a Tabela 28 faz o mesmo para a SEM II.
Tabela 27 – Comparação entre os modelos SEM I e RNA (amostra completa) Indicador usado como variável
dependente
Desvio Padrão das previsões da
SEM I
Desvio Padrão das previsões da RNA
Rentabilidade sobre o ativo atual 6,25 1,81 Valor de mercado atual 3.079 779
Tabela 28 – Comparação entre os modelos SEM II e RNA (amostra completa) Indicador usado como variável
dependente
Desvio Padrão das previsões da
SEM II
Desvio Padrão das previsões da RNA
Lucro líquido atual 751.891 44.390 Rentabilidade sobre o ativo atual 4,32 1.11 Valor de mercado atual 1.791 349
Rentabilidade sobre o ativo futuro 11,54 1.81 Valor de mercado futuro 2.553 414
Fonte: Dados da pesquisa
Percebe-se que as RNAs conseguem prever resultados de desempenho mais próximos dos valores observados dos que as SEMs. Isto ocorre mesmo no caso das RNAs que não passaram na fase de treinamento e/ou de teste da rede.
Este resultado pode estar sendo distorcido devido ao fato de ter sido usado todo o conjunto de dados para fazer a comparação entre os modelos. Isto é, os dados utilizados para treinamento das redes também foram contemplados.
Para analisar até que ponto a presença destes dados pode estar influenciando a efetividade das estimativas, foi feito um novo cálculo, mas considerando as previsões apenas dos conjuntos de dados que foram utilizados para teste da rede.
Os resultados podem ser visualizados nas Tabelas 29 e 30, para os modelos SEM I e II, respectivamente. No caso da SEM I, foram considerados 32 casos dos 161 que compõem a amostra original. No caso da SEM II, foram considerados 33 casos dos 166 que compõem a amostra original.
Tabela 29 – Comparação entre os modelos SEM I e RNA (amostra parcial) Indicador usado como variável
dependente
Desvio Padrão das previsões da
SEM I
Desvio Padrão das previsões da RNA
Rentabilidade sobre o ativo atual 7,45 3,34 Valor de mercado atual 2.453 1.679
Fonte: Dados da pesquisa
Tabela 30 – Comparação entre os modelos SEM II e RNA (amostra parcial) Indicador usado como variável
dependente
Desvio Padrão das previsões da
SEM II
Desvio Padrão das previsões da RNA
Lucro líquido atual 583.354 95.220 Rentabilidade sobre o ativo atual 4,82 2,37 Valor de mercado atual 1.607 730 Rentabilidade sobre o ativo futuro 7,66 2,11 Valor de mercado futuro 1.562 941
Fonte: Dados da pesquisa
Percebe-se que, mesmo considerando-se apenas os conjuntos de dados utilizados na fase de teste das redes neurais (isto é, desconsiderando-se os conjuntos de dados utilizados para treinamento das mesmas), a variabilidade das previsões oriundas das RNAs continua menor do que as provenientes das SEMs.
Para confirmar a hipótese de que um modelo baseado em redes neurais consegue prever com maior acurácia o desempenho de empresas no siderúrgico brasileiro, quando comparado a um modelo baseado em equações estruturais, foram rodados testes de igualdade de variâncias entre as diferenças das previsões dos dois tipos de modelos (RNA e SEM) em relação aos valores reais observados.
Para comparar as variâncias provenientes dos dois modelos, foi utilizado o teste de Levene147 ao invés do teste F tradicional, já que não se pode garantir a normalidade dos dados. O teste de Levene é uma modificação do procedimento de Levene
(Levene, 1960148 e Brown & Forsythe, 1974149 apud Minitab, 2003), o qual considera a distância das observações em relação à mediana amostral, ao invés da média amostral. O uso da mediana ao invés da média torna o teste mais robusto para amostras pequenas.
Quando se compara a diferença entre as variâncias de todo o conjunto de dados (Tabelas 27 e 28) com o conjunto formado apenas pelos dados utilizados para teste das redes neurais (Tabelas 29 e 30), percebe-se que esta é menor para o segundo conjunto de dados, isto é, a amostra reduzida. Portanto, foi utilizada esta sub- amostra para comparar as variâncias dos resultados, além de que a mesma elimina um eventual viés da rede caso se utilizassem previsões que foram usadas para treinamento da rede ao invés de apenas aqueles usados para teste da mesma.
Para os dois indicadores de desempenho atual baseados na SEM I, as Figuras 50 e 51 ilustram, respectivamente, os resultados do teste de Levene para os indicadores
retorno sobre o ativo e valor de mercado.
148 H. LEVENE. Contributions to Probability and Statistics. Stanford University Press, 1960.
149 M.B. BROWN and A.B. FORSYTHE. Robust Tests for the Equality of Variances. Journal of the American Statistical Association, 69, p. 364-367, 1974.
Figura 50 – Boxplot e resultado da análise de igualdade de variâncias para o indicador retorno sobre o ativo (atual), baseado na SEM I
Fonte: Dados da pesquisa
Figura 51 – Boxplot e resultado da análise de igualdade de variâncias para o indicador valor de
mercado (atual), baseado na SEM I
Fonte: Dados da pesquisa
! " # # $ % & ' # ( & ! " # $ % ) & ( % ! " # # $ % & ' # ( & ! " # $ % *' + ( %
O resultado do dois testes, que apresentam p-values de 0,000 e 0,012, respectivamente, ao nível de significância de 95%, rejeita a hipótese nula de igualdade das variâncias. Desse modo, os dados fornecem evidência suficiente de que as duas amostras têm variâncias diferentes.
Como a variância dos dados provenientes das redes neurais é menor do que a proveniente da SEM I e os testes de Levene mostraram que estas variâncias são diferentes, isso confirma a hipótese inicial desta tese de que um modelo não linear prevê melhor o desempenho das siderúrgicas no mercado brasileiro do que um modelo linear.
Análise similar foi realizada com os três indicadores de desempenho atual baseados na SEM II. As Figuras 52, 53 e 54 ilustram, respectivamente, os resultados do teste de Levene para os indicadores lucro líquido atual, retorno sobre o ativo atual e valor
de mercado atual.
Figura 52 – Boxplot e resultado da análise de igualdade de variâncias para o indicador lucro líquido atual, baseado na SEM II
Fonte: Dados da pesquisa
! " # # $ % & ' # ( &
!
" # $ %
Figura 53 – Boxplot e resultado da análise de igualdade de variâncias para o indicador retorno sobre
o ativo atual, baseado na SEM II
Fonte: Dados da pesquisa
! " # # $ % & ' # ( &
!
" # $ %
Figura 54 – Boxplot e resultado da análise de igualdade de variâncias para o indicador valor de
mercado atual, baseado na SEM II
Fonte: Dados da pesquisa
O resultado dos três testes, que apresentam p-values de 0,000, 0,000 e 0,010, respectivamente, ao nível de significância de 95%, novamente rejeita a hipótese nula de igualdade das variâncias. Desse modo, os dados também fornecem evidência suficiente de que as duas amostras têm variâncias diferentes.
Análise similar foi realizada com os dois indicadores de desempenho futuro baseados na SEM II. As Figuras 55 e 56 ilustram, respectivamente, os resultados do teste de Levene para os indicadores retorno sobre o ativo futuro e valor de mercado futuro.
! " # # $ % & ' # ( &
!
" # $ %
Figura 55 – Boxplot e resultado da análise de igualdade de variâncias para o indicador retorno sobre
o ativo futuro, baseado na SEM II
Fonte: Dados da pesquisa
Figura 56 – Boxplot e resultado da análise de igualdade de variâncias para o indicador valor de
mercado futuro, baseado na SEM II
Fonte: Dados da pesquisa
! " # # $ % & ' # ( & ! " # $ % ) &. ( %% ! " # # $ % & ' # ( & ! " # $ % *' + . ( %%
O resultado dos dois testes, que apresentam p-values de 0,000 e 0,010, respectivamente, ao nível de significância de 95%, novamente rejeita a hipótese nula de igualdade das variâncias. Desse modo, os dados também fornecem evidência suficiente de que as duas amostras têm variâncias diferentes.
Como a variância dos dados provenientes das redes neurais é menor do que a proveniente da SEM II e os testes de Levene mostraram que estas variâncias são diferentes, isto também confirma a hipótese inicial desta tese de que um modelo não linear prevê melhor o desempenho das siderúrgicas no mercado brasileiro do que um modelo linear.
É importante observar que os testes mostraram que mesmo as redes neurais que não passaram nas fases de treinamento e/ou de teste conseguem prever melhor o desempenho das empresas siderúrgicas do que as equações estruturais.