4. Field Case
4.2 Post-Run Analysis Process
A partir do consenso dos analistas, mensalmente calculados para cada empresa, foram levantadas 12.135 observações. Para um determinado consenso (média das estimativas de LPA) é possível identificar a quantidade de estimativas (ou analistas) que participaram do cálculo. De igual modo para cada consenso foi
identificada a variabilidade das estimativas, ou seja, qual foi a dispersão das estimativas que colaboraram para o consenso calculado.
Na literatura internacional certos autores utilizam a mediana das estimativas como sendo a medida de consenso dos analistas. Por opção metodológica, as análises foram realizadas com a média, pois ela reflete com mais precisão a magnitude das estimativas e não, tão-somente, o número destas.
Deve-se ter em mente que, quando se calculam os erros de previsão com base no consenso, implicitamente dá-se a mesma importância a todos os analistas. Por conseguinte, independente da origem e de seu desempenho passado, todos as estimativas têm o mesmo peso para efeito do cálculo do consenso.
Após apurados os erros de previsão dos analistas no período objeto de estudo, constataram-se valores muito díspares, indicando eventuais erros de digitação na base de dados. Para sanar o referido problema foi aplicando o teste de GRUBB para detectar outliers18, discutido por MARTINS (2002: 59). Com base no
procedimento aplicado, foram excluídas 30 observações, restando a amostra total de consenso com um montante de 12.105 observações. Para uma identificação das empresas e as observações de consenso que fizeram parte desta análise verificar o Anexo A.
Para efeito de apurar os valores médios dos erros de previsão, trabalhou- se com os seguintes conceitos:
A MEP (Média dos Erros de Previsão) ficou sendo a medida utilizada para verificar, eventualmente, a existência de um viés. Se o MEP indica um valor negativo, significaria que, em termos médios, os erros de previsão são negativos (surpresa negativa), indicativos de que as previsões foram maiores que os resultados apurados. O MEP negativo e significativo constitui, portanto, uma
18 Nos trabalhos de coleta de dados podem ocorrer observações que fogem às dimensões
esperadas – os outliers. Como procedimento metodológico para detectá-los, foi apurado o escore padronizado (Zi) e considerado como sendo outliers as observações cujos os escores, em valor absoluto, fossem maiores de que 3. Todas as observações excluídas por esse procedimento eram erros de previsão negativas. O que indica que a exclusão não compromete as conclusões das observações empíricas.
evidência de um viés otimista nas previsões. O MEP é calculado conforme a fórmula a seguir, onde n representa os número de Erros de Previsão (ErrPrev) utilizados no cálculo.
? ?
?
? ? n i ev Err x n MEP 1 Pr 1A precisão é estimada na razão inversa do desvio padrão da distribuição dos erros de previsão (ErrPrev). Portanto, quanto menor o desvio padrão apurado, mais precisas seriam as estimativas dos analistas. Em termos algébricos, a proxy de precisão foi assim calculada:
?
?
? ?
1 Pr . . 1 2 ? ? ??
? n MEP ev Err P D n i iPara efeito de se estimar a acurácia, procurou-se apreciar a distribuição de erros que, em termos absolutos, ficavam mais próximos de zero. Ou seja, tratando-se o erro de previsão, do mesmo modo, independente de ser positivo ou negativo. Observe-se que na avaliação da acurácia todos os erros são considerados. Para efeito de estimar o viés, erros positivos se anulam com erros negativos de mesma magnitude.
A variável usada para apurar a acurácia foi a MEPA (Média dos Erros de Previsão Absolutos): quanto mais distante de zero fosse o valor da MEPA, maior teria sido o montante de erros de previsão computados.
? ?
?
? ? n i ev Err x n MEPA 1 Pr 1Usando as métricas discutidas como proxies para Viés, Precisão e Acurácia, passou-se a analisar a distribuição dos erros de previsão dos analistas.
Testes de Estatística t foram usados para testar a hipótese nula de que a média dos erros de previsão (MEP) seria diferente de zero. Para atestar que os
resultados apurados não foram comprometidos pela escala utilizada para deflacionar os erros de previsão, foram apresentados os sinais dos erros de previsão. Algumas estatísticas descritivas são apresentadas na Tabela 1.
Os dados levantados da análise do consenso dos analistas sinalizam um predomínio estatisticamente superior de erros de previsão negativos (58,78%) sobre erros de previsão positivos (41,22%). No Painel A, ficou registrada a média da distribuição dos erros de previsão dos analistas, apurando-se um valor significativamente negativo de -1,1147 (estatística t = -20,016). Do mesmo modo, a mediana foi negativa num valor expressivo de -0,1439.
Para compreender melhor a distribuição dos erros de previsão se analisou a distribuição em termos de percentis. Nessa análise ficou transparente uma particularidade dessa distribuição: a extremidade negativa é mais alongada que a extremidade positiva. Intuitivamente, isso significa que predominam erros de previsão extremos (caudas) que têm a natureza de “ex-post” otimistas.
Para ter um senso da assimetria nas extremidades observe-se no Painel B da Tabela 1, que o percentil 5 (erros de previsão negativos – extremos) é aproximadamente 5 vezes o valor observado para o percentil 95% (-4,552 vs. 0,820). Alternativamente foi verificado que 25% das observações se encontram abaixo de um erro de previsão de -1,0. Entretanto, o número é de apenas 2,5% para previsões acima de um erro de previsão positivo na mesma magnitude (não está registrado nas tabelas).
Uma análise mais aprofundada da distribuição revela outra característica digna de nota. No Painel C da Tabela 1, onde se registra a razão entre os erros de previsão positivos e negativos entre intervalos simétricos da distribuição, constata-se que essa razão vai aumentando sistematicamente à medida que se aproxima dos pontos centrais da distribuição. Esses dados destacam que, em torno do valor de erro de previsão zero (LPA previsto igual a LPA efetivo), predominam os erros de previsão positivos (ex-post pessimista) sobre os erros de previsão negativos (ex-post otimista), num nítido perfil de assimetria que aqui se denomina de assimetria central.
Tabela 1
Estatísticas descritivas para o consenso dos analistas para o LPA do exercício seguinte, apurado mensalmente, entre Jan 1995 e Jun 2003
Esta tabela proporciona estatísticas descritivas da distribuição de freqüências dos erros de previsão dos analistas para o LPA (Lucro por Ação) do período seguinte, computados a partir das informações do I/B/E/S no período de Jan-1995 a Jun-2003. O Painel A registra a média, mediana e outras estatísticas para os erros de previsão positivos e negativos. O Painel B evidencia os percentis da distribuição dos erros de freqüência. O Painel C reporta a razão entre os erros de previsão positivos e negativos.
Painel A: Estatísticas da distribuição dos erros de previsão
Todos os Erros Erros Positivos Erros Negativos
N (observações) 12.105 4.990 7.115 Porcentagem (%) 100% 41,22% 58,78% MEP -1,1147 0,6189 -2,3306 Mediana – P 50 -0,1439 0,26310 -0,83138 Desvio Padrão 6,1275 2,99689 7,34842 Skewness -8,893 17,804 -9,211 Kurtosis 142,910 376,164 102,611 Mínimo -110,0 0,0 -110,0 Máximo 79,6 79,667 -0,0001 MEPA 1,6249 0,6189 2,3306
Est. t para a dif. MEP de Zero t = -20.016
Painel B: Estatísticas da "assimetria nas extremidades" da distribuição dos erros de previsão
P 5 -4,5520 P 10 -2,3499 P 25 -1,0068 P 75 0,1939 P 90 0,5180 P 95 0,8207
Painel C: Estatísticas da "assimetria central" da distribuição dos erros de previsão
Intervalo de Erros de
Previsão Razão entre os Erros de Previsão Positivos e os Negativos % do Total do Número de Observações
Total 0,701 100,00% [-0,2; 0) & [0; 0,2) 1,427 28,00% [-0,4; -0,2) & [0,2; 0,4) 1,572 17,41% [-0,6; -0,4) & [0,4; 0,6) 0.991 11,45% [-0,8; -0,6) & [0,6; 0,8) 0,655 7,47% [-1,0; -0,8) & [0,8; 1,0) 0,564 7,77% [-2,0; -1,0) & [1,0; 2,0) 0,090 14,09%
Para visualizar melhor as assimetrias (na extremidade e no centro) existentes na distribuição dos erros de previsão, apresenta-se um histograma na
Figura 6. Indo da esquerda para a direita encontramos a variação dos erros de
previsão negativos para positivos. Para plotar o histograma empírico, escolheu-se o tamanho das barras com base nas recomendações extraídas no manual de DAVID SCOTT (1992: 75) - “Multivariate Density Estimatiom: Theory, Practice and
Visualization”19.
Figura 6
Histograma da distribuição dos erros de previsão do consenso dos analistas para o LPA anual, entre -3,0 e 3,0
Distribuição dos Erros de Previsão do Consenso dos Analistas para o LPA, observações Mensais, Jan-95 a Jun-03, computados a partir das informações do I/B/E/S. No eixo horizontal encontram- se os erros de previsão medidos em termos do LPA efetivo. No eixo vertical registra-se a porcentagem das observações encontradas numa determinada barra. Ao lado são apresentadas algumas estatísticas da distribuição de erros de previsão.
19 Segundo o referido autor, a Largura da Barra deve ser calculada aplicando-se a seguinte
fórmula: Larg = 2,603 x (IQ) X n(-1/3), onde IQ é o intervalo inter-quartílico e n é o número de observações disponíveis. MEP = - 1,1147 Mediana = - 0,144 Desv.Padr. = 6,127 MEPA = 1,6249 N = 12.105 -2.0 -1.0 0.0 1.0 2.0 Err-Prev 2% 4% 6% 8% Percentagem
A análise do histograma confirma a presença das duas assimetrias referidas anteriormente. No tocante à assimetria de extremidade, percebe-se que nos pontos mais extremos (longe do ErrPrev = 0) predominam os erros de previsão negativos. No que se refere à assimetria central, é visível o predomínio de pequenos erros de previsão positivos sobre os pequenos erros de previsão negativos.
A visível assimetria de extremidade contribui significativamente para a presença de uma média de erros de previsões negativas, ainda que se reconheça que a presença da assimetria central opera do sentido de mitigar essa tendência ex-post de erros de previsão otimistas. As particularidades dessa distribuição suscitam várias questões que exigem uma análise mais detalhada para compreensão do que efetivamente esta ocorrendo.
A simples observação da distribuição, e de suas estatísticas associadas, pode nos conduzir à opinião de que os analistas são ex-post otimistas. Ou seja, as suas previsões são predominantemente maiores que os lucros efetivamente apurados.
A análise do consenso em termos mensais produziu resultados interessantes. Entretanto, ao agregar vários consensos de analistas mensais, pode-se estar incorrendo em falhas na análise. Intuitivamente, sabe-se que os erros de previsão do consenso dos analistas, em julho, devem estar correlacionados com os erros de previsão do consenso de dezembro. Essa correlação entre erros de previsão de consenso em diferentes períodos pode estar determinando o resultado. A preocupação com esse aspecto demanda que se analise a influência do aspecto temporal sobre a precisão das estimativas dos analistas e a escolha de um consenso, para ser aplicado em futuras análises.