Ainda com relação às definições de avaliação dos alunos (dimensões subjacentes nas respostas da parte complementar do SCoA - 12 tipos de atividades avaliativas), analisamos os índices de ajuste de três modelos: o modelo de quatro fatores encontrado no procedimento exploratório do Escalonamento Multidimensional (Kruskal stress= .08; R2 = .97) - informal/controle do aluno, informal/controle do professor, formal/controle do aluno, formal/controle do professor; um modelo alternativo de três fatores - informal/controle do professor, formal/controle do aluno, formal/controle do professor; o modelo de dois fatores encontrado por Brown et al. (2009) - formal e informal.
O software MPLUS versão 3.11 foi utilizado para realizar a Análise Fatorial Confirmatória (AFC) do SCoA. O método de Máxima Verossimilhança, que é o estimador padrão do MPLUS, assume uma normalidade multivariada. No entanto, esse pressuposto é violado com o SCoA, que contém itens do tipo Likert de seis pontos e variáveis dicotômicas em sua parte complementar. Então, a AFC foi conduzida usando um estimador robusto do MPLUS para a análise de indicadores categóricos denominado Mean and variance-adjusted weighted least squares estimator20 (WLSMV). Nesse ponto, fazemos uma crítica ao trabalho do autor original do SCoA. Brown utilizou em suas análises, até o presente momento, o programa AMOS (pacote complementar do SPSS) que não possui estimadores robustos para variáveis categóricas e usa correlação de Pearson para as análises. Assim, o MPLUS apresenta uma série de vantagens sobre outros programas e é considerado um dos melhores softwares atualmente, principalmente para variáveis latentes.
A fim de avaliar o ajuste do modelo, a estatística qui-quadrado, o índice de ajuste comparativo (CFI), o índice de Tucker-Lewis (TLI), o índice gamma hat, a raiz do erro quadrático médio de aproximação (RMSEA) e a raiz do resíduo quadrático médio padronizado (SRMR) foram avaliados (FAN; SIVO, 2007).
A solução com quatro fatores encontrada no EM foi inadmissível na AFC. A TAB. 3 indica os valores encontrados para as respostas ao SCoA brasileiro.
20
Nesse trabalho, foi utilizado para a tradução dos termos estatísticos um glossário elaborado por Ravagnani e Catelan (2002) e livros de estatística em português. Não foram encontradas, entretanto, as traduções para todas as expressões. Por isso, alguns termos são apresentados em inglês.
TABELA 3
Comparação de índices de ajuste dos modelos da AFC: Definições de avaliação
Modelos 2 gl CFI TLI Gamma
hat RMSEA SRMR
2 fatores 205.489 36 .91 .91 .96 .079 .105
3 fatores 176.762 34 .92 .92 .97 .075 .100
Nota: Todos os valores 2 foram estatisticamente significantes (p < . 0000).
O valor do qui-quadrado encontrado por meio do estimador robusto Mean and variance-adjusted weighted least squares estimator (WLSMV) não pode ser usado para testes de diferença de qui-quadrado da maneira convencional. Nesse caso, o manual do programa MPLUS recomenda rodar um teste de diferença de qui-quadrado ajustado (MUTHÉN; MUTHÉN, 2006). O resultado do teste foi (χ2 = 27.184, p < . 0000), indicando que o modelo com três fatores melhora o ajuste do modelo de maneira estatisticamente significante quando comparado ao modelo de dois fatores. Além disso, acreditamos que o modelo de três fatores é mais consistente do ponto de vista teórico. Ele permite captar melhor a complexidade de algumas atividades avaliativas do ensino superior brasileiro (ex: o professor aplica prova em dupla).
A estatística qui-quadrado do modelo de três fatores foi significante. Entretanto, como já discutimos, a estatística qui-quadrado é sensível a erros de especificação do modelo muito pequenos se o tamanho da amostra é grande. Quatro índices sugerem um bom ajuste do modelo (CFI= .92; TLI = .92; gamma hat = .97; RMSEA = .075). Juntos esses índices sugerem que as respostas ao SCoA brasileiro se ajustam muito bem à estrutura fatorial de três fatores.
Aqui, uma questão precisa ser explicitada: encontrar um bom ajuste do modelo
como esse, não significa provar empiricamente que esse modelo está “correto”. Ou seja,
existe a possibilidade de ajustar modelos diferentes com índices de valores muito próximos ou iguais. Essa ponderação sobre o ajuste estatístico de um modelo vale para todos os resultados do presente trabalho. Tal ponderação evidencia a importância de escolher variáveis e modelos por meio de teoria e pesquisas anteriores.
As cargas fatoriais padronizadas de todos os itens relacionados às definições de avaliação do SCoA brasileiro são apresentadas na TAB. 4.
TABELA 4
Cargas fatoriais padronizadas dos itens do SCoA Brasileiro: Definições de avaliação Informal controle professor Formal controle aluno Formal controle professor Item Carga Item Carga Item Carga
B .59 F .84 A .70 C .68 H .98 E .76 D .47 I .74
G .60 J .70
L .66 K .60
Como indicado na TAB. 4, a maioria dos itens teve cargas fatoriais altas (especialmente os itens do fator Formal/controle do aluno). Esses resultados evidenciam também um ponto passível de crítica que merece ser pensado em pesquisas futuras. Após a AFC, o fator “Formal/controle do aluno” ficou somente com dois itens. De um ponto de vista técnico, não é muito adequado ter um fator só com dois itens. Por isso, recomendamos que novos itens sejam incluídos nesse fator em futuras análises.
Quanto à consistência interna, os fatores apresentaram valores variando entre
moderado e bom (Informal/controle do professor, Cronbach α = .55; Formal/controle do aluno, Cronbach α = .76; Formal/controle do professor, Cronbach α = .65). No entanto,
como já destacamos anteriormente, a AFC proporciona um indicador mais robusto da qualidade do instrumento porque leva em consideração ao mesmo tempo correlações, covariâncias e resíduos.
As correlações entre os fatores foram: “informal/controle professor” e “formal/controle professor”, r = .23; “informal/controle professor” e “formal/controle aluno”, r = .14; “formal/controle aluno” e “formal/controle professor”, r = .81. Os valores baixos das correlações entre os fatores “formal” e “informal” indicam que essas
duas dimensões são claramente distintas. Também merece destaque o fato das duas
correlações serem positivas. Já a correlação entre os fatores “formal/controle aluno” e “formal/controle professor” foi alta. Esse valor poderia ser esperado porque os dois
6.3 - Concepções de avaliação
Relatamos a seguir os resultados do SCoA sobre as concepções de avaliação.