Para saber até que ponto minha análise concorda com a de outra pessoa, foi preciso calcular o interAnotadora agreement entre as analistas (no caso anotadora A e anotadora B). Esse cálculo é chamado de Kappa e foi feito no SPSS. Para fazer isso, preciso preencher uma planilha no Excel. A planilha tem colunas que correspondem aos critérios de análise, na horizontal (para a anotadora A) e na vertical (para a anotadora B). O objetivo foi preencher a planilha na confluência das colunas da minha análise com a da anotadora B.
Esses critérios observados por anotadora A e anotadora B foram tabulados da seguinte forma:
Tabela 12: Planilha de codificação para análise de concordância entre anotadores em relação ao critério da mediação na aula com o léxico fecha
(Anotadora B) Critérios Mediação 1 2 3 4 5 6 7 8 9 10 11 12 (Anotadora A) 1 2 1 1 2 1 2 2 3 4 1 18 1 2 12 2 1 2 1 5 6 2 3 22 2 3 21 4 1 9 12 1 7 3 3 22 1 3 19 4 1 9 12 1 8 9 3 2 2 1 7 2 7 12 10 11 1 8 12
O que pode ser observado tanto nas matrizes anterior como na seguinte é que as linhas correspondem aos critérios apontados por mim (anotadora A) e as colunas correspondem aos critérios apontados pela pesquisadora convidada (anotadora B). As interseções vão sendo somadas, como por exemplo, em relação aos critérios de mediação, por vinte e duas vezes eu acreditei que o critério observado era o sexto enquanto a anotadora B acreditava observar o terceiro critério. Para exemplificar, note- se que ambas as analistas apontamos, por exemplo, o sexto critério conjuntamente por vinte e uma vezes, ou seja, as duas anotadoras concordamos vinte e uma vezes, mas discordamos muitas vezes mais, pois as células correspondentes às escolhas divergentes somam mais do que 21 (somente a minha opção 6 com a opção 3 da Anotadora B somam vinte e duas ocorrências). Em suma, parece haver discordância entre as duas analistas.
Já em relação aos critérios de interação apresentados na tabela seguinte é possível observar que ambas as analistas apontamos o quarto critério, conjuntamente, por vinte e duas vezes, mas ao mesmo tempo encontramos divergência muito mais freqüentemente, bastando para isso verificar as diferentes escolhas da Anotadora B quando eu marquei o critério 4 e vice-versa.
Tabela 13: Planilha de codificação para análise de concordância entre anotadores em relação ao critério da interação na aula com o léxico fecha
(Anotadora B) Critérios Interação 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 (Anotadora A) 1 1 1 1 2 1 1 1 2 17 17 3 5 4 2 2 4 2 1 3 1 16 3 2 1 4 1 5 22 1 1 2 1 10 2 5 6 1 1 1 7 8 1 4 2 6 9 1 1 1 1 1 3 10 11 1 1 12 1 1 3 5 1 3 1 2 1 2 1 13 14 1 4 1 8 15 16
Idealmente, essas duas matrizes deveriam ter dados somente na diagonal descendente, ou seja, apenas nas células em que houvesse concordância (critério 1 da anotadora A sempre como critério 1 da anotadora B, e assim por diante). Como isso não ocorreu, ou seja, há dados espalhados em muitas posições da matriz, foi preciso calcular o nível de concordância para então poder tomar uma decisão sobre qual curso tomar na análise.
Dessa forma, para saber até que ponto minha análise concordava com a de outra pesquisadora (aqui representada pela anotadora B), calculou-se o interAnotadora agreement entre as analistas. Para que esse cálculo fosse feito, precisei preencher as planilhas com os critérios de mediação e de interação para as quatro aulas discutidas nesta pesquisa. O objetivo foi preencher a planilha na confluência das colunas da minha análise (anotadora A) com a da outra analista (anotadora B).
Cabe informar que o SPSS (Statistical Package for the Social Sciences) versão 17 permite a importação da planilha do Excel com os dados da pesquisa, da forma como descrevi anteriormente e os converte automaticamente para a forma utilizada pelo programa (extensão. sav).
Os comandos de SPSS usados para calcular Kappa aparecem abaixo, referentes aos dados de interação da aula sobre ‘fecha’. As demais análises seguem os mesmos comandos.
DATASET ACTIVATE DataSet1. DATASET CLOSE DataSet6. GET DATA /TYPE=XLS /FILE='/Users/tony/Documents/Orientacao/Cris/spss/resultado interacao FECHA.xls' /SHEET=name 'Plan1' /CELLRANGE=full /READNAMES=on /ASSUMEDSTRWIDTH=32767. WEIGHT BY Count_A. CROSSTABS /TABLES=AnotadoraB BY AnotadoraA /FORMAT=AVALUE TABLES /STATISTICS=CHISQ KAPPA /CELLS=COUNT
/COUNT ROUND CELL.
Em seguida, o SPSS calculou a estatística e mostrou o resultado de Kapa para as análises A e B destinadas à aula com o uso do léxico fecha, conforme mostra a tabela a seguir (traduzida do inglês por mim):
Tabela 14: Medidas simétricas na análise da aula sobre fecha Valor Asymp. Std. Errora Approx. Tb Approx. Sig.
Medida de Concordância Kappa ,254 ,035 9,897 ,000
Número de Casos Válidos 194
Usei o programa SPSS para calcular o valor de Kappa em 194 casos válidos anotados para a aula com o item lexical fecha, que é interpretado como o grau de concordância entre dois analistas trabalhando nos mesmos dados, ou seja, para 79 turnos da aula, como as anotadoras por vezes apontaram mais de um critério de interação observado por turno, o número de interseções entre critérios da anotadora A e da anotadora B é de 194. A interpretação dos valores de cada segue a escala apresentada na tabela a seguir.
Tabela 15: Valores de Concordância Kappa, segundo Landis & Koch (1977)
Pobre Desprezível Desejável Moderado Substancial Excepcionais
0.0 0.20 0.40 0.60 0.80 1.0
A tabela acima mostra como interpretar os valores de Kappa. Por exemplo, se o valor de Kappa estiver entre 0.8 e 1.0 (o máximo possível), então podemos interpretar que a concordância entre os anotadores foi ‘substancial’.
Como uma regra geral, a maioria dos estatísticos prefere que os valores Kappa sejam pelo menos iguais a 0,6. No exemplo anterior, o valor de Kappa obtido para a anotação da aula sobre fecha foi 0,254, o que pode ser considerado ‘desprezível’. Ou seja, houve mais discordância do que concordância entre as anotadoras.
Os resultados obtidos de forma geral, isto é, para todos os turnos analisados nas quatro aulas, foram:
a) em relação aos critérios de mediação: Kappa 0.080 p<0.000. b) em relação aos critérios de interação: Kappa 0.235 p<0.000.
A interpretação a que se pode chegar com a observação desses resultados é que os valores de Kappa são baixos. O valor mínimo desejado é 0.600. Ou seja, as duas analistas discordaram mais do que concordaram, na análise. Houve mais discordância em relação aos critérios da mediação.
Esses resultados exigiram uma outra rodada de anotação dos dados, desta vez em conjunto entre as duas anotadoras, para garantir maior confiabilidade, conforme descrito a seguir.