5. RESULTATDEL
5.4 H VILKEN SAMMENHENG ER DET MELLOM LESEFERDIGHET OG VOKABULAR ?
5.4.3 Drøfting av sammenhengen mellom leseferdighet og reseptivt vokabular i utvalget .77
METODOLOGIA
Este capítulo ocupa-se dos procedimentos metodológicos aplicados ao presente trabalho. A primeira seção classifica o estudo e as que se seguem tratam dos aspectos referentes à seleção dos sujeitos, ao tratamento experimental, à coleta dos dados, ao tratamento estatístico e às limitações do método.
Modelo do Estudo
Uma pesquisa pode ser qualificada quanto aos fins e os meios de investigação (VERGARA, 1998). Em relação aos fins, a pesquisa em questão é exploratória e aplicada. Exploratória porque há pouco conhecimento sistematizado sobre avaliação formativa, principalmente, com suporte na instrução com mediação de alunos. É aplicada, pois possui finalidade prática e é motivada pela necessidade de resolver problemas concretos, no caso, como melhorar o desempenho dos alunos em Matemática.
Ainda, quanto à natureza das variáveis estudadas, a pesquisa pode ser classificada como quantitativa e qualitativa. Quantitativa porque se pretende coletar
dados numéricos junto a um número considerável de pessoas com a utilização de testes para aferir o desempenho, e questionários para medir seu nível de satisfação. Ainda será qualitativa, pois serão utilizadas questões abertas no questionário, além da descrição de observações feitas pela pesquisadora e do registro das impressões dos alunos, durante e após a intervenção, no grupo experimental.
Trata-se de uma pesquisa experimental conduzida por um modelo denominado quase-experimental, o qual se refere à comparação do rendimento de dois grupos de alunos, um submetido ao procedimento da avaliação formativa e o outro sem o referido procedimento. Tratar-se-á, na realidade, de uma replicação do trabalho de Silva (2002), o qual, por sua vez, replicou a pesquisa de Dutra (1977).
Em pesquisa educacional não é fácil, para pesquisadores, empreender experimentos verdadeiros. Falta-lhes o pleno controle experimental sobre as variáveis envolvidas no processo, por exemplo, a randomização, essencial nos experimentos verdadeiros. Assim, essas situações são conhecidas como quase- experimentais e a metodologia empregada pelos pesquisadores recebe o nome de delineamento quase-experimental (CAMPBELL;STANLEY,1963). Os delineamentos quase-experimentais podem ser representados da seguinte forma:
A linha pontilhada separa o diagrama em dois grupos não equivalentes e indica que nos grupos experimental e controle não houve randomização (COHEN; MANION,1994). Isso acontece porque na pesquisa educacional os grupos,
1 O 2 O 3 O O4 X Experimental Controle
normalmente, encontram-se naturalmente reunidos, tais como classes escolares, que podem ser tão semelhantes quanto a situação o exigir, como no caso do estudo em questão. O “X” representa a exposição do grupo experimental a um evento experimental, no caso a avaliação formativa com suporte de alunos tutores, cujos efeitos devem ser medidos. O1 e
3
O referem-se aos resultados obtidos no pré-teste aplicados aos grupos experimental e controle, respectivamente. Enquanto que O2 e
4
O , aos resultados obtidos no pós-teste nos referidos grupos.
Este trabalho apresentará algumas diferenças em relação ao trabalho de Silva (2002), mesmo sendo realizado também na área das ciências exatas – Matemática. Ele será restrito ao âmbito do ensino médio (primeira série), enquanto que aquele foi realizado no ensino superior. Como no trabalho de Silva, o rendimento dos alunos será aferido com base nas categorias da Taxionomia de Bloom e seus colaboradores (1973) – Conhecimento, Compreensão e Aplicação – e, como no estudo aludido, será verificado o nível de satisfação dos alunos com referência ao procedimento de avaliação utilizado. Por fim, observar-se-á o comportamento de alunos em trabalhos de grupo em sala e daqueles que desempenharão a função de tutores para a suplementação da instrução.
O estudo em questão envolve dois grupos cuja composição foi feita por critérios administrativos; por exemplo, idade. Além disso, outros critérios foram empregados, tal como separação de alunos que apresentaram problemas disciplinares na série anterior, nessa escola. Os alunos desses grupos serão controlados quanto ao comportamento de entrada por um teste diagnóstico, submetidos a tratamento e testados em seguida.
Seleção dos Sujeitos
Os participantes do estudo foram alunos regularmente matriculados na primeira série do ensino médio de uma escola privada de ensino fundamental e médio do Distrito Federal. Foram escolhidas duas turmas entre nove existentes. Essa escolha foi feita com base no número de alunos e nos resultados do primeiro bimestre. As duas possuíam, ao final do primeiro bimestre letivo de 2005, o mesmo número de alunos (45) e o mesmo rendimento em Matemática. Por sorteio, uma das turmas foi denominada Grupo Experimental (GE) na qual foi aplicada a avaliação formativa com suporte de alunos tutores e a outra, Grupo Controle (GC) em que o referido procedimento não foi aplicado.
Tratamento Experimental
Os dois grupos GE e GC foram submetidos a um teste diagnóstico (pré-teste) para avaliar seu desempenho em relação a determinados conteúdos a serem ministrados no terceiro e quarto bimestres letivos (semelhança de triângulos e progressões aritméticas). Após esse teste, os dois grupos receberam quatro aulas semanais com o mesmo professor, utilizando o mesmo livro-texto, fazendo os mesmos exercícios sobre os referidos assuntos, durante, aproximadamente, dois meses. Esse período – dois meses – foi em função do estabelecimento de duas unidades de aprendizagem, as quais se constituem nos conteúdos descritos anteriormente: semelhança de triângulos e progressões aritméticas.
Nesse período, o GE recebeu a cada três aulas um teste para verificação do alcance dos objetivos propostos para aquelas aulas. Ao mesmo tempo, foi oferecido suporte na instrução, por meio de alunos tutores, no início e ao final do período de aulas para esse grupo (GE). Durante as aulas, para resolver os exercícios, os alunos dividiam-se em sete grupos cada qual com aproximadamente sete alunos, dos quais um era o tutor. Os grupos não tinham número fixo de alunos, pois poderiam consultar outros tutores de acordo com a afinidade pessoal. Foram realizadas nove semanas de tutoria em sala de aula e em horário complementar – à tarde de 14h às 15h.
Assinala-se, ainda, que as duas turmas tiveram suporte na instrução dado pelo professor, equivalente a uma hora-aula semanal, em turno contrário. Esse auxílio, de caráter administrativo, constitui-se o “plantão de dúvidas” oferecido pela escola a todas as turmas, da quinta série do ensino fundamental ao terceiro ano do ensino médio, pelo professor da disciplina. Assim que se concluiu o conteúdo “progressões aritméticas”, ambos os grupos GE e GC foram testados, novamente, pelo mesmo instrumento – pós-teste. Deve-se ressaltar o papel da pesquisadora nesse processo. Ela ministrou as aulas nos dois grupos, o que possibilitou o controle da variável influência do instrutor na aprendizagem dos alunos.
Instrumentação
Foram utilizados um pré-teste e um pós-teste (mesmo instrumento) para aferir se houve diferença significativa no desempenho dos grupos GE e GC. Esse instrumento (Anexo 05) constituiu-se de 18 questões – abertas, de múltipla escolha,
falso e verdadeiro, e de desenvolvimento - classificadas nas categorias da Taxionomia de Objetivos Educacionais – categorias Conhecimento, Compreensão e Aplicação - conforme a matriz de especificações anexa (Anexo 04). Utilizou-se, também, um questionário com questões abertas e fechadas para aferir o nível de satisfação dos grupos GE e GC com relação aos procedimentos de avaliação utilizados. Esse questionário (Anexos 06 e 07) seguiu o mesmo modelo do aplicado por Silva (2002). Com itens baseados na escala Likert, tinha 13 itens comuns aos dois grupos, sendo 11 fechados e 2 abertos, e mais 7 itens fechados, exclusivos do GE, específicos da avaliação formativa. No grupo experimental, apenas, foram utilizados testes formativos (Anexo 08), para verificação do domínio de determinado objetivo, com as questões classificadas de acordo com a Taxionomia de Objetivos Educacionais nas categorias Conhecimento, Compreensão e Aplicação.
Ao longo do período de tutoria, antes, durante e após a aula, foram feitos relatórios de observação, pelo professor, dos comportamentos e impressões sobre o método de avaliação utilizado pelo grupo experimental e registros, pelos alunos, tutores ou não, das impressões e comportamentos deles, e dos demais colegas, em relação ao procedimento utilizado. Esses registros serão úteis no entendimento e interpretação dos resultados (Capítulo IV).
Coleta de Dados
Na primeira aula do conteúdo “semelhança de triângulos”, ambos os grupos, GE e GC, foram submetidos ao teste diagnóstico – pré-teste. A partir do início do desenvolvimento dos conteúdos, selecionados como unidades de aprendizagem, até
o final dos mesmos, registraram-se os dados coletados a partir de observações feitas pela pesquisadora com base no envolvimento dos alunos com o método de avaliação experimental utilizado. Os exercícios, referentes ao conteúdo ministrado, eram resolvidos com a ajuda dos tutores, alunos escolhidos pelos próprios colegas entre sete indicados pelo professor por critério de nota e convidados previamente a participar do trabalho como tutores. Após cada etapa da unidade de aprendizagem – seqüência de conteúdos – foram aplicados os testes de domínio, resolvidos individualmente e entregues ao final da aula. Na aula seguinte, os alunos recebiam os testes corrigidos pela professora e trabalhavam neles, especialmente naqueles que haviam errado, com a ajuda dos tutores e da pesquisadora. Foram registradas, também, as opiniões e impressões dos alunos submetidos ao procedimento avaliação formativa por meio de pequenas anotações feitas pelos mesmos e entregues ou comunicadas oralmente ao professor.
Após o desenvolvimento dos dois conteúdos “semelhança de triângulos e progressões aritméticas”, foi aplicado o pós-teste para verificar se houve ou não diferenças significativas na aprendizagem dos dois grupos.
Aos dois grupos foi aplicado, também, um questionário para verificar o nível de satisfação dos alunos em relação aos procedimentos avaliativos empregados. Após esse procedimento, realizou-se uma reunião com os alunos que atuaram como tutores. Nessa, os discentes puderam expor suas impressões a respeito do procedimento.
Tratamento Estatístico
O teste da hipótese nula do estudo foi efetuado por meio da análise de covariância, com os escores do pré-teste como covariável, em que a principal finalidade é o controle estatístico da variabilidade. É um método que reduz os erros experimentais por controlar os efeitos de variáveis estranhas. Campbell e Stanley (1963) consideram a análise de covariância, com os escores do pré-teste como covariável, preferível à simples comparação entre os ganhos em escores. Entretanto, citam que o teste aceitável e mais largamente utilizado é o denominado “teste t”.
A análise de covariância consiste em analisar as linhas de regressão dos dois grupos, experimental e controle, para saber o quanto a linha de um dos grupos é mais elevada, significativamente, em relação à linha do outro grupo. A Figura 3 mostra as linhas de regressão de dois grupos fictícios, um experimental, submetido a tratamento, e outro controle, não submetido a tratamento (BECKER, 1999).
Figura 3. Linhas de regressão dos grupos experimental e controle numa situação fictícia. Pré-teste(x) Pós-teste (y) YC
M
YTM
XTM
XCM
Grupo Experimental Grupo ControleA significância é medida através das intersecções aT e aC com o eixo y.
Quanto mais próxima de zero é a distância entre esses interceptos, menor é a diferença significativa; quanto mais distante de zero, maior é a diferença significativa entre as duas linhas de regressão. No caso da Figura 3, como o intercepto aT está
mais elevado que o intercepto aC, isso significa que há uma diferença significativa
da linha de regressão do grupo experimental em relação ao grupo controle.
O “p-valor” associado a essa análise representa a probabilidade do erro relacionado à rejeição da hipótese nula (de não haver diferença estatisticamente significativa entre os grupos observados), o qual, nesse caso, é de 5% (0,05), ou seja, considerou-se o grau de confiança em todos os testes de 95%.
O objetivo da análise de covariância foi analisar o desempenho no pós-teste, removendo os efeitos da “covariável” pré-teste. O modelo estatístico utilizado na análise de covariância foi (VIEIRA,S. ;HOFFMANN,R., 1999):
e
Z
X
Y
=
+
+
+
2
1
0
β
β
β
Onde:Y é a variável dependente correspondente aos resultados do pós-teste. β0 é o intercepto.
β1 é o coeficiente da variável pré-teste.
X é a covariável (pré-teste).
β2 é o coeficiente da variável pós-teste (controle/ experimental).
Z é a variável pós-teste (controle/experimental). e é o resíduo.
Quanto aos dados de avaliação dos grupos GE e GC, foram tratados de forma descritiva e em forma de tabelas, enquanto que para a análise desses dados foi utilizado o aplicativo SPSS, versão 13.0.
Limitações do Método
Considerando a ausência de randomização na seleção dos sujeitos do presente estudo, a generalização dos resultados pode deixar de ser recomendada, visto que outras variáveis existentes podem não ser controladas. Entretanto, a possibilidade de semelhança dos grupos estudados deve ser considerada por se tratar de grupos alocados na mesma série, em regiões administrativas circunvizinhas e com o mesmo objetivo acadêmico. Logo, generalizações só poderão ser feitas em relação às populações de onde os grupos foram selecionados, cautelosamente, tendo em vista a não-randomização. Outros fatores, isolados ou em conjunto, podem influenciar o rendimento dos grupos estudados, comprometendo a sua validade interna como história, maturação, testagem, entre outros.
O efeito Hawthorne pode ser apontado, também, como uma das limitações desse método. Constitui-se um fenômeno relativo à observação, estudado por pesquisadores na Western Pacific Corporation, em Hawthorne, segundo o qual os sujeitos, sob observação, podem agir de maneira particular por saberem fazer parte de um estudo. Logo, os alunos dos dois grupos podem ter manifestado atitudes comportamentais diferentes por perceberem estar sendo estudados (GALANTE et al, 2001).
Outra limitação encontrada é o fato de o experimento ser de curta duração, o que pode interferir nos resultados encontrados. Isso se deve ao pouco tempo, formalmente determinado, para a conclusão do curso de Mestrado e do período no qual serão coletados os dados – 3º e 4º bimestres letivos.
Mesmo com essas limitações, o presente estudo justifica-se por se constituir em mais um elemento essencial ao fechamento da cadeia de informações acerca da avaliação formativa enquanto procedimento avaliativo.