Os inquéritos por questionário consistem numa das técnicas de recolha de dados mais usada porque é relativamente económica, coloca as mesmas questões a todos os sujeitos e assegura o anonimato. O questionário pode recorrer a perguntas ou declarações mas em qualquer dos casos o sujeito responde a algo escrito com um objetivo específico, constituindo-se como um modo indireto de recolher dados sobre a realidade.
Bisquerra (1989, p. 88) afirma que as entrevistas “consisten num conjunto más o menos amplio de preguntas o cuestiones que se consideran relevantes para el rasgos, características o variables que son objeto de estudio”. Com o questionário pretendemos obter respostas que demonstrem opiniões sobre acontecimentos, pessoas, ou sobre si próprio ou que permitam conjeturar sobre capacidades, comportamentos ou processos que não podem ser estudados ao vivo. São limites à aplicação deste instrumento o custo elevado, a superficialidade das respostas e, ainda, “o caráter relativamente frágil da credibilidade do dispositivo” (Quivy & Campenhoudt, 2008, p. 190). A resolução do inquérito por questionário é solicitada a um conjunto de inquiridos representativos de uma população, aos quais se pede que opinem sobre a sua situação profissional, social, ou familiar, revelando as suas expetativas ou o seu nível de conhecimento sobre um acontecimento ou problema (Idem), sendo que, em muitos casos são usados instrumentos já existentes. Na construção de um questionário é necessário saber com certeza o que investigamos e assegurarmo-nos de que as perguntas tenham o mesmo significado para todos. Por isso a elaboração do questionário e a formulação das perguntas revelam-se como cruciais para o bom desenvolvimento do questionário, Para assegurar a exequibilidade e a fiabilidade do questionário é imprescindível a realização de um pré-teste (Anexo I). Este pré-teste deve efetuar-se em número reduzido e em “meios suficientemente diferentes do dos autores do questionário” (Ghiglione & Matalon, 2005, p. 156).
Neste estudo, o instrumento (questionário) foi elaborado de raiz e foram definidos os seguintes objetivos baseados no problema de investigação:
a) caraterizar o impacto da avaliação externa a nível da gestão intermédia;
b) identificar os impactos e efeitos da avaliação externa a nível organizacional, curricular e pedagógico;
131
c) analisar os impactos e efeitos da avaliação externa a nível organizacional, curricular e pedagógico.
No início do questionário (Anexo II), os respondentes são informados sobre o propósito do questionário e é realçado o anonimato e confidencialidade das respostas. Refere-se, ainda, que se trata de um pré-teste e que se aceitam sugestões e retificações que possam contribuir para a sua melhoria. Termina com o agradecimento pela colaboração prestada.
O questionário contém duas partes. Na primeira parte os dados recolhidos dizem respeito a dados pessoais e pretendemos obter informações pessoais e profissionais dos docentes (variáveis independentes) que nos permitam caracterizar, mais tarde, os respondentes. Nesta parte do questionário, é-lhes pedido uma resposta sobre os seguintes itens: a) sexo; b) idade; c) habilitações académicas; d) nível de ensino a que pertenciam; e) situação profissional; f) tempo de serviço na função docente e g) cargos desempenhados na escola.
Na segunda parte, dados de opinião, os respondentes são convidados a emitir a sua opinião sobre diferentes itens agrupados em três grupos. No primeiro grupo é solicitado aos respondentes que se pronunciem sobre 16 afirmações sobre o impacto e efeito do processo de avaliação externa na escola. As afirmações são as seguintes:
A Avaliação Externa da Escola tem…
1) Contribuído para a consolidação da autoavaliação.
2) Promovido uma maior articulação curricular entre o 2º e 3ºciclos.
3) Contribuído para que os professores valorizem mais os resultados académicos dos alunos. 4) Contribuído para o trabalho cooperativo entre professores.
5) Permitido a organização de atividades conjuntas entre professores de diferentes ciclos. 6) Permitido a dinamização de atividades comuns entre professores da turma.
7) Contribuído para o desenvolvimento das relações entre a escola e a comunidade. 8) Contribuído para a planificação de atividades letivas.
9) Contribuído para a realização de testes conjuntos entre professores. 10) Contribuído para o empenhamento das lideranças intermédias.
11) Contribuído para a participação dos professores no departamento curricular. 12) Contribuído para a aferição de critérios de avaliação.
13) Contribuído para uma maior articulação entre os órgãos de gestão e as lideranças intermédias.
132
14) Contribuído para a coadjuvação letiva entre ciclos. 15) Contribuído para a melhoria da relação pedagógica.
16) Contribuído para o acompanhamento da prática letiva em contexto de sala de aula.
É pedido, aos respondentes, que assinalem a alternativa correspondente à sua apreciação e, para isso, utilizem a escala valorativa de tipo Likert de cinco níveis, “em que cada um desses níveis é considerado de igual amplitude” (Tuckman, 1994, p. 278): A – Concordo Totalmente; B – Concordo; C – Sem opinião; D – Discordo; E – Discordo Totalmente. Com o uso da escala de Likert pretende-se registar o grau de concordância ou discordância com cada uma das afirmações e pretende-se “evitar a maioria das dificuldades de formulação verbal das posições intermediárias” (Ghiglione & Matalon, 2005, p. 138).
No segundo grupo, respeitante à autoavaliação/avaliação interna, pede-se aos respondentes que assinalem a sua opinião mas, desta vez, utilizando apenas a seguinte escala valorativa: concordo, sem opinião e discordo. São seis as afirmações:
1) Conheço as atividades do grupo de autoavaliação da escola;
2) O grupo de autoavaliação da escola tem realizado a avaliação de modo sistemático; 3) Como professor tenho respondido a inquéritos elaborados pelo grupo de autoavaliação; 4) O grupo de autoavaliação tem divulgado os resultados;
5) O grupo de autoavaliação tem elaborado planos de melhoria; 6) Conheço os resultados dos planos de melhoria.
No último grupo, avaliação externa, solicita-se aos respondentes que demonstrem o conhecimento que têm sobre a visita da equipa de avaliação externa decorrida no ano letivo de 2008/2009. A escala utilizada é igual à do segundo grupo: concordo, sem opinião, discordo. As quatro afirmações ficaram distribuídas da seguinte maneira:
1) Conheço o relatório de Avaliação Externa da escola;
2) O relatório da AE da escola foi analisado no Departamento a que pertenço;
3) O relatório da AE originou a elaboração de um plano de melhoria a nível Departamental; 4) O relatório da escola levantou questões pertinentes sobre questões organizacionais.
No questionário foram usadas escalas diferentes porque no primeiro grupo é pedido aos inquiridos um conhecimento mais abrangente da avaliação externa enquanto nos grupos dois e três as afirmações são mais simples e, por isso, não há muita amplitude de resposta.
Após a elaboração do questionário, tornou-se indispensável a realização do pré-teste (Anexo I) para “garantir que o que o questionário seja de facto aplicável e que responde efetivamente aos problemas
133
colocados pelo investigado” (Ghiglione & Matalon, 2005, p. 155). Este processo de medição da fidelidade
consiste em aplicar o questionário a grupo de pessoas com características semelhantes ao do grupo principal, em que as pessoas são chamadas a alterar ou sugerir correções do lhe pareça incoerente. Por isso, solicitamos a realização do pré-teste a dois grupos de escolas diferentes e localizadas em áreas diferentes (Braga e Guimarães).
O primeiro grupo (Braga) apenas respondeu a 7 dos 15 questionários distribuídos. Esta situação ocorreu porque a pessoa encarregada da sua distribuição não registou a quem os tinha distribuído e, por isso, não foi possível a sua recolha. Dos docentes que responderam a este questionário 86% eram do sexo feminino e 14% eram do sexo feminino e as idades situavam-se entre os 30 e os 60 anos. No que diz respeito às habilitações académicas, 57% dos docentes possuíam uma licenciatura, 29% possuíam uma pós-graduação e 14% possuíam um mestrado. Quando inquiridos sobre a sua situação profissional verificou- se que 71% dos docentes pertenciam ao quadro de escola/agrupamento e 29% dos docentes eram professores contratados. Verifica-se que a maioria dos docentes inquiridos possui entre 7 e os 24 anos enquanto dois docentes possuem mais de 30 anos de experiência. No que respeita a cargos desempenhados, um dos docentes assinalou varias opções enquanto a maioria assinalou apenas um cargo. A análise dos dados pessoais e profissionais permitiu-nos concluir ser necessário proceder a algumas alterações nos seguintes itens: habilitações académicas (acrescentando o nível do primeiro ciclo e do secundário) e cargos desempenhados na escola que passou a ler-se cargos que desempenha na escola. Os restantes itens não apresentaram quaisquer dúvidas.
Ao segundo grupo (Guimarães) também foram distribuídos 15 inquéritos e foram respondidos 12, sendo que, 67% dos respondentes são femininos e 33% são masculinos. As idades situam-se entre os trinta e os sessenta anos mas a maioria tem idades superiores a cinquenta anos. Em relação às habilitações académicas, 67% possuem uma licenciatura, 25% possuem um mestrado e 8% possuem uma pós- graduação. Quanto ao nível de ensino a que pertencem 46% são professores do 2ºciclo, 38% do 3ºciclo, 8% do 1ºciclo e 8% não responderam. Em relação à situação profissional verifica-se que 100% dos respondentes pertence ao quadro de escola/agrupamento, sendo que, 42% tem entre 25 a 30 anos de serviço, 25% entre 19 e 24 anos de serviço, 25% entre os 13 e os 18 anos de serviço e 8% mais de 30 anos de serviço. No que concerne aos cargos desempenhados, verifica-se que 17% desempenham dois cargos, 58% desempenham um cargo enquanto 25% referem desempenhar outro cargo que especificam.
134
Também este grupo sugeriu as mesmas alterações referidas pelo grupo um, nomeadamente, no item que se refere ao nível de ensino a que pertencem e aos cargos desempenhados na escola. Nenhum dos restantes itens apresentou problemas.
Após a aplicação do questionário e antes da sua aplicação na escola objeto deste estudo foi necessário solicitar autorização ao Ministério da Educação e Ciência para a aplicação dos instrumentos elaborados. O pedido foi endereçado à Direção-Geral da Educação com o nº 0360000001 (Anexo V). Neste pedido, foi indispensável enviar todos os instrumentos que seriam aplicados na escola e, assim, foi remetido em suporte digital uma cópia do questionário, dois guiões de entrevista, uma declaração do orientador. No dia 28 de janeiro, recebemos a autorização digital onde se lia “o pedido de realização de inquérito em meio escolar é autorizado uma vez que, submetido a análise, cumpre os requisitos” (Anexo VI). O passo seguinte foi informar a Direção e entregar cópia da autorização, do questionário e dos guiões das entrevistas que pretendíamos realizar.