Omstillingsprogrammet

Numa fase prévia à construção do instrumento, foi ainda necessário definir, da forma mais clara e operacional possível, as variáveis dependentes (questões) que se pretendiam medir. De acordo com Black (1999; citado por Coutinho, 2011), a natureza das variáveis determina o tipo de dados que se obtêm e estes os instrumentos que melhor se lhes adaptam. Como o objetivo deste estudo é medir atitudes, opiniões, perceções e valores, então concluiu- se que o tipo de instrumento mais apropriado seria o questionário de tipo escala (Black, 1999; Ibidem).

156

Na construção do questionário tivemos em conta vários aspetos considerados essenciais para que se constituísse um instrumento válido e eficaz para recolha da informação pretendida.

Sendo o questionário um “instrumento rigorosamente estandardizado, tanto no texto das questões como na sua ordem” (Ghiglione & Matalon, 1993, p.121), é necessário ter em conta diversos aspetos, aquando da sua construção, pois a sua qualidade dependerá da forma como for concebido (Coutinho, 2011).

Quanto à linguagem das questões, procuramos que esta fosse simples, para que todos os inquiridos a entendessem da mesma forma, para que a redação da questão afetasse o menos possível a respetiva resposta e pusesse em causa a desejada comparabilidade de respostas ao mesmo item. Além disso, procuramos ter o cuidado que as questões fossem ao encontro daquilo que se pretendia estudar.

Para Ghiglione e Matalon (1993), esta fase de construção do questionário e formulação das questões é crucial no desenvolvimento do inquérito, pois qualquer erro, repercutir-se-á em todas as ações seguintes do processo de investigação, até às conclusões finais. Para estes autores, um questionário deve ser concebido de forma que não haja necessidade de dar aos inquiridos mais explicações além das que estão explicitas no seu enunciado.

O questionário que construímos para este estudo (Anexo I), ficou constituído, na sua versão final, por 71 itens (30 relativos à categoria A – Efeitos da avaliação externa de escolas e 41 relativos à categoria B – Efeitos da avaliação externa das aprendizagens). O número de questões, para além da amplitude do tema em estudo, prende-se com o facto de pretendermos fazer uma análise mais alargada e descrever de forma mais detalhada as perspetivas e atitudes que procuramos estudar. Na opinião dos autores citados anteriormente (Ibidem), quanto maior for o número de questões, mais aprofundada pode ser a análise e mais perspicaz pode resultar a descrição das opiniões e comportamentos dos inquiridos.

A par da linguagem e do conteúdo das questões, tivemos em conta a ordem pela qual estas foram apresentadas. Para os mesmos autores (Ibidem, p.123) “um questionário deve parecer uma troca de palavras tão natural quanto possível”, devendo as questões “encadear-se umas nas outras, sem repetições nem despropósitos”. Assim, os mesmos autores advogam que há vantagens em agrupar as questões que estão relacionadas com o mesmo tema, para que cada inquirido não tenha a sensação de que nos repetimos continuamente, ou que nos estamos

157

a versar de novo um assunto anteriormente abordado. Desta forma e tendo em conta a experiência de um estudo que realizamos anteriormente e em que recorremos também ao inquérito por questionário (Marques & Pacheco, 2013), optámos por agrupar as questões por categorias.

Quanto ao tipo de questões e no que se refere ao conteúdo, incluímos, no questionário que construímos, umas que se debruçam sobre factos da vida profissional dos inquiridos e outras que visam indagar sobre as suas opiniões, atitudes e perceções.

Quanto à forma, optámos por incluir apenas questões fechadas, redigidas na forma de afirmação e cujo grau de concordância com a mesma se mede segundo a escala de Likert. Esta escala “usa-se para registar o grau de concordância ou de discordância com determinada afirmação sobre uma atitude, uma crença, um juízo de valor (Tuckman, 2000, p.280), sendo constituída por cinco níveis, “em que cada um desses cinco níveis é considerado de igual amplitude” (Ibidem, p.280), pelo que é “designada como sendo semelhante a uma escala de intervalo” (Ibidem, p.280).

A opção por questões do tipo fechado prendeu-se com o facto de facilitarem a posterior análise dos resultados. Além disso, este tipo de questão garante uma maior comparabilidade de respostas uma vez que todas as pessoas tiveram acesso à mesma lista de respostas possíveis (Ghiglione & Matalon, 1993).

Para garantir a qualidade do estudo, devemos ter em conta a fiabilidade e a validade do questionário que, para Coutinho (2011), são conceitos distintos mas estreitamente relacionados.

A fiabilidade de um instrumento de recolha de dados (reliability) representa a sua consistência, isto é, o seu grau de sensibilidade a fontes imprevisíveis (Tuckman, 2000) que deve ser avaliado antes e durante a investigação. A fiabilidade assegura-nos se os dados foram obtidos independentemente do contexto, do instrumento ou do investigador (Coutinho, 2011), o que, na prática equivale a certificar a replicabilidade das conclusões do estudo.

Hoje em dia é possível medir a fiabilidade de um questionário. De acordo com Black (1999; citado por Coutinho, 2011), o Alpha de Cronbach é o coeficiente de fiabilidade que mede a consistência interna dos questionários de tipo Likert. Segundo Coutinho (2011), os coeficientes de fiabilidade podem tomar qualquer valor entre 0 e 1 embora o ideal será que o coeficiente seja o mais alto possível, não havendo, contudo regras muito rígidas a este respeito. Almeida e Freire (1997; citado por Coutinho, 2011) mencionam valores superiores a

158

0,85 para os coeficientes de consistência interna. Wiersma (1995; citado por Coutinho, 2011) refere valores superiores a 0,90 como um indicador de uma boa consistência interna. Hill e Hill (2012, p.149), propõem a escala, apresentada no Quadro 3, para avaliar o valor de um coeficiente de fiabilidade:

Coeficiente de

fiabilidade Resultado da avaliação

Maior que 0,90 Excelente

0,80 – 0,90 Bom

0,70 – 0,80 Razoável 0,60 – 0,70 Fraco Inferior a 0,6 Inaceitável

Quadro 3 – Escala de avaliação do valor de um coeficiente de fiabilidade

No caso do questionário que construímos, após a recolha dos dados, calculámos o Alpha de Cronbach e obtivemos um valor igual a 0,947, o que indica uma boa consistência interna. Medimos ainda este tipo de consistência, por categorias, e obtivemos, para as 30 questões da categoria A um valor do Alpha de Cronbach igual a 0,951 e para as 41 questões da categoria B um valor igual a 0,898.

A validade de um instrumento relaciona-se com a garantia de que mede o que de facto se pretende medir (Tuckman, 2000); refere a qualidade dos resultados da investigação no sentido de os podermos considerar “empiricamente verdadeiros, com rigor preditivo ou consistentes com o conhecimento estabelecido” (Coutinho, 2011, p.110).

Cook e Campbell (1979; citado por Coutinho, 2011) fazem a distinção entre validade interna e validade externa.

A validade interna refere-se ao rigor da medição, estando, por isso, relacionada com o instrumento em si e com a qualidade dos seus itens, da qual depende a precisão das inferências que fazemos a partir desses itens; tem a ver com a capacidade do investigador para redigir e selecionar as questões que compõem o questionário.

A validade externa relaciona-se diretamente com a possibilidade de generalização dos resultados e, por isso, depende da constituição da amostra e da sua representatividade. Para

159

Tuckman (2000), as ameaças à validade externa podem ser reduzidas através da escolha aleatória dos participantes.

De acordo com Coutinho (2011), encontra-se, na literatura, três tipos de validade interna: validade de conteúdo; validade de conceito ou construto e validade de critério, que tendo caído em desuso, foi englobada na anterior.

Diz-se que um questionário tem validade de conteúdo se as medições que ele permitir efetuar se referirem de forma exclusiva e exaustiva ao que se pretende investigar. “Para isso, costuma-se submeter o teste à opinião de peritos e especialistas que se vão pronunciar sobre uma tabela de especificação onde o investigador operacionalizou as definições dos construtos que os itens devem abranger” (Coutinho, 2011, p.124), pois “o autor está demasiado próximo para evitar o óbvio” (Ibidem, p.127).

Para Moore (1983, citado por Coutinho, 2011), a validade de conceito ou construto é a validade com sentido mais amplo englobando todos os tipos de validade anterior. Em causa, neste tipo de validade, está o grau de conformidade entre os resultados obtidos, a teoria e a prática a propósito das categorias ou dimensões em avaliação. Este tipo de validade deve cobrir todo o processo de construção do questionário e não se expressa sob a forma de coeficiente de correlação, ao contrário da fiabilidade, como vimos anteriormente. Para garantir a validade de construto deve-se analisar a forma como estão redigidos os itens, tendo como base uma teoria ou modelo.

Deste modo, para avaliar a validade de construto, solicitámos a três pessoas que trabalham em projetos de investigação na área da avaliação externa, que verificassem o vocabulário das questões, a sua formulação e que fizessem corresponder cada item a uma categoria/subcategoria de análise previamente definida e cuja descrição lhes foi fornecida. Com este procedimento teve-se a intenção de obter um acordo de juízes, que garantisse a validade do instrumento. A percentagem de questões igualmente categorizadas, no trabalho dos três juízes, foi de 74%. Reformularam-se, então, algumas questões e eliminaram-se outras que suscitavam dúvidas. Foram ainda feitas algumas alterações no enunciado de alguns itens. Esta avaliação do questionário que descrevemos, por peritos externos, é apenas uma de duas fases de determinação da validade de construto do instrumento, como advogam Ghiglione e Matalon (1993).

A segunda fase de avaliação implica a aplicação do questionário a um grupo piloto – pré-teste (Coutinho, 2011; Tuckman, 2000; Quivy & Campenhoudt, 1998; Ghilgione &

160

Matalon, 1993) e analisar os resultados obtidos nesse estudo prévio, em termos, por exemplo, de cálculo de intercorrelação entre itens, selecionando-se, posteriormente, os itens mais válidos para integrarem o questionário final. Este “estudo piloto do instrumento numa amostra da população a que se destina é essencial se se usa um instrumento novo” (Coutinho, 2011, p.127).

Este pré-teste ou estudo piloto consiste na

“implementação de qualquer forma de testagem antecipada do estudo propriamente dito, em que se aplica uma versão quase definitiva do questionário a um grupo alvo com características semelhantes à da nossa amostra da população, se procede à recolha e análise estatística dos dados tal qual como se do estudo principal se tratasse” (Ibidem, p. 281).

Como refere Coutinho (2011), o pré-teste vai permitir avaliar a funcionalidade do questionário, possibilitando a reformulação/eliminação de itens que foram mal interpretados, respondidos de forma errónea ou mal percebidos pelos inquiridos; e alertar para erros de lógica e de raciocínio que poderão ser superados no estudo principal. Este exercício “pode revelar uma variedade de imperfeições, dando aos investigadores a possibilidade de remover as deficiências dos questionários, diagnosticando e corrigindo essas imperfeições” (Tuckman, 2000, p. 336).

Deste modo, numa segunda fase, solicitamos a colaboração de cerca de 60 professores de matemática do 2.º e 3.ºciclos do ensino básico, de escolas públicas dos distritos de Braga, Porto e Viana do Castelo, tendo-se recolhido 47 questionários devidamente preenchidos. Nesta aplicação do questionário a um conjunto de pessoas que fazem parte da população do estudo, mas que não irão fazer parte da amostra (Tuckman, 2000; Quivy & Campenhoudt, 1998), procurou-se determinar se os itens do questionário possuem qualidades intrínsecas à medição e discriminabilidade pretendidas (Tuckman, 2000). Já não se tratou de verificar pontos específicos, mas de pôr à prova o instrumento em si, numa situação idêntica à da aplicação definitiva, procurando testar a sua aceitabilidade e a sua adaptação aos objetivos da investigação (Ghiglione & Matalon, 1993). Desta forma, solicitamos aos inquiridos que, caso assim o entendessem, fizessem comentários acerca da formulação dos itens e/ou dessem sugestões para que se pudéssemos proceder a reformulações eventualmente necessárias, reservando, para o efeito, um local próprio no enunciado do questionário que lhes foi fornecido.

De seguida, fizemos a análise estatística dos dados recolhidos, procurando avaliar cada item e delineando algumas interpretações dos resultados.

161

Deste pré-teste decorreu a eliminação de algumas variáveis que se revelaram menos úteis ao estudo e cujos resultados estatísticos mostraram, cumulativamente, muita indefinição, ausência de consenso e fraco grau de correlação com outras variáveis.

Procuramos, também, conversar com alguns dos inquiridos, desta fase, com o intuito de avaliar as dificuldades e dúvidas que encontraram na resposta ao questionário.