3.3.2.1. Entrevistas
Para estudar a IESP serão envolvidos no estudo todos os avaliadores e avaliados das unidades orgânicas, dos serviços centrais e dos serviços de acção social escolar. Para concretizar este propósito foi necessária a anuência do Administrador do IPP.
Na fase de planificação da entrevista foram identificadas várias dimensões ou variáveis de acordo com o objecto de estudo. Por conseguinte, as questões foram elaboradas com base nessas dimensões, tendo em vista facilitar a comparação das respostas. Optámos pela entrevista semi-estruturada devido às suas qualidades de sistematização dos dados, optimização da gestão do tempo e oportunidade de explorar as questões. Esta técnica permite uma boa interacção entre o entrevistador e o entrevistado, podendo estabelecer-se uma cumplicidade, abertura e proximidade entre as duas partes, com a vantagem de haver uma maior sensibilidade para as atitudes e comportamentos do entrevistado na abordagem das respostas complexas e difíceis.
Preparámos um guião de entrevista tendo em vista servir como eixo orientador da mesma. Este primeiro guião foi submetido à consideração de três avaliadores de uma outra escola do ensino superior politécnico que não aquela em que realizámos o trabalho com o objectivo de compreender a sua adequação. Tratou-se, ―de certa forma, de uma primeira «volta à pista», antes de pôr em jogo meios mais importantes‖ (Quivy e Campenhoudt, 1992: 67), o que, na nossa perspectiva, foi muito importante para a construção do guião final da entrevista.
As entrevistas foram realizadas de acordo com a estrutura apresentada no anexo I.
Procurámos que todos os entrevistados respondessem às mesmas questões, com uma estrutura pré- definida de questões, no entanto, os entrevistados tiveram total flexibilidade nas respostas. Para além das questões relacionadas com a nossa investigação foi também pedido a cada entrevistado alguns dados de caracterização (situação profissional, antiguidade na instituição, local de trabalho).
As datas das entrevistas foram acordadas através de contacto telefónico. Preparámos um documento de apresentação do trabalho aos entrevistados, no qual se identificaram os objectivos da entrevista, a garantia do anonimato e confidencialidade das respostas e o estrito cumprimento dos procedimentos éticos e deontológicos.
Solicitámos autorização para gravar a entrevista com a finalidade da recolha de informação necessária ao desenvolvimento da dissertação. Garantiu-se que após a análise e exposição dos dados relativos à entrevista, a gravação autorizada seria eliminada.
As entrevistas foram realizadas nos locais de trabalho dos entrevistados, com uma data e hora previamente acordadas. Quanto à duração não se fixou um tempo limite para não inviabilizar o ensejo de cada avaliador expressar as suas opiniões e comentários de acordo com o guião.
O entrevistado não teve conhecimento prévio do guião da entrevista, somente no início da mesma tomou contacto com as questões a colocar.
A entrevista foi efectuada a dez dos vinte e quatro avaliadores, de acordo com os seguintes critérios: 1) Dirigentes ou Docentes ou Trabalhador. Seleccionámos os Dirigentes com mais contacto com o
SIADAP, razão pela qual lhe atribuímos um maior número de entrevistas.
2) Antiguidade na IESP: mais de cinco anos de serviço ou menos de cinco anos de serviço. Quadro 3 - Situação profissional e antiguidade dos entrevistados
Entrevistados Situação Profissional Antiguidade
E1 Dirigente <5 anos E2 Trabalhador >5 anos E3 Dirigente >5 anos E4 Dirigente/Docente >5 anos E5 Dirigente >5 anos E6 Docente >5 anos E7 Trabalhador <5 anos E8 Dirigente >5 anos E9 Dirigente >5 anos
E10 Trabalhador <5 anos
3) A dimensão dos serviços foi outro critério utilizado para determinar o número de entrevistas que considerámos importante realizar na IESP: 2 elementos nos serviços centrais e de acção social escolar e nas duas unidades orgânicas com maior número de participantes; nas escolas de menor dimensão apenas um.
Nas entrevistas, optámos pelo tratamento da informação com base em quadros-resumo (anexo V), tendo em vista uma melhor percepção e apresentação da informação e também para não violarmos o compromisso inerente à garantia do anonimato e confidencialidade das respostas. A partir da ordenação e análise das respostas de forma vertical, traçamos os comentários que julgamos pertinentes para uma adequada compreensão das opiniões dos respondentes.
Os dados obtidos através das entrevistas foram transcritos por nós próprios e os registos áudio através do programa
Digital Voice Editor 3
. Esta tarefa apesar de nova e morosa, afigurou-se-nos de extrema importância para o normal desenvolvimento deste trabalho porque correspondeu a uma melhor apreensão do âmago da metodologia utilizada, permitindo realizar várias pontes com os restantes capítulos do documento.As respostas foram tratadas através de análise de conteúdo respeitando o modelo que conduziu à elaboração do guião da entrevista (as dimensões de análise e os objectivos que se pretendiam alcançar) tendo como unidade de análise a frase por afinidade semântica.
A entrevista não serviu para a investigação directa, mas foi um passo importante para a elaboração subsequente dos questionários.
3.3.2.2. Questionários
A aplicação dos questionários contemplou a totalidade dos avaliadores e avaliados da IESP. No entanto, tivemos desde logo consciência de que certamente não obteríamos uma resposta total dos inquiridos. Na fase de aplicação dos questionários distinguimos avaliadores e avaliados, pelo que foram construídas duas versões dos questionários (uma destinada aos avaliados e outra destinada aos avaliadores da IESP). Os questionários foram produzidos com base nas questões já abordadas na entrevista, sendo complementados e adaptados de acordo com a estrutura apresentada no anexo II.
Ambos os questionários dispunham de uma introdução, a qual continha os objectivos dos mesmos, a garantia do anonimato e confidencialidade das respostas e o estrito cumprimento dos procedimentos éticos e deontológicos.
O questionário foi devidamente testado antes de ser aplicado, através de uma actividade intitulada pré- teste, a qual possibilitou alterar e corrigir alguns termos e expressões que se afiguravam de difícil interpretação. O pré-teste foi administrado a vinte elementos representativos de todos os grupos profissionais dos avaliados, bem como a indivíduos com características de avaliadores (docentes, dirigentes e trabalhadores).
Na fase de aplicação dos questionários, que se iniciou em Junho de 2009, foram distribuídos 165 questionários aos avaliados e 29 aos avaliadores.
Dos questionários distribuídos foram recebidos 69 referentes aos avaliados, o que representa 42% e 15 relativos aos avaliadores, correspondendo a 52% do total.
Quanto ao tratamento estatístico foi realizada a análise descritiva de dados com utilização do
software
SPSS, versão 16.0 para
Windows
.Este estudo descritivo efectuou-se de forma isolada para cada variável (univariada). As variáveis envolveram níveis de medidas nominais ou ordinais. Com base no preconizado por Ketele e Roegiers (1999: 92), uma variável é ―uma quantidade ou uma qualidade susceptível de flutuação‖, permitindo assumir valores diferentes ou formas susceptíveis de medição. Optámos por medidas com base em frequências absolutas e frequências relativas, indicando-se as respectivas percentagens. Tanto para as variáveis nominais como para as variáveis ordinais, optámos pelo recurso à análise gráfica da soma das respostas válidas para a grande parte da totalidade das respostas.
Numa fase subsequente e no sentido de maximizar a interpretação das respostas ao questionário, efectuou-se uma análise das respostas de avaliadores (Q4, Q5, Q7, Q8, Q9, Q14, Q15, Q16, Q18, Q21) e avaliados (Q9, Q14, Q15, Q16, Q17, Q18, Q21) que abrange a totalidade das dimensões presentes no estudo. Assim, relativamente aos avaliadores e aos avaliados, comparámos as médias das respostas às quatro questões avaliativas centrais, que foram apresentadas sob a forma de variável ordinal (resposta de 1 a 5) e que incidiam sobre a subjectividade, importância, avaliação e satisfação do SIADAP considerando dois grupos independentes, sendo um grupo (1), os que respondiam não, e um segundo grupo (2), os que respondiam sim a uma mesma questão (por exemplo: Q21 - Considera que o processo de avaliação é normalmente justo?). Para isso foi utilizado o teste paramétrico
Independent-Samples T
Test
cuja opção de utilização teve como objectivo a comparação de médias para amostras independentes (Brace, Kemp e Snelgar, 2003; Maroco, 2003).Relativamente aos avaliadores não foi possível tratar todas as respostas previstas uma vez que em algumas a distribuição da frequência não o permitiu, nomeadamente quando houve 100% de respostas, num só sentido ou quando o número era bastante reduzido e não possibilitava a comparação de médias, nomeadamente as questões 5, 7, 9, 15, 16 e 21. Para analisar o teste
T
considerou-se que op
é estatisticamente significativo quando é igual ou inferior a 0,05.Por último, comparámos as opiniões de avaliadores e avaliados procurando saber se o facto de se encontrarem na posição de avaliador ou avaliado se reflectia na forma como respondiam às quatro questões avaliativas centrais acima referidas. Para esta análise também utilizámos o teste
T
de comparação de médias para amostras independentes.Para nos guiar nesta análise elaborámos quatro questões orientadoras que passamos a transcrever: 1. Os avaliados acham o SIADAP mais subjectivo que os avaliadores.
Provavelmente os avaliados face ao novo desafio da avaliação de desempenho poderão interpretar como injustas as suas avaliações, atribuindo-as à subjectividade do sistema. Os avaliadores, dado que deverão assumir um papel activo com características de liderança no processo de avaliação, terão mais dificuldades em reconhecer que o sistema possa ser mais subjectivo.
2. Os avaliadores estão mais satisfeitos com o SIADAP que os avaliados.
Os avaliadores têm a obrigação de moralizar os avaliados e suscitar níveis de satisfação elevados de modo a evitar a descredibilização do processo. A componente da progressão na carreira tem um peso proeminente que pode levar a uma maior insatisfação, com efeitos adversos para os avaliados.
Pelo facto de alguns avaliadores não estarem submetidos a qualquer avaliação formal poderão atribuir ao SIADAP um grau de satisfação maior que os avaliados.
3. Os avaliadores avaliam mais positivamente o sistema de avaliação implementado do que os avaliados.
Pelas razões aduzidas na questão anterior é imprescindível esquematizar um quadro conclusivo com os aspectos positivos manifestados pelos avaliadores e avaliados, de modo a aferir se os avaliadores atribuem uma melhor avaliação ao sistema de avaliação implementado do que os avaliados.
4. Os avaliadores consideram o SIADAP mais importante do que os avaliados.
Pelos motivos mencionados nas questões precedentes é necessário verificar se os avaliadores consideram o SIADAP mais importante do que os avaliados. Pelo conhecimento das funções e características organizacionais do posto de trabalho do avaliado e dos objectivos pré-definidos para o serviço é natural que esta questão orientadora se confirme.