3. MAPPE I OPPLÆRINGEN; BÅDE SOM VURDERINGSFORM OG ET REDSKAP FOR
3.4 E KSEMPLER PÅ INNFØRING AV MAPPER
2;1. O bjecto, questões orientadoras e estru tu ra
O presente estudo, incide sobre a form ação co n tín u a de professores e os processos pelos quais esta é avaliada.
Para que a form ação contínua assum a um papel significativo no desenvolvim ento pessoal e profissional dos professores e no d esenvolvim ento organizacional das escolas (com o a revisão, da literatura sugere e as orientações ju ríd ic a s nacionais apontam ), parece necessário pensar a sua avaliação em m oldes diferentes, equacionando-a com o contributo para a m udança quer de form andos e form adores, q u e r dos projectos das escolas e das instituições de form ação. M udança que só ocorrerá se a avaliação for parte integrante de todo o processo form ativo e se a existência dessa av aliação alterar efectivam ente o decurso e os resultados da form ação.
Partindo destas prem issas, a questão de partida para o estudo pode ser resum ida da seguinte forma:
Pode a avaliação da form ação co n stitu ir u m a estratégia form ativa?
C om base nesta questão geral, form ulám os duas outras, de cariz m ais específico, que orientaram a prim eira fase deste trabalho:
- Será que as práticas d e avaliação da formação, em curso aproveitam as potencialidades . form ativas da av aliação?. •
- Q ue processos favorecem as potencialidades form ativas da avaliação da form ação? Para dar resposta a estas questões, realizám os d o is estudos de análise de práticas de avaliação da form ação , com características diferentes. O s casos analisados resultam d a iniciativa de dois tipos de instituição que tiveram um papel especialm ente relevante na form ação contínua, nos últim os anos: as associações de escolas e os serviços centrais. C onsiderám os oportuno não nos restringirm os a p ráticas (quer de form ação, quer de avaliação) desenvolvidas po r um único tipo de entidade form adora ou de entidade
A avaliação do processo de formação, um a estratégia form ativa? Da análise das práticas ao esboço de um m odelo de form ação. -
avaliadora, de m odo a p o ssibilitar uma visão am pla da realidade nacional e das diferentes práticas instituídas.
No prim eiro caso, as entidades prom otoras da form ação foram os C entros de F orm ação de A ssociações de Escolas -(C F A E ), os quais desenvolveram processos de avaliação intem a da form ação e prom overam ainda a sua avaliação externa, contratualizada com diversas entidades: em presas, instituições do ensino su p erior e avaliadores particulares.
N o segundo caso estudado, a entidade form adora foi o M inistério da E ducação, através do então D epartam ento de Educação B ásica, que nos últim os anos da década de 90 prom oveu uni vasto leque de acções de form ação por todo o país. Foi tam bém o M inistério que solicitou a avaliação externa dessas acções a um a instituição do ensino superior62.
A análise das práticas de avaliação da form ação realizada po r estes dois tipos de entidades constituiu, assim , um a prim eira fase do trabalho em pírico, a qual pretèndeu responder às questões anteriores:
para saber se as práticas de avaliação em curso aproveitam as potencialidades form ativas da avaliação, realizám os a análise descritiva de 44 relatórios de avaliação da form ação prom ovida pelo m esm o núm ero de C FA E (o que corresponde a 31% dò total de C F A E à época), avaliação realizada a nível externo p o r diferentes tipos de entidades e que corresponde quer à necessidade de inform ação dos centros, quer à exigência da entidade financiadora.
- para saber quais os processos que favorecem as potencialidades form ativas da avaliação, analisám os de form a detalhada • três relatórios de avaliação e x te rn a -d a form ação prom ovida pelos serviços centrais em anos sucessivos; esses relatórios decorrem de processos que, em conjunto, podem ser considerados um ensaio de form as de avaliação, organizado de m odo a m axim izar as potencialidades form ativas desta.
A segunda fase do trabalho em pírico decorre das conclusões dos dois estudos anteriores e pretende ensaiar um m odelo de avaliação form ativa, no qúal se procura dar resposta a um a terceira questão orientadora:
A avaliação do processo de form ação, uma estratégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
. - Pode um processo form alizado de negociação da form ação criar as condições para que a avaliação seja um a estratégia de form ação, isto é, cum pra um a função form ativa?
A .n o ssa hipótese é que a integração, na form ação, de procedim entos form alizados • de negociação contribui para a intervenção dos form andos na regulação da acção e na auto- ' regulação das suas aprendizagens, tom ando-os conscientes o papel que podem
d esem penhar na form ação. E sta hipótese dá lugar a questões m ais específicas:
a nível do processo, pode a negociação constituir um a form a de regulação da form ação? - a nível dos resultados, p ode a negociação co n trib u ir para a auto-regulação pelos
form andos do seu d esenvolvim ento profissional?
- a nível da avaliação d a form ação, pode a negociação produzir efeitos na tom ada de consciência pelos intervenientes do papel dos form andos na avaliação e, através dela, do seu papel na própria form ação?
N a perspectiva anteriorm ente referida de estudar situações de form ação prom ovidas po r entidades form adoras diversas, este últim o estudo foi realizado sobre um a acção prom ovida e desenvolvida po r um a instituição do en sin o superior, no âm bito de um curso de especialização, m as podendo funcionar tam bém com o form ação contínua, se frequentada isoladam ente, com o d isciplina autónom a.
Esta fase do trabalho constituiu-se, então, com o o ensaio de um processo form alizado de negociação na form ação de professores, negociação que parte da devolução aos intervenientes dos dados de avaliação recolhidos em diferentes fases do processo form ativo.
O estudo desenvolve-se através de um a m etodologia quasi-experim ental, visando com parar o grau de realização curricular d a form ação num grupo que considerám os experim ental (no qual foi realizado um processo de negociação) e num grupo testem unho (sem processo de negociação), sendo a.c o m p a ra ç ã o estabelecida entre o plano curricular proposto e o currículo real. O s grupos tinham a m esm a form adora e o m esm o program a de form ação e eram com paráveis entre si.
No grupo considerado experim ental, o processo de negociação da form ação através da devolução, e análise dos dados de avaliação visa um a transform ação da acção, levada a efeito pelos participantes. N este sentido, a situação experim ental configura um processo de
A avaliação do processo de form ação, um a estratégia form ativa? Da análise das práticas ao esboço de um modelo de formação.-
investigação-acção, j á que im plica a colaboração dos sujeitos e o reinvestim ento na acção dos resultados de cada fase.
E sboçám os assim um desenho de investigação que parte d o estudo descritivo de análise de práticas de avaliação d a form ação para o seu questionam ento, questionam ento que dá origem ao ensaio de um m odelo de avaliação form ativa ou, no m ínim o, de um m odelo que crie as condições para que a avaliação seja form ativa.
O q u ad ro seguinte esquem atiza a orientação geral do trabalho.
Q uadro 10 - Esquem a do estudo
Pode a avaliação da form ação constituir um a estratégia form ativa? '
- u u
Será que as práticas de avaliação em curso aproveitam as potencialidades form ativas da
avaliação?
o
Que processos favorecem as potencialidades form ativas da avaliação?
u u
E studo descritivo de análise de 44 relatórios de avaliação da form ação prom ovidã^pelcT m esm o núm ero de CFA E (o que corresponde a 31% do total de CFA E à época), avaliação realizada a nível externo por diferentes tipos de entidades e que corresponde quer à necessidade de inform ação dos centros, q u er à exigência da entidade financiadora.
Estudo descritivo de análise de um conjunto específico de três processos de avaliação extem a da form ação prom ovida pelos serviços centrais em anos sucessivos, avaliação que foi realizada por uma instituição do ensino superior e que configura a procura de form as de m axim izar a vertente form ativa da mesmá.
Proposta de avaliação da form ação, com o estratégia form ativa
0 :
Pode um processo form alizado de negociação criar as condições para que a avaliação da form ação se constitua com o um a estratégia form ativa?
o ;
Estudo quasi-experim ental que com para o grau de realização curricular em dois grupos de form andos (com o m esm o form ador e o mesmo program a e sendo os grupos com paráveis), ensaiando-se no grupo experim ental um processo de negociação d a formação, desenvolvido num a lógica de investigação-acção. '
A avaliação do processo de form ação, um a estratégia formativa? Da análise das práticas ao esboço de um m odelo d e formação.
A pesar do objecto deste trabalho ser a avaliação da form ação apenas enquanto p rocesso form ativo (e não a avaliação p ropriam ente dita), não podem os deixar de q u estionar até que ponto o. estudo não recai no âm bito da m eta-avaliação. C om efeito, na p rim eira fase do trabalho63, a análise descritiva das práticas leva, inevitavèlm ente, à form ulação de ju ízo s de valor sobre a qualidade e u tilidade da avaliação - ju íz o s de valor sem os quais a análise realizada se reduziria a um a m era organização categorial dessas práticas; e, na segunda fase do trabalho, a reflexão sobre o processo desenvolvido com porta elem entos que podem co nduzir ao m esm o tipo de ju íz o s de valor.
N o entanto, o estudo que desenvolvem os' teve sem pre com o foco a form ação de professores, surgindo aqui a avaliação com o um a das estratégias passíveis de contribuir para m elhorar a form ação pela consciencialização que pode proporcionar aos intervenientes sobre o processo, os resultados e o papel po r estes desem penhado. N esse sentido, o estudo não se constitui com o um a avaliação de avaliações, m as com o um a tentativa de procurar e conceber outros cam inhos para a form ação contínua - cam inhos que nos parecem poder passar pela avaliação.
Invèstigação e avaliação têm , no entanto, pontos de contacto que, no caso da investigação sobre avaliação se tom am evidentes, agudizando-se ainda quando se trata de investigação-acção.
C om efeito, com o salienta R odrigues (1998), investigação e avaliação distinguem - se, antes de m ais, pela natureza do referente (ex plicativo e teórico, no caso da investigação; norm ativo e axiológico, no caso da avaliação) e pelo seu m odo de construção. D istinguem - se ainda pelos objectivos que prosseguem e pelos critérios através dos quais são apreciadas (vàlo r de explicação e inteligibilidade dos fenóm enos, no caso da investigação; utilidade e eficácia da acção, no caso d a avaliação). Em com um existirá o recurso a procedim entos e técnicas de recolha e análise de dados e a necessidade de interpretar a inform ação obtida, construindo um sentido que dê inteligibilidade aos dados recolhidos.
N o entanto, é possível tam bém questionarm o-nos se um processo de investigação- acção, pela sua própria natureza, pode se r co n d uzido sem referência a valores que orientem a acção; ou se a avaliação que se constrói tendo em conta os referentes dos participantes (e
A avaliação do processo de form ação, uma estratégia form ativa? Da análise das práticas ao esboço de um modelo de formação.
não apenas um referencial norm ativo), não tem , tam bém ela, um valor, se não explicativo, pelo m enos interpretativo. E m últim a instância, parece legítim o su g erir q u e as fronteiras en tre investigação e avaliação (ou, pelo m enos, de certo tipo de investigação e de certo tipo de av aliação) se esbateram .
*
E talvez a nível dos objectivos que podem os encontrar um a distinção m ais clara. Em relação ao presente estudo, o trabalho desenvolvido na segunda fase64 integra um processo de av aliação da form ação. N o entanto, essa avaliação faz parte de um desenho m ais am plo, desenho no qual a análise de práticas dá origem a um a proposta de av aliação .d a form ação que é en saiad a num dos grupos, procurando identificar os efeitos d esse ensaio através da c o m p aração final dos dois grupos. O processo de avaliação realizado não tem , por isso, um a finalidade própria, é antes um m eio através do qual é possível d a r resposta às questões que o rientam o estudo.
2.2. Desenho metodológico
O desenho de investigação deste estudo corresponde a um a abordagem m ista, na m edida em que com bina perspectivas e m etodologias dos dois principais paradigm as de investigação.
C om binám os de form a sequencial os estudos descritivos de análise de práticas com o estu d o quasi-experim ental, com um a finalidade de desenvolvim ento do conhecim ento (G reene e C aracelli, 1997, 2003; G reene, C aracelli e G raham , 1998; G reene, 2001), já que são os resultados obtidos na prim eira parte do trabalho q ue perm item o levantam ento da hipótese e das q uestões que estão na origem d a escolha da m etodologia desenvolvida na seg u n d a parte. N a perspectiva dos m esm os autores, trata-se de um desenho m isto coordenado, um a vez que as diferentes m etodologias são planeadas e im plem entadas separadam ente.
A figura 1 ilustra o desenho geral desta investigação.
A a v a lia çã o d o processo de form ação, um a estratégia formativa? Da an á lise d a s práticas ao esboço de um m odelo de formação.
• Figura 1 - A bordagem m ista sequencial nas duas fases d o estudo: da análise de práticas de avaliação da form ação ao ensaio d e um processo d e negociação (c/ base em Tashakkori e Teddlie, 2003)
A avaliação do processo de formação, uma estratégia form ativa? Da análise das práticas ao esboço de um m odelo de form ação.
N a segunda fase do estudo, recorrem os a um plano quasi-experim ental com a finalidade de com parar os resultados de dois grupos (não equivalentes, m as com paráveis), introduzindo num deles procedim entos form alizados de negociação. Pretendíam os, assim , p ro vocar deliberadam ente um a m odificação num dos grupos, procurando perceber as consequências dessa m odificação po r com paração com o outro grupo.
A figura 2 sintetiza o plano quasi-experim ental desenvolvido na 2a fase do trabalho.
Figura 2 - Plano quasi-experim ental de grupo de controlo não equivalente
Hipótese
A integração, na form ação, de procedim entos form alizados de negociação contribui para a intervenção dos form andos na regulação dã acção e na aulo-regulação das aprendizagens e m odifica a percepção destes sobre a sua participaçã na avaliação da formação.
G rupo B:
O bservação 1 (Pré-teste) o Factor experimental (negociação formalizada)
G rupo B:
O bservação 2 (Pós-teste)
G rupo A: G rupo A:
O bservação 1 (Pré-teste) => A usência de negociação =» O bservação 2 (Pós-teste) formalizada
A m anipulação do factor experim ental realizou-se através de um processo form alizado de negociação da form ação e da avaliação, num a lógica d e investigação-acção. R eportam o-nos, aqui, a um conceito restrito de investigação-acção, um a vez que a investigação não decorre de um problem a identificado pelos intervenientes e estes não
participaram em todas as fases da investigação. B aseam o-nos, pois, em concepções de investigação-acção com o a de C ohen e M anion (1980:208), que a definem com o “um a intervenção em pequena-escala no funcionam ento do real e um exam e detalhado dos efeitos dessa intervenção” , prevendo-se diversos graus de participação e colaboração dos intervenientes na investigação.
Segundo estes autores, um a das possíveis finalidades da investigação-acção é m elhorar um a determ inada acção, proporcionando aos professores o desenvolvim ento de novas capacidades e m eios para agir e para analisar as situações e, deste m odo, reforçando o auto-conhecim ento e o seu poder de decisão. Por outro lado, com o Stenhouse (1979) acentua, a investigação-acção, ainda que decorrendo em situações contextualizadas, deve contribuir não apenas para elas, mas tam bém para o desenvolvim ento de um a teoria de educação, ensino ou form ação.
N o processo de negociação ensaiado, houve um deliberado reinvestim ento na acção de form ação dos resultados obtidos em diferentes fases do processo, o que potencializou a colaboração e im plicação dos intervenientes, favorecendo a consciencialização dos objectivos individuais e com uns e a procura dos m eios para os alcançar. É esse reinvestim ento dos dados avaliativos no processo de form ação que cria sim ultaneam ente um a espiral de construção do conhecim ento e faz a v an çar a acção.
Procurám os, desta form a, utilizar as potencialidades da investigação-acção: o seu valor heurístico, desde logo, m as tam bém o conhecim ento aprofundado que proporciona sobre um determ inado contexto, através da participação d o investigador na situação de m udança e através da observação de diferentes perspectivas, em diferentes m om entos. A investigação-acção abre ainda a possibilidade de m elhorar efectivam ente um contexto, através da interacção e da construção um sentido colectivo para a acção.
Em síntese, a opção por um a lógica de investigação-acção para este estudo justifica-se pela relevância que esta dá ao papel desem penhado pelo grupo na produção da m udança, pela possibilidade que cria de utilizar a investigação para a reconstrução da acção e ainda pela flexibilidade m etodológica que a caràcteriza.
De acordo com os tipos de desenho de investigação das abordagens m istas identificados por G reene e C aracelli (1997), esta fase do estudo configura um desenho integrado, um a vez que se recorre a diferentes m etodologias, planeadas e desenvolvidas em
A avaliação do processo de formação, um a estralégia form ativa? D a análise das práticas ao esboço de um m odelo de formação.
A avaliação do processo de formação, um a estratégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
sim ultâneo nas fases de recolha-.e tratam ento de dados (ao contrário d o -d e s e n h o coordenado, que referim os anteriorm ente).
Q uanto às técnicas e instrum entos utilizados nesta segunda parte do trabalho, se bem que, à partida, constituam form as de recolha e tratam ento de dados característicos de um a abordagem interpretativa e qualitativa (entrevista, questionário aberto, observação naturalista, análise de conteúdo, análise docum ental), alguns foram tam b ém -su jeito s a tratam ento quantitativo. Foi o caso dos dados de opinião dos form andos, recolhidos através de um questionário aberto, cujas respostas foram tratadas, num a prim eira fase, po r análise de conteúdo e, posteriorm ente, através de tratam ento estatístico. Este perm itiu não só determ inar a com parabilidade inicial dos grupos, m as tam bém identificar as diferenças inter-grupos no final e as diferenças intra-grupos, entre o início e o fim da acção.
Q uanto aos procedim entos para assegurar a validade/credibilidade e a confirm abilidade do estudo, e tendo em conta que, apesar do desenho m isto, ele tem um ponto de partida qualitativo (“a âncora paradigm ática” referida po r Patton, 1988, cit. in G reene, 2001:254), considerám os os critérios que G uba definiu para esse tipo de investigações, sem descurar, porém , os procedim entos que podem assegurar a validade de um processo quasi-experim ental e a fiabilidade no tratam ento quantitativo dos dados.
A ssim , com base nas m edidas-propostas por G uba (1989, 1994) para os estudos qualitativos e por T ashakkori e T eddlie (2003) para as abordagens m istas, procurám os garan tir o desenvolvim ento de procedim entos que assegurassem a credibilidade e confirm abilidade, dando especial im portância:
- ao acom panham ento do grupo enquanto decorreu a form ação, seleccionando m om entos relevantes para a recolha e tratam ento dos dados;
- à triangulação de fontes (form ador, form andos, docum entos) e técnicas (questionários, observação, entrevista);
ao teste intra e inter-observadores (coeficiente de concordância na análise de conteúdo das entrevistas e respostas abertas dos questionários);
- à confirm ação pelos participantes, através da devolução dos resultados, nas sessões de negociação.
Enquanto observadores, a nossa posição nas situações concretas de form ação foi distanciada (nom eadam ente nas observações em sala de aula), m as houve envolvim ento da
A avaliação d o processo de form ação, um a estratégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
nossa parte no processo form ativo com vista à m udança da acção, uma vez que com binám os previam ente com a form adora o processo de negociação a realizar e o m elhor m odo de o levar a efeito. Para além disso, a -negociação entre a form adora e os form andos