jordskifteløysing
8.30 Fare for naturskade
O desenho de avaliação deste programa sustenta-se no modelo de pesquisa das ciências sociais, tomando-se como definição de avaliação de programas a defendida por vários autores (e.g., Fernández-Ballesteros, Vedung, & Seyfried, 1998): é um processo para determinar o mérito ou valor do programa, ou seja, o grau em que se atingem os objectivos previstos e também os custos envolvidos, o que contribui para o planeamento e melhoria do programa e para a possibilidade de reportar os seus resultados. À luz desta ideia, organizámos a avaliação em três grandes blocos, sustentados em questões de natureza formativa, processual e de resultados (para maior detalhe, consultar Anexo 6). Procurando assegurar uma recolha de dados completa para cada um dos blocos de avaliação foram utilizados vários instrumentos com diferentes objectivos, os quais são descritos de seguida, bem como os procedimentos empregues.
16 Detecção através do questionário de saúde geral GHQ-12, que descrevemos na secção Instrumentos do ponto 3.2.5.Avaliação de resultados.
Avaliação formativa
A avaliação formativa diz respeito à qualidade das actividades e procedimentos do programa bem como a viabilidade da sua implementação e está incluída na fase de tradução e adaptação para a língua portuguesa dos materiais que constituem o programa. Este tipo de avaliação é fundamental sempre que um programa é adaptado a uma nova população, como é o caso, ou usado num contexto diferente do original (e.g. Thompson & McClintock, 2000). Para este bloco, não se construiu um instrumento específico, mas procurou-se responder ao conjunto de questões orientadoras, através de revisão bibliográfica, leitura aprofundada de todos os materiais que constituíam o programa, comparação com outros programas com objectivos próximos e discussão em reuniões com profissionais, nomeadamente com a autora Christina Bode.
Avaliação de processo
A avaliação de processo tem em consideração a informação relativa à adequação e à eficácia dos vários processos de informação e instrução que constituem o programa propriamente dito, incluindo a análise da praticabilidade na implementação do programa, que nos permite avaliar a sua qualidade, quantidade e fidelidade ao plano original, e a avaliação da satisfação e adesão dos participantes (e.g. Thompson & McClintock, 2000).
Para avaliar até que ponto o programa foi implementado de acordo com as especificações delineadas no plano de execução, foi construída uma Ficha de Registo da Sessão (vide Anexo 7), destinada ao preenchimento pela orientadora do programa logo após o término de cada sessão. Nesta ficha foram registadas as presenças dos participantes, todas as mudanças relativas ao planeamento original e tempos de execução de cada actividade, bem como incidentes críticos ocorridos durante a sessão, com dois objectivos simultâneos: promover o aperfeiçoamento do programa e avaliar o progresso de cada participante relativamente à compreensão, integração e generalização da informação recebida.
Para responder à segunda questão deste bloco relativa à satisfação e adesão dos participantes, usou-se a Ficha de Avaliação da Sessão (vide Anexo 8) e a Ficha de Avaliação Geral do Programa (vide Anexo 9).
No final de cada sessão, foi reservado um período curto para avaliação (cerca de 5 a 10 minutos). Os participantes preenchiam individualmente a Ficha de Avaliação da Sessão, composta por questões fechadas e abertas. A ficha continha um código de 39
Capítulo III – Estudo 2 identificação do participante, para posterior cruzamento de dados do mesmo respondente.
Na última sessão, foi ainda solicitado aos participantes o preenchimento da Ficha de Avaliação Geral do Programa, solicitando-se que avaliassem a sua satisfação global com o programa numa escala de (1) “totalmente insatisfeito” a (10) “totalmente satisfeito”, e que o descrevessem a uma pessoa fictícia (“Se descrevesse a alguém o que aconteceu ao longo do Programa “Antecipando os Anos Dourados”, o que diria?”) e que se referissem aos aspectos que tinham apreciado mais e menos, ao longo de todo o programa. Esta ficha continha ainda questões sobre a percepção do participante relativamente a atributos específicos do programa, como a importância percebida do objectivo trabalhado (através de uma escala de pontos de 1 a 4), sucesso percebido quanto à formulação do objectivo em termos concretos e tangíveis e quanto à concretização do mesmo (respostas do tipo sim/não).
Para a análise destes dados foram usadas técnicas estatísticas simples para as respostas fechadas e seguidos vários procedimentos de análise de conteúdo para as respostas abertas, procurando-se atender a critérios de validade e precisão (propostos por Vala, 1986). Após a transcrição das respostas dadas às questões abertas, 1) realizámos uma leitura flutuante de todas as transcrições e identificámos possíveis categorias gerais, subcategorias e excertos de conteúdo relevante (unidades de resposta formais, usando as expressões dos participantes); 2) comparámos este material, baseado nos dados, com um sistema prévio de categorias usado noutros estudos (Murta, 2007) e construímos um sistema de categorização (vide Anexo 10); 3) categorizámos as unidades de resposta em categorias e subcategorias, conforme o grau de especificidade; 4) entregámos a um 2º juiz o sistema de categorização criado e uma parte do material a codificar (avaliação de duas sessões), tendo este juiz trabalhado de forma independente; 5) calculámos o número total de unidades de registo e as que foram codificadas da mesma maneira, tendo-se aferido o acordo entre os juízes17, o qual se mostrou bastante satisfatório (97%). Devido à natureza exploratória deste estudo, não procedemos a quantificação dos dados.
17 Usámos a fórmula do índice de fidelidade (F) sugerida por vários investigadores (Esteves, 2005; Vala, 1986) – F é o valor que se obtém dividindo o total de casos de acordo dos juízes envolvidos, pelo somatório de casos em acordo e desacordo que se tenham verificado entre eles.
Avaliação de resultados
A avaliação de resultados está relacionada com as mudanças do comportamento como resultado da interacção dos aspectos informativos e instrutivos do programa (Thompson & McClintock, 2000), procurando-se avaliar, por um lado, as competências de coping proactivo que os participantes desenvolveram como resultado directo da intervenção (efeitos directos que constituíam o foco do programa), e, por outro lado, analisar mudanças que os participantes poderão ter sofrido em resultado da participação do programa, mas que não constituíam o foco principal (efeitos indirectos)18, como atitudes face ao envelhecimento, orientação proactiva e bem-estar subjectivo, psicológico e social.
Instrumentos
Para realizar a avaliação de resultados, foi elaborado o Questionário de Avaliação do Programa, o qual foi preenchido pelos participantes antes e depois da intervenção (vide Anexo 11). De seguida, apresentam-se os instrumentos que o compõem na ordem em que foram apresentados na recolha de dados, sendo feita uma descrição da medida e variável ou variáveis associadas, bem como considerações sobre a pertinência de cada um dos instrumentos para esta investigação. O Quadro 3 apresenta uma síntese dos instrumentos e respectivos objectivos.
Questionário de Dados Sócio-demográficos: Este questionário foi construído para esta investigação com o objectivo de recolher dados que permitissem caracterizar as amostras de ambos os estudos e explorar resultados diferenciais decorrentes das características dos participantes, aquando da avaliação dos efeitos do programa, no Estudo 2. Incluiu questões relativas à idade, género, estado civil, escolaridade, agregado familiar, situação profissional e/ou de reforma. Foram também incluídas questões para atribuição de um código a cada participante, para posterior tratamento estatístico dos dados.
18 Notar que as observações vão dirigir-se apenas a uma pequena porção de toda a potencial mudança que o programa pode produzir, sendo que em avaliação de programas a proporção entre o observável e o inobservável é, em princípio, desconhecida (Fernández-Ballesteros, citado por Sena Neves, 2008). A escolha destas medidas decorre da revisão bibliográfica efectuada e de estudos anteriores que avaliaram o impacto deste programa.
Capítulo III – Estudo 2
UPCC e AAQ: A UPCC e o AAQ foram apresentados, em detalhe, no Estudo 1.
PCI: Das 7 subescalas que compõem o PCI (Greenglass et al., 1999; versão portuguesa de Marques et al., 2004) e que apresentámos no Capítulo I, usámos apenas a de Coping Proactivo e a de Coping Preventivo. Ambas as subescalas têm reunido evidências de validade e precisão ao longo de vários estudos, variando os níveis de consistência interna da primeira entre α = .83 e α = .85, e da segunda entre α = .79 e α = .83 (Greenglass et al., 1999). Os participantes devem responder a cada afirmação usando uma escala tipo Likert de 4 pontos, entre (1) "Nunca" e (4) "Sempre".
GHQ-12: Este instrumento foi incluído para analisar as percepções subjectivas sobre o estado de saúde geral de cada participante, relativamente a sinais e sintomas físicos. O GHQ (General Health Questionnaire) é uma medida de auto-relato validada em vários países, constituindo um bom instrumento de detecção de perturbações psiquiátricas não psicóticas na população indiferenciada (i.e. em contextos comunitários ou contextos clínicos não-psiquiátricos). No estudo de L. Lima (2006), a versão portuguesa de 12 itens (GHQ-12) apresentou boa consistência interna (α = .87). Os itens avaliam, numa escala com 4 pontos possíveis (variáveis), se o indivíduo experimentou recentemente os sintomas ou comportamentos descritos. Neste estudo cotámos com zero pontos as respostas 1 ou 2 e com um ponto as respostas 3 ou 4, método que permitiu uma amplitude de resposta entre 0 e 12. Esta forma de cotação é considerada a mais adequada para detectar casos, recomendando os estudos que o limiar de cut-off para perturbação psiquiátrica seja 2/3, ou seja, afirmativo para cotações acima de oito pontos (Goldberg, 1992; Pires, 2005).
Bem-estar: Como indicadores de bem-estar usámos três instrumentos de forma a captar a natureza multidimensional deste construto e os diferentes contributos teóricos que têm vindo a ser defendidos na literatura19. Para avaliar o bem-estar na perspectiva hedónica, usámos a Escala de Bem-estar Subjectivo – versão reduzida de 2 itens (Diener et al., 1985, versão portuguesa do European Social Survey de 2006 – Portugal20). Esta escala
19 Para uma revisão alargada, aconselha-se a leitura de Novo (2005a, 2005b) e de Lima (2008). 20 Jowell e Central Co-ordinating Team (2005) e Vala, Torres e Ramos (2006).
inclui uma dimensão emocional (“nível de felicidade”) e uma cognitiva (“satisfação com a vida”), medidas através de um único item cada uma (r=0.68 e r=0.52, respectivamente). Ambos os itens são respondidos através de uma escala de 11 pontos (de 1 a 10) e o indicador final obtém-se pela média das duas questões. A Escala de Bem-estar Psicológico – versão reduzida de 6 itens (Ryff & Keyes, 1995; versão portuguesa de Gonçalves, 2006) foi usada para avaliar o bem-estar na perspectiva da eudaimonia, analisando dimensões relativas ao crescimento pessoal e envolvimento interpessoal. Gonçalves (2006) adaptou a versão reduzida da Escala de Bem-estar Psicológico de Novo, Duarte-Silva e Peralta de 1997, tendo obtido uma versão que com apenas 6 itens representa as 6 dimensões desta perspectiva de bem-estar (Autonomia, Aceitação de si, Crescimento pessoal, Relações positivas com os outros, Objectivos na vida e Domínio do meio), com alpha de Cronbach de 0.84 na sua amostra. Os itens são respondidos numa escala tipo Likert de 6 pontos que variam entre “Discordo Completamente” a “Concordo Completamente”. Por fim, para avaliar o bem-estar ao nível da relação do indivíduo com o domínio público e social, usámos a Escala de Bem- estar Social – versão reduzida de 10 itens (Keys, 1998; versão portuguesa de L. Lima, não publicada21). Esta escala pretende avaliar as 5 dimensões do bem-estar social propostas por Keyes (2008): Integração social, Contribuição social, Coerência social, Aceitação social e Realização social. A cada uma das dimensões correspondem 2 itens na versão reduzida (um positivo e um negativo, cuja pontuação deve ser invertida). A escala de resposta é do tipo Likert de 6 pontos, de “Discordo Completamente” a “Concordo Completamente”.
21 Escala cedida pela autora portuguesa. Não foram reveladas atempadamente as propriedades psicométricas do estudo de adaptação em Portugal (não publicado).
Capítulo III – Estudo 2 Quadro 3 – Síntese dos instrumentos utilizados e respectivos objectivos
Instrumento Objectivos
Questionário de Dados Sócio-demográficos Caracterizar a amostra relativamente a dados sócio-demográficos relevantes.
Escala de Competências de Coping Proactivo de Utrecht (Bode, Thoolen, & De Ridder,
2008)
Avaliar as competências de coping proactivo (coping proactivo na perspectiva processual).
Atitudes Face ao Envelhecimento (Laidlaw, Power, Schmidt, & Grupo WHOQOL-OLD,
2006)
Analisar atitudes positivas e negativas face ao envelhecimento em três domínios: perdas psicossociais, mudanças físicas e desenvolvimento psicológico.
Inventário de Coping Proactivo (Greenglass, Schwarzer, Jakubiec, Fiksenbaum, & Taubert, 1999; versão portuguesa de Marques, Lemos, &
Greenglass, 2004)
Avaliar a orientação proactiva (coping proactivo na perspectiva disposicional).
GHQ-12 (Goldberg, 1992; versão portuguesa de Lima, 2006)
Identificar eventuais casos de perturbações psiquiátricas na amostra.
Bem-estar Subjectivo – versão reduzida de 2 itens (Diener, Emmons, Larsen, & Griffin, 1985; versão portuguesa do European Social
Survey de 2006 - Portugal22)
Avaliar o bem-estar na perspectiva hedónica, identificando o nível de felicidade e satisfação com a vida.
Escala de Bem-estar Psicológico – versão reduzida de 6 itens (Ryff & Keyes, 1995;
versão portuguesa de Gonçalves, 2006)
Avaliar o bem-estar na perspectiva da eudaimonia, analisando dimensões relativas ao crescimento pessoal e envolvimento interpessoal.
Bem-estar Social (Keys, 1998; versão portuguesa de L. Lima, não publicada)
Avaliar o bem-estar ao nível da relação do indivíduo com o domínio público e social.
22 Jowell e Central Co-ordinating Team (2005) e Vala, Torres e Ramos (2006).
Procedimentos de análise
Para avaliar o impacto do programa nas várias variáveis consideradas, recorreu-se ao teste não-paramétrico de Wilcoxon para amostras emparelhadas e pequenas (N = 5). Todas as análises foram realizadas com recurso ao SPSS 17.0.
3.2 Resultados
Tendo em conta os diferentes blocos de avaliação que constituímos para este estudo, apresentam-se em seguida os resultados respeitantes à avaliação de processo e à avaliação de resultados. Note-se que a avaliação formativa nos levou a concluir que esta era uma intervenção pertinente, sustentada teoricamente (num modelo teórico que se acredita ser promotor do envelhecimento bem-sucedido), apoiada em estudos empíricos que mostraram a sua eficácia (Bode et al., 2006, 2007; Bode & De Ridder, 2007) e viável do ponto de vista dos procedimentos e materiais. Como tal, admitiu-se que o programa tinha viabilidade para ser aplicado no contexto em estudo.
Avaliação de processo
Analisando em que medida o programa foi implementado de acordo com as especificações do manual, reportamos dados relativos ao recrutamento e adesão de participantes, exposição à intervenção (i.e., comparecimento ao programa), componentes da intervenção e atitudes dos participantes ao longo das sessões.
Constatámos que o recrutamento e adesão de participantes na UTI levaram a que se constituíssem apenas 5 participantes verdadeiros, todos do sexo feminino. É possível que o reduzido tamanho da amostra se tenha relacionado com o facto do programa ter decorrido fora do período de actividades lectivas da UTI. Constatou-se, inclusive, que alguns utentes tinham interesse em participar no programa se o mesmo se iniciasse após o Verão (em Setembro ou Outubro). Se, por um lado, o tamanho reduzido da amostra acarretou dificuldades na análise de resultados, por outro, mostrou-se vantajoso na medida em que a intenção principal desta primeira aplicação se focalizava na exploração de dados de natureza processual. Não é surpreendente que se tenha constituído um grupo só de mulheres, já que noutros estudos também se constata que, de uma forma geral, há uma maior adesão de mulheres envolvidas em programas desta natureza (e.g., Bode et al., 2006). Face às inscrições iniciais, houve um abandono de quatro participantes, entre a inscrição e o pós-teste. Uma das desistentes não chegou a realizar pré-teste devido à necessidade de acompanhar um familiar doente, mas
Capítulo III – Estudo 2 mostrou-se interessada em ingressar o programa numa oportunidade futura. As outras três desistentes compareceram, respectivamente, até à 2ª sessão, 3ª sessão A e 3ª sessão B, tendo apresentado motivos ligados a gozo de férias fora da zona de Lisboa. Relativamente ao rácio de participação, duas participantes faltaram a uma sessão, tendo- se realizado um encontro adicional com a participante que faltou a uma sessão intermédia (3ª sessão A), de forma a dar-lhe oportunidade para desenvolver a simulação mental.
No que concerne à adequação dos materiais aos objectivos e adequação da planificação, listámos as alterações decorrentes da implementação no ponto 3.2.1 desta dissertação, deixando para o capítulo seguinte as sugestões para futuras aplicações do programa.
Através da observação e, por vezes, inquirindo directamente as participantes, procurámos obter alguns indicadores da adesão às tarefas propostas e de mudanças em aspectos afectivos, cognitivos e comportamentais que as participantes fossem vivendo ao longo do programa. De início, o grupo mostrou alguma resistência à ideia de preparar o futuro e expressou generalizadamente atitudes negativas face ao envelhecimento, nomeadamente, sentimentos de perda (a morte do cônjuge surgiu como a perda mais significativa), tristeza, solidão, incapacidade e escassez de oportunidades para realizar algo (nomeadamente, pelos poucos anos de vida por si antevistos). Inclusive, uma das participantes discordou do facto de poderem ser dourados os anos que aí vinham. Relativamente a objectivos gerais, as participantes mostraram concordância com o facto de quererem sentir-se ouvidas, ocupar o tempo e cuidar de si, para poderem ser úteis e não uma sobrecarga, sobretudo para a família.
Sensivelmente a meio do programa, as participantes apresentaram percepções distintas acerca da utilidade do mesmo: umas não sentiram alterações profundas, embora referissem que se sentiam a ser ajudadas a reflectir sobre aspectos importantes da sua vida, particularmente, os ligados ao envelhecimento (e.g., uma das participantes referiu que ao falar de certos temas na sessão, como a morte, percebeu que há assuntos que “voltam ao de cima para serem resolvidos”) ou que viam reforçada a importância de ter uma velhice activa e de lutar por objectivos (e.g., uma das participantes referiu que o programa a estava a ajudar a dar valor a ser como é, “lutadora e sonhadora”, até porque os filhos achavam desadequado ter novos objectivos aos seus setenta anos); outras revelaram que o programa estava a ter um impacto significativo (e.g., uma das participantes partilhou o seguinte: “já não penso nas coisas de forma tão triste”).
Relativamente a uma das tarefas mais relevantes do programa, ser capaz de delinear um objectivo relacionado com o envelhecimento, foi necessário insistir na necessidade de que este fosse exequível e passível de ser trabalhado durante o programa. Os objectivos pessoais das participantes prenderam-se com diferentes domínios de vida, nomeadamente, relações interpessoais (e.g., “conhecer amigos/companheiros de viagem”, “organizar um almoço com amigas e colegas”), saúde (e.g., “tratar das varizes”), resolver medos, traumas e assuntos inacabados (“ultrapassar o medo de nadar”, “ajudar a filha a encontrar um caminho”). Todas as participantes percepcionaram o seu objectivo como muito importante e formulado de forma concreta e atingível. Duas referiram que, de facto, conseguiram atingir o objectivo mas duas referiram que apenas o atingiram parcialmente23. Do ponto de vista da orientadora, uma das participantes não teve sucesso na formulação concreta e exequível do objectivo, já que o mesmo não era passível de controlo e causava grande ansiedade (“ajudar a filha a encontrar um caminho”); neste caso, foram tentadas técnicas de operacionalização (e.g., preparar uma conversa com a filha), reformulação (e.g., diminuir a ansiedade ligada a este stressor), desdobramento em pequenas tarefas, reestruturação cognitiva relativa ao controlo pessoal sobre o acontecimento causador de stress (segundo o modelo SOC, poderia ser mais adaptativo aceitar que o objectivo estava fora do controlo pessoal e definir um novo objectivo).
Um outro tópico relativo à avaliação de processo prende-se com a avaliação da satisfação dos participantes com o programa, para a qual usámos Fichas de Avaliação.
Relativamente à opinião acerca das sessões do programa (vide Anexo 12), as participantes mostraram estar muito satisfeitas, com as médias de classificação de cada sessão a variar entre 4.4 e 5 (máximo). O mesmo aconteceu quando se pediu às participantes (na sessão pós-teste) para avaliar a sua satisfação global com o programa (numa escala de 1 a 10), tendo-se obtido uma média de 9.5. Por sessão, avaliámos ainda alguns tópicos que podiam estar a interferir, de forma positiva ou negativa, na qualidade e credibilidade do programa do ponto de vista das participantes. Os resultados apontaram para uma satisfação geral positiva, com a avaliação média por cada tópico a variar entre 4.4 e 4.8, o que parece indicar que as participantes se interessaram bastante
23 Não temos dados relativos à quinta participante-verdadeira, pois esta não completou a ficha de avaliação final do programa.
Capítulo III – Estudo 2 pelos temas, consideraram as sessões fáceis e bem estruturadas, avaliaram a orientadora como credível (comunicação clara e capaz de manter o interesse dos participantes). As participantes consideraram ainda que a dinâmica do grupo proporcionou a intervenção e partilha de todos e, ainda, que o material de apoio foi adequado e de fácil leitura e utilização.
Quanto à análise das questões abertas, tal como descrevemos anteriormente, realizámos uma análise de conteúdo (vide Anexo 13). Por se ter verificado sobreposição nos temas de resposta às várias questões (avaliação geral da sessão; aspectos positivos e negativos; aspectos reflectidos e/ou aprendidos; sugestões e comentários; descrição do programa a terceiro) e ao longo das várias sessões, optou-se por analisar os dados de uma forma conjunta, mantendo a sessão, participante e questão de partida como unidades de contexto. Desta análise, constatou-se que as participantes fizeram sobretudo apreciações positivas da intervenção, nomeadamente pela pertinência da temática (e.g.,