DEL 1 Innledende betraktninger
1.2 Rammeverket
1.2.1 Omsorgshistoriske perspektiv
Introdução
Nesta sessão, resumimos alguns princípios gerais acerca da avaliação. Após a publicação deste docu- mento, a OMS planeja disponibilizar as ferramen- tas padrão de avaliação para este plano curricular. Cotidianamente nos deparamos com alguma forma de avaliação: que alimento comer, que roupa vestir, que filme assistir. A avaliação do programa pedagógi- co é um importante componente de qualquer plano curricular e deve ser incluída na estratégia de imple- mentação dos programas de segurança do paciente em sua instituição, hospital ou sala de aula. Ela pode ser tão simples quanto solicitar que os alunos preen- cham um questionário, após uma atividade sobre segurança do paciente, ou tão complexa quanto fazer uma revisão integral do currículo, o que pode envolver pesquisas com grupos focais de alunos e funcionários, observação de sessões pedagógicas de docentes, além de outros outros métodos de avaliação . A avaliação envolve três passos principais: • desenvolver um plano de avaliação; • coletar e analisar informações;
• disseminar os resultados visando à capacitação das partes interessadas.
Como a avaliação do programa pedagógico dife- re da avaliação de desempenho dos estudantes? As terminologias “avaliação do programa pedagó- gico” e “avaliação de desempenho dos estudantes” podem ser confundidas em alguns países. O modo mais fácil de lembrar a diferença entre “assess- ment” e “evaluation” 1 é que o primeiro diz respeito à avaliação de aprendizagem dos alunos, enquanto que “evaluation” verifica o quê e como foi ensinado. Na avaliação de desempenho do estudante, a infor- mação é coletada de uma única fonte (o estudante), enquanto que para a avaliação do programa cur- ricular, a informação pode ser coletada de várias fontes (estudantes, pacientes, professores e/ou outras partes interessadas).
1. N.T.: Essa diferenciação não existe na língua Portuguesa. Ambos os termos são traduzidos por “avaliação”.
Assessment = avaliação de desempenho dos alunos Evaluation = avaliação da qualidade dos cursos/ programas e da qualidade do ensino
Primeira etapa: Desenvolver um plano de avaliação
O que está sendo avaliado?
O primeiro passo fundamental no desenvolvi- mento de um plano de avaliação é identificar o objeto a ser avaliado: Trata-se de uma única aula a respeito de segurança do paciente? É um plano curricular inteiro? Estamos avaliando a capacidade da faculdade de implementar o conteúdo? Estamos avaliando o desempenho/a eficiência do professor? Objetos de avaliação podem ser classificados como política, programa, produto ou indivíduo [1] - e tudo pode ser aplicado ao contexto educacional.
Quais são as partes interessadas?
Há muitas partes interessadas na avaliação da educação em segurança do paciente. No entanto, é importante identificar o principal público interes- sado, já que isso impactará as questões que serão verificadas para a avaliação. O público principal interessado pode ser a universidade, os profissio- nais relevantes do corpo docente, a administração hospitalar, os professores, os alunos ou os pacientes. Por exemplo, se você for um professor interessado em saber como seus alunos responderam à introdu- ção do tema de segurança do paciente em seu curso, você é considerado um interessado principal.
Qual é o propósito da avaliação?
Depois de identificar o(s) principais interessado(s), o próximo passo é decidir o que se deseja atingir com a avaliação. Que perguntas queremos respon- der. Essas questões podem variar dependendo do seu papel no ensino de segurança do paciente. A Ta- bela A.10.1 ilustra os tipos de perguntas que podem ser feitas, dependendo do interessado principal.
Partes interessadas Possíveis perguntas para avaliação
Administradores de hospitais/equipe clínica
Ensinar segurança do paciente para profissionais de saúde pode resultar em uma diminuição do número de eventos adversos?
Professores universitários Como este plano curricular de segurança do paciente pode ser melhor implementado em nossa instituição?
Cada professor Estou apresentando o plano curricular de forma eficaz?
Os alunos estão interessados em aprender o tema segurança do paciente?
Eles estão usando os princípios de segurança do paciente em seus locais de atuação? Tabela A.10.1. Exemplos de perguntas feitas pelas partes interessadas
Qual(is) forma(s) de avaliação são mais apropriadas?
As formas de avaliação do programa pedagógico podem ser categorizadas da seguinte maneira: proativas, clarificativas, interativas, de moni- toramento e de impacto [2]. As formas diferem de acordo com o objetivo principal da avaliação,
com as fases de implementação do programa/ currículo em que você se encontra, os tipos de perguntas que você está fazendo e as principais abordagens necessárias. A Tabela A.10.2 mostra um resumo de cada tipo de avaliação do progra- ma pedagógico.
Tabela A.10.2. Tipos de avaliação do programa pedagógico
Proativa Síntese Contexto para o currículo Nenhum (ainda não implementado) Antes Avaliação das necessidades Revisão da literatura Revisão de documentos e banco de dados Visitas locais, grupos focais, técnica de grupos nominais Técnica Delphi para avaliação das necessidades Propósito Orientação Foco principal Estado do programa/ Currículo Tempo relativo à implementação Principais abordagens Coleta de provas Clarificativa Clarificação Todos os elementos Fase de desenvolvimento Durante Análise da avaliação Desenvolvimento lógico Acreditação Combinação de análise de documentos, entrevistas e observação Descobertas incluem planos de programa e implicações para organização. Podem levar à melhora na motivação. Interativa Melhoria Produto Fase de desenvolvimento Durante Receptividade Pesquisa-ação Desenvolvimento Empoderamento Revisão da qualidade Observação local Questionários Entrevistas Grupos focais Nível da estrutura da informação depende da abordagem. Pode envolver provedores (professores) e participantes do programa (estudantes) Impacto Justificação Responsabilidade Produto Resultados Estabelecido Implementado Depois Baseado em objetivos Baseado em necessidades Sem objetivos Resultado do processo Realista Auditoria de desempenho Projetos de pesquisa pré-ordenados Tratamento e grupos de controle onde é possível Observação Testes e outras informações quantitativas Determinar todos os resultados requer o uso de métodos mais exploratórios e provas qualitativas Monitoramento Justificação Ajuste Produto Resultados Estabelecido Implementado Durante Análise de componentes Avaliação de desempenho transferida Análise de sistemas Uma abordagem de sistemas requer disponibilidade da gestão dos sistemas de informação uso de indicadores, e uso prático da informação de desempenho
Parte A 10. Como avaliar os planos curriculares de segurança do paciente? 71 Quais são os resultados pretendidos e como o programa está elaborado para atingi-los? Qual é a linha principal do programa? Quais elementos precisam ser modificados para maximizar os resultados pretendidos? O programa é plausível? Quais aspectos do programa são passíveis de acompanhamento posterior para avaliação de impacto? Quais os objetivos do programa? Como o programa está evoluindo? O produto obtido é bom? O produto é consistente com o plano do programa? Como o programa poderia ser mudado para ser mais efixaz? Como essa organização poderia ser modificada para tornar o programa mais eficaz? O programa atinge a população-alvo? A reunião de implementação estabelece objetivos e parâmetros referenciais? Como a implementação está acontecendo entre as unidades? Como está a implementação atual se comparada a 1 mês/6 meses/ 1 ano atrás? Seus custos estão aumentando ou diminuindo?
Como podemos ajustar o programa para torná-lo mais eficiente? Mais eficaz?
Existem partes de programas que precisam de atenção para garantir resultados mais eficazes? Tipos de questões O programa foi implementado como planejado? Os objetivos estabelecidos foram alcançados? As necessidades dos estudantes, professores e outros que utilizam o programa foram atendidas? Quais são os resultados inesperados? Como as diferenças na implementação afetam os resultados do programa? O programa é mais eficiente para alguns participantes do que para outros?
O programa tem uma boa relação custo-benefício? Existe a necessidade de um programa? O que sabemos sobre o problema que o programa abordará? O que é reconhecido como a melhor prática?
Fonte: Adaptado de Owen J. Program evaluation: forms and approaches, 2006[1].
Segunda etapa: Coletar e analisar informações
Coleta
Há várias fontes de dados e métodos de coleta a serem considerados na avaliação de um currículo de segurança do paciente ou de qualquer outro objeto. Quantos e quais você utiliza depende do propósito da forma, da abrangência e da escala da avaliação. As fontes potenciais de dados incluem: • estudantes (futuros, atuais, ex-alunos, desistentes); • o próprio pesquisador (engajar-se em autorreflexão); • colegas (parceiros de ensino, tutores, professo-
res externos);
• especialistas em elaboração de disciplinas e currículos;
• equipe de desenvolvimento profissional; • graduados e empregadores (exemplo: hospitais); • documentos e gravações (exemplo: material
didático, avaliações gravadas).
Os dados podem ser coletados a partir das fontes acima e de diversas formas, incluindo reflexão pessoal, questionários, grupos focais, entrevistas individuais, observação e documentos/registros.
Autorreflexão
A autorreflexão é uma atividade importante para todos os educadores e tem um papel relevante na avaliação. Um método eficiente de reflexão engloba:
• escrever sua experiência de ensino (nesse caso, em educação de segurança do paciente) ou
feedback recebido de outras pessoas;
• descrever como se sentiu e se ficou surpreso com esses sentimentos;
• reavaliar sua experiência no contexto das hipóte- ses feitas [3]: ”Eram boas hipóteses? Por que sim ou por que não? ”
A prática da autorreflexão permitirá o desenvolvi- mento de novas perspectivas e de um maior com- prometimento com a ação, em termos de melhoria do currículo e/ou aprimoramento do ensino.
Questionários
Questionários são, de longe, o método mais comum de coleta de dados. Eles fornecem infor- mações sobre o conhecimento das pessoas, suas crenças, atitudes e comportamentos [4]. Se você
está interessado em atividades educacionais de segurança do paciente, é importante usar um ques- tionário previamente validado e publicado. Isso poupará tempo e recursos, e permitirá que você compare seus resultados com os de outros estudos usando o mesmo instrumento. É sempre útil, como um primeiro passo, pesquisar a literatura para verificar as ferramentas já existentes.
É mais comum, no entanto, que professores/ facul- dades/universidades decidam desenvolver ques- tionários para uso próprio e individual. Eles podem ter perguntas abertas ou fechadas e podem ter uma grande variedade de formatos, como: múltipla escolha, escalas de classificação, ou texto livre. Um questionário bem elaborado é parte integrante da coleta de dados de qualidade, e muito tem sido escri- to sobre a importância do seu layout e da construção adequada de seus itens [5]. É importante consultar uma das referências ou recursos fornecidos, antes de desenvolver um questionário de avaliação do en- sino da segurança do paciente ou do plano curricular.
Grupos focais
Grupos focais são úteis como um método explora- tório e uma forma de revelar as perspectivas dos estudantes ou tutores [6]. Eles frequentemente fornecem informações mais profundas do que os questionários e permitem uma exploração flexível e interativa das atitudes e experiências relaciona- das à mudança curricular. Podem ser utilizados em conjunto com questionários ou com outros méto- dos de coleta de dados como um meio de verificar ou triangular dados e podem variar em termos de estrutura e de apresentação, abrangendo desde um formato oral informal e flexível até um rigida- mente regulamentado e formal.
Dependendo dos recursos disponíveis e do nível de análise que se busca, pode ser preferível o registro de grupos focais, por meio de áudio ou vídeo, além dos registros escritos, ou para substituir estes.
Entrevistas individuais
Entrevistas individuais proporcionam a oportuni- dade para explorar mais as atitudes em relação a potenciais mudanças curriculares e às experiências com o currículo, uma vez implementado. Como acontece com grupos focais, elas podem ter um formato não-estruturado, semiestruturado ou estruturado, de acordo com um modelo. Embora entrevistas individuais forneçam informações sobre uma faixa mais estreita de experiência do que os grupos focais, elas também permitem que o entrevistador explore mais profundamente os pontos de vista e as experiências de um indivíduo específico. Entrevistas individuais podem ser um método útil para a obtenção de dados de avaliação de colegas, instrutores, supervisores ou líderes docentes e administradores.
Observação
Para algumas formas de avaliação pode ser útil realizar observações de sessões pedagógicas sobre segurança do paciente para obter uma compreen- são mais profunda de como o material está sendo apresentado e/ou recebido.
As observações devem envolver o uso de um qua- dro para ajudar a estruturar as observações. Esse quadro pode ser relativamente estruturado (por exemplo: um simples rascunho) ou muito estrutura- do (por exemplo: o observador classifica o objeto da avaliação em uma variedade de dimensões prede- terminadas e faz comentários para cada uma delas).
Documentos/registros
Como parte da avaliação, você deve examinar documentos ou estatísticas, como materiais de en- sino utilizados ou dados coletados sobre o desem- penho do estudante. Outras informações, como dados do hospital a respeito de eventos adversos, também podem ser úteis, dependendo das ques- tões a serem avaliadas.
Análise
A coleta de dados pode incluir um ou mais dos mé- todos acima, além de outros não citados. Em am- bos os casos, há três elementos interconectados a considerar em termos de análise de dados [1]: • disposição dos dados: organização e montagem
de informações coletadas de forma significativa; • redução dos dados: simplificação dos dados e
transformação da informação em uma versão mais aplicável ao trabalho;
• conclusão: construção de significados, partindo dos dados relativos às questões da avaliação.
Terceira etapa: Disseminar as descobertas e partir para a ação
Com muita frequência, as conclusões e recomen- dações das avaliações não são postas em prática. O primeiro passo para evitar isso é assegurar que essa informação valiosa seja veiculada de maneira significativa para todas as partes interessadas. Se a avaliação está relacionada à qualidade do ensino de segurança do paciente, então, os resultados (ex.: de questionários de estudantes ou sessões de ensino observadas por pares) devem ser envia- dos e discutidos não só com a administração, mas também com os professores. Brinko [7] apresen- tou uma excelente revisão das melhores práticas do processo de feedback para alunos e colegas. É importante que qualquer feedback seja recebido de modo a estimular o crescimento ou a melhoria. Se a avaliação foca na eficiência do currículo de segurança do paciente, as conclusões e recomen- dações para melhoria devem ser comunicadas àqueles que participaram da implementação do currículo (ex.: nos níveis da instituição, do corpo
Parte A 10. Como avaliar os planos curriculares de segurança do paciente? 73
docente, do professor e do estudante). O formato da disseminação deve ser significativo e relevan- te. A comunicação eficiente dos resultados da avaliação, das descobertas e das recomendações são catalisadores fundamentais para implementar melhorias no ensino da segurança do paciente e no projeto do currículo.
(Por exemplo, no nível das instituições, professores e alunos). O formato para a divulgação deve ser significativo e relevante. A comunicação eficaz de avaliação dos resultados, conclusões e recomen- dações da avaliação é um catalisador fundamental para melhorias no ensino e na elaboração de currí- culos sobre segurança do paciente.
Ferramentas e materiais de referência Os seguintes recursos podem ser úteis em vários estágios do planejamento e da implementação da avaliação:
DiCicco-Bloom B, Crabtree BF. The qualitative research interview. Medical Education, 2006, 40:314-321.
Neuman WL. Social research methods: qualitative and quantitative approaches, 6th ed. Boston, Pear- son Educational Inc, Allyn and Bacon, 2006. Payne DA. Designing educational project and pro- gram evaluations: a practical overview based on research and experience. Boston, Kluwer Acade- mic Publishers, 1994.
University of Wisconsin-Extension. Program deve- lopment and evaluation, 2008 (http://www.uwex. edu/ces/pdande/evaluation/; Accesso em 17 de fevereiro de 2010).
Wilkes M, Bligh J. Evaluating educational interven- tions. British Medical Journal, 1999, 318:1269-1272. Referências
1. Owen J. Program evaluation: forms and approa-
ches, 3rd ed. Sydney, Allen & Unwin, 2006.
2. Boud D, Keogh R, Walker D. Reflection, turning experience into learning. London, Kogan Page
Ltd, 1985.
3. Boynton PM, Greenhalgh T. Selecting, desig- ning and developing your questionnaire. British
Medical Journal, 2004, 328:1312-1315.
4. Leung WC. How to design a questionnaire. Stu-
dent British Medical Journal, 2001, 9:187-189.
5. Taylor-Powell E. Questionnaire design: asking
questions with a purpose. University of Wiscon-
sin-Extension, 1998 (http://learningstore.uwex. edu/pdf/G36582.pdf; Accesso em 17 de feverei- ro de 2010).
6. Barbour RS. Making sense of focus groups.
Medical Education, 2005, 39:742-750.
7. Brinko K. The practice of giving feedback to improve teaching: what is effective? Journal of