India and South Asia

Essa forma de avaliação tem sido testada de diversas maneiras, na busca de dados de acurácia ou precisão, validade, aplicabilidade e viabilidade de seus resultados.

Inicialmente, buscou-se encontrar o poder discriminativo do teste nos diversos níveis de experiência profissional. Esse dado é importante para a demonstração da aplicabilidade e da validade do instrumento, já que comprovaria que esse método pode eliminar o denominado efeito intermediário.

É chamado de efeito intermediário de uma avaliação o fato de clínicos experientes obterem resultados semelhantes ou até inferiores em testes de múltipla escolha, por exemplo, quando comparados com residentes em final de treinamento. Ou seja, esse resultado demonstra que este tipo de exame não é capaz de avaliar o grau de experiência do profissional.

Um estudo publicado por Charlin e colaboradores em 1998 demonstrou a validade do teste de concordância de scripts (TCS) em diferenciar profissionais de acordo com seus níveis de experiência clínica.

A validade do processo de ranqueamento do teste foi visto em um estudo que aplicou a avaliação na área de ginecologia, usando os resultados obtidos por 150 estudantes e 14 especialistas. Com isso, analisou-se o valor do método de pontuação agregada, proposto por Norman (1985).

Para se alcançar o efeito de variabilidade de respostas entre especialistas, duas formas de obtenção de respostas foram propostas. Primeiramente, os especialistas responderam o teste individualmente. Um ano depois, as respostas ao mesmo teste foram obtidas por uma resolução em grupo, ou seja, através de um consenso entre os especialistas.

A primeira conclusão desse estudo é que os especialistas respondem o teste de forma diferente, de acordo com o contexto, já que 95% das respostas consensuais foram diferentes das individuais. A interação entre colegas, portanto, pode modificar o raciocínio clínico.

Como resultado dessa diferença, foi possível criar dois ranqueamentos entre especialistas, sendo um o resultado do conjunto de respostas individuais, ou seja, pelo método agregado, diferente do escore consensual. Entretanto, somente o ranqueamento agregado foi capaz de mostrar a diferença de resultado entre os testes respondidos por estudantes e especialistas. Portanto, essa estratégia de ranqueamento foi a única validada.

A validade preditiva do TCS foi demonstrada através de um exame realizado em médicos residentes em medicina de família no Canadá. Brailovsky et al. (2001), fizeram uma comparação entre os resultados de testes aplicados para avaliar o raciocínio clínico em dois momentos diferentes da formação dos 24 residentes. Os resultados demonstraram que a capacidade para organizar e aplicar conhecimentos para o raciocínio clínico se manteve ao longo da residência médica.

A estabilidade do teste em dois ambientes de aprendizado diferentes foi analisada em uma pesquisa que comparou o desempenho entre estudantes e residentes e especialistas em um exame que seguia a metodologia do TCS, usando assuntos da área urológica.

Esse exame foi aplicado inicialmente em língua inglesa, no Canadá. Em seguida, foi traduzido e validado também, segundo um painel de referência francês, em língua francesa, para ser aplicado em uma universidade na França. As diferenças encontradas entre os grupos se correlacionaram nos dois países onde o teste foi aplicado, comprovando sua validade através de diferentes ambientes de aprendizado.

A avaliação de como se lida com dilemas éticos na profissão médica é difícil de ser feita através de testes objetivos e padronizados. O julgamento ético consiste em uma dimensão complexa da competência profissional. Recente pesquisa, entretanto, tentou aplicar os recursos do TCS para avaliar as respostas a assuntos controversos em decisões terapêuticas.

Llorca* (2003) construiu um instrumento através da apresentação de um caso clínico, seguido de seis atitudes que poderiam ser tomadas. As respostas eram realizadas em uma escala tipo Likert. Além dos estudantes e residentes examinados, quatro painéis de referência foram obtidos, sendo o primeiro formado de membros do comitê de ética de um hospital universitário, o segundo por professores com interesses em ética, o terceiro por professores em geral e, o último, por médicos de família (citado por Charlin et al., 2004).

Os painéis de referência apresentaram resultados semelhantes. Porém as respostas do painel formado por médicos de família foram mais semelhantes às respostas oferecidas pelos residentes, a qual foi mais técnica. Quando se obteve uma pontuação a partir das respostas dos painéis de referência, os residentes demonstraram um desempenho superior àquele dos estudantes.

A partir desse estudo, uma nova opção foi proposta na busca de alternativas válidas e viáveis para a avaliação de itens tão complexos dentro das dimensões de competência, como a capacidade de julgamento em dilemas éticos.

* Llorca G, Evaluation de résolution de problème mal definis en éthique clinique: variation des scores selon les methods de correction et selon les caracteristiques des juris. Pédagogie Médicale, 2003; 4: p. 80-88 apud Charlin B, Vleuten CVD. Standardized Assessment of Reasoning in Contexts of Uncertainty: The Script Concordance Approach. Eval Heal Prof. 2004; 27 (3): p. 304-319.

Outra etapa de validação de construção do teste, sob o ponto de vista cognitivo, foi alcançada por Gagnon et al. (2006), através de uma pesquisa que avaliou a diferença de tempo de processamento de novas informações, de acordo com o fato de elas serem típicas ou atípicas, e compatíveis ou incompatíveis com a hipótese diagnóstica proposta.

Esse objetivo adveio do pressuposto teórico de que os scripts, quando ativados, contêm expectativas em características que são correlacionadas com cada doença e com uma variabilidade de valores que podem ser típicos, atípicos ou incompatíveis para aquela doença.

Sendo assim, os autores documentaram, nessa pesquisa, que o processamento de informações tem velocidades diferentes de acordo com o fato de uma nova informação ser típica, atípica ou incompatível com o script ativado. Para isso, foram recrutados dois grupos de participantes (trinta estudantes e trinta geriatras), que receberam 64 casos clínicos com temas em geriatria acompanhados de hipóteses diagnósticas geradoras de scripts.

A partir de cada hipótese, em cada item, uma nova informação foi apresentada. Os participantes, então, teriam de decidir se aquela nova informação aumentava, diminuía ou não afetava a probabilidade para a hipótese diagnóstica. A velocidade de processamento de cada item foi aferida através da aplicação do teste através de um programa de computador.

Como resultado, constatou-se que as informações típicas são processadas mais rapidamente do que as atípicas, sendo que as incompatíveis estiveram em uma velocidade intermediária. Com isso, foi possível predizer qual tipo de informação é processada mais rapidamente em termos de compatibilidade com as hipóteses formuladas. Esse resultado demonstrou que o teste de concordância de scripts está em acordo com a teoria cognitiva que o fundamenta.

3.7 A geriatria e o seu ensino como elementos de