Involveres politikere for sent i prosessen?
DEL 5 – DRØFTELSE AV HOVEDPROBLEMSTILLING
5.2 DRØFTELSE OG REFLEKSJONER
Por meio da figura 4, observa-se que 91% das respostas mostraram que as
experts concordaram com as questões da parte IV, 4% ficaram em dúvida e
5% discordaram.
Item IV.1 - Domínio da Promoção da Saúde:
Na avaliação dos itens referentes ao domínio da Promoção da Saúde, não houve discordância e dúvidas das experts com relação aos itens: IV1.1 (Você se considera uma pessoa saudável?), IV1.2 (O que
você tem feito para manter-se saudável?), IV1.3 (O que você tem feito para resolver ou controlar o seu problema de saúde?) e IV.1.4 (Você consegue manter o ambiente do seu lar limpo e organizado?).
Entretanto, a expert 4 fez o seguinte comentário em relação à questão IV.1.3: “Eu colocaria “resolver ou controlar”.
A expert 3 discordou parcialmente do aspecto “Especificidade de Conteúdo” da questão IV.1.5 (A sua renda familiar mensal é suficiente para
as despesas básicas [alimentação, água, luz, aluguel])?, e também
respondeu que Não manteria este item no instrumento de coleta de dados, embora não justificasse a sua avaliação. Não foram realizadas modificações neste item, pois apenas uma expert discordou e também não justificou sua avaliação.
A questão IV.1.6 (Você ou sua família recebem ajuda financeira de
alguma instituição?) obteve a avaliação de discordância total da juíza de
número 5 quanto à “Especificidade do Conteúdo”, “Relevância do Conteúdo“ e “Coerência do Conteúdo”, porém não foram feitas sugestões/comentários. A expert 3 discordou parcialmente sobre a
“Especificidade do Conteúdo” e comentou: “Considero este item desnecessário”. As experts 3, 4 e 5 avaliaram que esse item deveria ser excluído.
Devido à discordância de duas experts em um mesmo aspecto, este item foi reenviado para as avaliadoras com as respostas da primeira avaliação. Nesta segunda rodada de julgamento, as experts de número 1, 3, 4 e 5 concordaram com sua exclusão. Ainda, a expert de número 5 comentou: “Concordo com a exclusão por ser um item de baixa relevância e especificidade”. Assim, foi feita a exclusão do item IV.1.6.
Os itens IV1.7 (Você toma algum medicamento?); IV1.8 (Sabe me
dizer os nomes dos medicamentos, sua dosagem, e para que eles servem?) e IV1.9 (Você segue corretamente o tratamento da sua doença?)
tiveram respostas de concordância por todas as avaliadoras.
Foram feitos, entretanto, os seguintes comentários a respeito da questão IV.1.7:
Expert 4: “Creio que ficaria melhor: “Faz uso de algum medicamento?”.
Expert 3: “Sugestão: Você toma algum remédio?”
A pergunta de número IV.1.10 (Você procura atenção imediata para
alterações na sua saúde?) obteve a resposta Discordo Totalmente em
relação ao aspecto “Adequação da linguagem” por parte da expert 3, com a respectiva sugestão de mudança do texto para: “Quando você tem algum problema de saúde, procura imediatamente o médico ou o hospital?”. Esta sugestão foi aceita, visto ter sido considerada mais adequada para o entendimento da população em estudo.
A questão IV1.11 (Você já foi internado (a)?) não teve qualquer discordância ou dúvida por parte das experts.
No que diz respeito à questão IV.1.12 (Além do profissional médico,
outros profissionais de saúde lhe orientaram quanto ao seu tratamento?) ,
houve discordância parcial quanto à “Relevância do Conteúdo”, “Especificidade do Conteúdo” e “Coerência do Conteúdo” pelas experts 3 e 5. As mesmas colocaram ainda que não manteriam esse item. Entretanto, apenas a expert 5 comentou o seguinte: “Considero mais adequado verificar se ele recebeu ou recebe sistematicamente orientações”.
Como houve discordância de duas avaliadoras sobre os mesmos aspectos, esta questão foi também reenviada para a segunda etapa de validação. Nesta segunda rodada, as experts 2, 3, 4 discordaram dos resultados citados acima, fazendo as seguintes observações:
Expert 1: “Considera-se importante não induzir a pergunta, questionar se recebeu ou recebe informações sistematicamente”.
Expert 2: “Em algumas instituições se faz este tipo de orientação”.
Expert 3: “O Sr. tem recebido orientações sobre o seu tratamento nas consultas?”
Expert 5: “Concordo com avaliar se recebe orientação sistemática e independente do profissional”.
Optou-se então por modificar e pergunta para: IV.1.12 O Sr. (a) tem
recebido orientações sobre o seu tratamento nas consultas?, por julgar que
desse modo poderá se identificar se os pacientes recebem orientações sistematicamente.
A juíza de número 5 discordou parcialmente da pergunta IV.1.13 (O
que eles lhe orientaram?) quanto os aspectos de “Relevância”, “Especificidade” e “Coerência do Conteúdo” e assinalou não para as questões: “Você manteria este item na seqüência atual?” e “Você manteria esse item?”, porém não justificou essa opção. Apesar desta avaliação, a
questão foi alterada, pois o tópico anterior foi modificado e este seria sua seqüência. A questão ficou então: “IV.1.13 - O que lhe foi orientado?”
Com relação à questão IV.1.13, houve também a seguinte sugestão, por parte da expert 4: “Acrescentar: horário adequado das medicações e efeitos colaterais das drogas”. Esta sugestão foi considerada adequada, sendo introduzidos estes aspectos na questão, entre parênteses, para que o paciente responda qual a orientação recebida.
Para a questão IV.1.14 (Consegue fazer tudo o que eles pediram?) não houve discordâncias ou dúvidas das juízas. Foram feitos, entretanto, os seguintes comentários:
Expert 3: “Sugestão: consegue fazer tudo o que lhe foi orientado?”.
Expert 4 “Retirar o “especifique” do item “Sim”, pois se é tudo não cabe especificação”.
Estas sugestões foram aceitas, pois contribuíam para a clareza do item, ficando a questão da seguinte forma: IV.1.14 - consegue fazer tudo o
que lhe foi orientado? Sim – Não (especifique).
A questão IV.1.15 (Diariamente tem o hábito de: escovar os dentes,
Houve as respostas Discordo Parcialmente quanto à “Especificidade do Conteúdo” de uma juíza (expert 3), a qual não sugeriu nenhuma modificação, e Discordo Parcialmente quanto à “Adequação da linguagem” e Discordo Totalmente quanto à “Clareza das Questões” da expert 5 , que colocou a seguinte sugestão: “Sugiro reformular a questão”.
Ainda sobre a mesma questão, a expert 4 respondeu Não para as questões: “Você manteria esse item na sua seqüência atual?” e “Você
manteria esse item?”, juntamente com o comentário: Qual é a relevância dos hábitos de higiene em relação à questão da HAS?
Devido à discordância de três experts, esta questão foi remetida novamente às avaliadoras na segunda etapa. As juízas 1, 2, 3 e 5 concordaram que esta questão deve ser reformulada e as experts 2, 3, 4 e 5 comentaram, respectivamente:
Expert 2: “Pode colocar: dentre os seus hábitos de higiene diários, tem o hábito de”.
Expert 3: “Deixe como está”.
Expert 4: “Baixa clareza. Sugiro simplificar ou detalhar menos”.
A questão foi então modificada para: IV.1.15 - Dentre os seus
hábitos de higiene diários, o Sr. (a) tem o hábito de: usar fio dental, lavar os cabelos e tomar banho”. Além disso, esta questão foi também transferida para o domínio 4, pois após discussão com a orientadora do trabalho identificou-se que esta questão avalia o autocuidado do paciente quanto à sua higiene.
Os itens IV.1.16; IV.1.17 e IV.1.18 não tiveram respostas de dúvida ou de discordância. Entretanto, a expert 3 respondeu Não para a pergunta “Você manteria esse item em sua seqüência atual?” relacionada às mesmas, e também respondeu Não para a questão “Você manteria o
Freqüência – Há quanto tempo?). Emitiu também as seguintes
sugestões/comentários:
Questão IV.1.16 (É fumante? Se sim: Quantidade/maço - Há quanto
tempo?): “Se a investigação dos antecedentes pessoais incluir a
investigação sobre tabagismo, creio que fique repetitivo abordar novamente aqui”.
Questão IV.1.17 (Faz uso de bebida alcoólica? Se sim: -Quantidade
- Freqüência/Há quanto tempo?): “Se a investigação dos antecedentes
pessoais incluir a investigação sobre alcoolismo, creio que fique repetitivo abordar novamente aqui”.
Questão IV.1.18 (Faz uso de drogas ?Se sim :-Tipo –Freqüência - Há quanto tempo?): “Se a investigação dos antecedentes pessoais incluir a investigação sobre tabagismo, creio que fique repetitivo abordar novamente aqui”.
Para estes itens, houve também o seguinte comentário da expert 2: “Se ele respondeu que não, porque é pedido para especificar?”.
Apesar das sugestões, optou-se por apenas retirar o “justificar” da resposta não da questão IV.1.18, visto que a avaliação de retirada das mesmas foi de apenas uma juíza e estes são dados considerados importantes, que devem ser identificados em pacientes hipertensos (12).
Figura 7:Distribuição em porcentagem das respostas dos juízes que responderam concordo totalmente ou concordo parcialmente em relação à relevância de conteúdo, especificidade de conteúdo, coerência de conteúdo, clareza das questões e adequação a linguagem da parte IV1. São Paulo, 2007.
ParteIV-Dados clínicos Relevância Especificidade Coerência Clareza Adequação
de de Conteúdo De das da
Conteúdo Conteúdo Questões Linguagem
IV.1.1- Você se
100%
80%
100%
80%
100%
considera uma pessoa saudável?
IV.1.2- O que você tem
100%
100%
100%
100%
100%
feito para manter-se saudável?
IV.1.3- O que você tem
100%
100%
100%
100%
100%
feito para resolver, Controlar o seu problema de saúde?
IV.1.4- Você
80%
80%
100%
100%
100%
Consegue manter o Ambiente do seular limpo e organizado?
IV.1.5- A sua renda
80%
80%
80%
100%
100%
Familiar mensal é Suficiente para as Despesas básicas (alimentação,água, luz, aluguel)?
IV.1.6- Você ou sua
40%
40%
40%
100%
100%
família recebem ajudaFinanceira de alguma instituição?
IV.1.7- Faz uso de
100%
100%
100%
100%
80%
medicamento?
IV.1.8- Sabe me dizer
100%
100%
100%
100%
100%
os nomes dos
medicamentos, sua dosagem, e para que eles servem?
IV.1.9- Você segue
100%
100%
100%
100%
100%
corretamente o tratamento da sua doença?
IV.1.10- Você procura
100%
80%
80%
80%
80%
atenção imediata para alterações na sua saúde?
IV.1.11- Você já foi
100%
100%
100%
100%
100%
internado (a)?
IV.1.12- Além do
40%
40%
40%
100%
100%
profissional médico, outros profissionais de saúde lhe orientaram
quanto ao seu
tratamento?
orientaram?
IV.1.14-Consegue
100%
100%
100%
100%
100%
fazer tudo o que eles
pediram?
IV.1.15- Diariamente
80%
40%
80%
80%
80%
tem o hábito de:
-escovar os dentes
-usar fio dental
-lavar os cabelos -tomar banho IV.1.16- É fumante?
100%
100%
100%
100%
100%
Se sim:- Quantidade/maço –Há quanto tempo?IV.1.17- Faz uso de
100%
100%
100%
100%
100%
bebida alcoólica?
Se sim:-
Quantidade/maço
- Freqüência
-Há quanto tempo?
IV.1.18- Faz uso de
100%
100%
100%
100%
100%
drogas ? Se sim:-Tipo - Freqüência -Há quanto tempo? Média
88,8%
84,4%
88,8%
96,6%
96,6%
Item IV.2 - Domínio da Nutrição:
O item IV.2.1 (Geralmente quantas refeições você faz por dia?) teve
discordância quanto à “Especificidade do conteúdo” de somente uma avaliadora, que não sugeriu nenhuma alteração.
As questões IV.2.2 (Com que freqüência você ingere os seguintes
alimentos e líquidos?), IV.2.3 (Você restringe alimentos gordurosos da sua dieta?), IV.2.4 (Você restringe o sal de sua dieta?) e IV.2.6 (Como está o
seu apetite?) não obtiveram avaliações de dúvida ou discordância. Todavia,
para o item IV.2.4 houve a seguinte sugestão da expert 3: “Você controla a quantidade de sal que coloca na comida?”, que foi acatada.
No item IV.2.5 (Você se sente bem com o seu peso?), a expert 3 discordou parcialmente quanto à “Relevância”, “Especificidade” e
“Coerência do Conteúdo”, marcando Não nas questões “Você manteria
este item em sua seqüência atual?” e “Você manteria esse item?”, porém
não fez sugestões. Não foram feitas modificações nesta questão.
A questão IV.2.7 (Quantos copos de líquido [água, suco, chás e
outros] você bebe por dia?) recebeu a avaliação de discordância total em
relação aos aspectos de “Relevância”, “Especificidade”, “Coerência” e “Clareza do Conteúdo”. Obteve também a resposta Não das experts 2 e 5 para a pergunta “Você manteria este item em sua seqüência atual?” e
somente da expert 5 para o quesito “Você manteria esse item?”. O
comentário para esta avaliação foi: “Questão já vista no item 2.2.
Este item foi então excluído, conforme a avaliação das juízas 2 e 5, pois o tópico 2.2 realmente já contemplava esta questão.
Figura 8:Distribuição em porcentagem das respostas dos juízes que responderam concordo
totalmente ou concordo parcialmente em relação à relevância de conteúdo, especificidade de conteúdo, coerência de conteúdo, clareza das questões e adequação a linguagem da parte IV.2. São Paulo, 2007.
Parte IV- Relevância Especificidade Coerência Clareza Adequação
Dados de de Conteúdo De das da
clínicos Conteúdo Conteúdo Questões Linguagem
IV.2.1-
100%
80%
100%
100% 100%
Geralmente quantas
refeições você faz por dia? IV.2.2-
100%
100%
100%
100%
100%
Com que freqüência você ingere os seguintes alimentos e líquidos? IV.2.3100%
100%
100%
100%
80%
Você restringe alimentos gordurosos da sua dieta? IV.2.4 –100%
100%
100%
100%
80%
Você restringe o sal de sua dieta? IV.2.5-80%
80%
80%
100%
100%
Você se sente bem com o seu peso? IV.2.6-100%
100%
100%
100%
100%
Como está o seuapetite? IV.2.7-
80%
80%
80%
80%
100%
Quantos copos de líquido (água, suco, chás e outros) você bebe por dia? Média94,2%
91,4%
94,2%
97,1%
94,2%
Item IV.3 - Domínio da Eliminação e Troca:
Neste domínio, apenas o item IV.3.1 (Como é o funcionamento de
seu intestino em relação a: Características (aspecto) das fezes: pastosa; endurecida; diarréia; acastanhadas; esbranquiçadas; escurecidas; com estrias de sangue) não obteve nenhuma discordância. Algumas juízas,
embora concordassem com os itens deste domínio, realizaram sugestões ou comentários que colaboraram com o aprimoramento do instrumento de mensuração.
Assim, para a questão IV.3.1, sugeriu-se:
Expert 1: “Incluir nas eliminações intestinais o item da freqüência”.
Expert 4: “Acrescentar: Freqüência das evacuações: diária, etc... e Queixas: dor, sangramento, etc...”
Expert 4: “Ao invés de características, eu sugiro: Consistência das fezes: pastosa, etc... e Coloração das fezes: acastanhadas etc...”.
Os resultados quanto às demais questões foram:
No subitem IV.3.1.1 (Tem problema para evacuar? - dor - dificuldade
de eliminá-las) a expert 4 discordou quanto a manter este item na sua
seqüência atual e também a mantê-lo no instrumento de mensuração. A sugestão para este tópico foi: “Eu sugiro incluir tudo no item anterior.”
A avaliação da questão IV.3.2 (Como é o funcionamento de sua
bexiga em relação a Características da urina: amarela; clara; escura; alaranjada; avermelhada) foi de discordância em relação à “Adequação da linguagem” por parte da expert 3. Contudo, não houveram sugestões/comentários, e por isso não foram feitas modificações.
A avaliadora de número 4 também não manteria as questões IV.3.2.1 (Tem problema ao urinar?) e IV.3.2.2 (Levanta à noite para urinar?) em sua seqüência atual e também não manteria esses itens no instrumento, emitindo as seguintes sugestões: “Da mesma forma que para a evacuação, sugiro agrupar tudo num item só. Acrescentaria no item 3.2: Como é o funcionamento de sua bexiga em relação a: Cor da urina:...., Odor da urina:..., Freqüência das micções:...., Problemas na micção: dor, ardor, incontinência”
As sugestões foram consideradas adequadas, procedendo-se à alteração das questões, de forma a agrupar todos os itens em cada uma das perguntas específicas sobre as eliminações intestinais e urinárias.
Figura 9:Distribuição em porcentagem das respostas dos juízes que responderam concordo totalmente ou concordo parcialmente em relação à relevância de conteúdo, especificidade de conteúdo, coerência de conteúdo, clareza das questões e adequação a linguagem da parte IV.3. São Paulo, 2007.
Parte Relevância Especificidade Coerência Clareza Adequação
IV_dados de de Conteúdo De das da
clínicos Conteúdo Conteúdo Questões Linguagem
IV.3.1- Como
100%
100%
100%
100%
80%
é o funcionamento de seu intestino em relação à: IV.3.1.1 Tem100%
100%
100%
100%
100%
problema para evacuar? IV.3.2- Como100%
100%
100%
100%
80%
é o funcionamento de sua bexiga em relação à: IV.3.2.1 Tem100%
100%
100%
100%
80%
problema ao urinar? IV.3.2.2-100%
100%
100%
100%
80%
Levanta a noite para urinar?Média
100%
100%
100%
100%
84%
Item IV.4 - Domínio da Atividade/ Repouso:
Na questão IV.4.1 (Sente que tem energia suficiente para realizar as
atividades do dia-a-dia? Por quê?), uma das avaliadoras (expert 3)
discordou parcialmente quanto à “Adequação da linguagem”, embora não tenha fundamentado sua avaliação.
A expert 2 concordou totalmente com este item, entretanto comentou o seguinte: “Acho que este “por que” no item da questão não ficou bom - colocaria no lugar de “especifique”.
No item IV.4.2 (Tem dificuldades para efetuar as seguintes
atividades: alimentar-se, higiene pessoal, vestir-se, arrumar a casa; caminhar/andar; correr) a expert 3 concordou parcialmente quanto à
“Adequação da linguagem” e sugeriu o seguinte: “Tem dificuldade para fazer/realizar as seguintes atividades:...”
As sugestões quanto a estes dois tópicos contribuíram para melhorar o conteúdo desta questão.
As perguntas IV.4.3 (Você pratica algum exercício físico?), IV.4.4 (Sente-se cansado (a) ou com fraqueza após algum esforço físico?) e IV.4.5 (Você sente necessidade de repousar ao longo do dia?) foram alteradas para os números IV.4.5, I.V4.6 e I.V4.7, respectivamente, pois a s questões 1.15 e 5.1 foram transferidas para este domínio (IV.4- Domínio da Atividade/ Repouso), pois esses itens referem-se ao autocuidado. Esta disposição facilitará o raciocínio clínico do entrevistador.
Figura 10:Distribuição em porcentagem das respostas dos juízes que responderam concordo totalmente ou concordo parcialmente em relação à relevância de conteúdo, especificidade de conteúdo, coerência de conteúdo, clareza das questões e adequação a linguagem da parte IV.4. São Paulo, 2007.
ParteIV- Relevância Especificidade Coerência Clareza Adequação
dados de de Conteúdo De das da
clínicos Conteúdo Conteúdo Questões Linguagem
IV.4.1-
100%
100%
100%
100%
80%
Sente que tem energia suficiente para realizar as atividades dodia-a- dia? Por quê? IV.4.2- Tem100%
80%
100%
100%
80%
dificuldades para efetuar as seguintes atividades: IV.4.3- Você100%
100%
100%
100%
100%
pratica algum exercício físico? IV.4.4-100%
100%
100%
100%
100%
Sente-se cansado (a) ou com fraqueza após algum esforço físico? IV.4.5- Você
100%
100%
100%
80%
80%
sente necessidade de repousar ao longo do dia? IV.4.6-100%
100%
100%
100%
100%
Durante o sono costuma apresentar: -dificuldade para respirar -roncos -tosse -interrupção do sono -sonhos -pesadelos -demora para pegar no sono IV.4.7-100%
100%
100%
100%
100%
Sente-se descansado quando acorda?Média
100%
97,1%
100%
97,1%
91,4
Item IV.5 - Domínio da Percepção/Cognição:
A juíza 5 assinalou Não para a questão “Você manteria esse item
em sua seqüência atual?” referente ao item IV.5.1 (Você se sente capaz para cuidar de si próprio?) e a justificou desta maneira: “Obs – o
autocuidado faz parte do domínio atividade/repouso”. Concordando com a sugestão, esta questão também foi transferida para o domínio IV.4 (Atividade/ Repouso), até mesmo porque a classe de autocuidado pertence a este domínio.
Apesar das outras quatro experts não discordarem dos itens I.V.5.1 (Você se sente capaz para cuidar de si próprio?) e IV.5.2 (Tem dificuldade
para: ouvir; enxergar; memorizar; aprender coisas novas?), emitiram
sugestões pertinentes, como segue:
Para a questão IV.5.1, a expert 4 sugeriu: “...capaz de cuidar...”
Na questão IV.5.2, a expert 3 observou: “Memorizar = gravar as coisas na memória”. Esta sugestão foi considerada importante, por isso a expressão foi inserida.
Figura 11:Distribuição em porcentagem das respostas dos juízes que responderam concordo totalmente ou concordo parcialmente em relação à relevância de conteúdo, especificidade de conteúdo, coerência de conteúdo, clareza das questões e adequação a linguagem da parte IV.5. São Paulo, 2007.
Parte IV- Relevância Especificidade Coerência Clareza Adequação
dados de de Conteúdo De das da
clínicos Conteúdo Conteúdo Questões Linguagem
IV.5.1-
80%
80%
80%
100%
100%
Você se sente capaz para cuidar de si próprio? IV.5.2 Tem80%
80%
80%
100%
80%
dificuldade para: -ouvir -enxergar -memorizar -aprender coisas novas Média80%
80%
80%
100%
90%
Item IV.6 - Domínio da Auto-Percepção:
Com relação à primeira questão deste domínio - IV.6.1 (Como você
se descreveria? Como uma pessoa: aborrecida; medrosa; ansiosa; preocupada; tensa; deprimida ;triste; alegre; feliz; indecisa), a expert 3
discordou parcialmente quanto ao aspecto de “Especificidade do conteúdo” e assinalou Não para a pergunta “Você manteria esse item em sua seqüência atual? e “Você manteria esse item?”, emitindo o comentário:
“Esse tipo de pergunta envolve o julgamento da pessoa sobre si mesma e, provavelmente, num primeiro encontro, a verbalização desse julgamento não retrate o que a pessoa acha de si, por vergonha, medo de se expor ou, simplesmente, pela falta de vínculo com o entrevistador.” Como esta opinião foi de apenas uma juíza, este tópico não foi alterado.
A questão IV.6.2 (Quando você tem problemas na sua vida,
consegue resolvê-los a maior parte das vezes?) teve a discordância total da expert 1 quanto à “Especificidade do Conteúdo”, ”Coerência do Conteúdo” e “Adequação da linguagem”, que observou: “Por experiência em pesquisas anteriores, quando utilizei perguntas dessa natureza, havia muita dificuldade de interpretação e em respondê-la.”
A expert 3 discordou parcialmente quanto à “Coerência do Conteúdo”, “Clareza das questões” e “Adequação da Linguagem”, e ainda excluiria esse item do instrumento, justificando: “Com relação a esse item, a pergunta está diretiva para a concordância.”
Como duas experts discordaram dos mesmos aspectos, este item foi reenviado para a segunda fase da avaliação. Na segunda rodada, todos os juízes concordaram que a pergunta está diretiva para a concordância. A avaliadora de número 2 sugeriu: “Pode colocar como resolve os problemas, e se consegue resolvê-los com freqüência”. Já a expert 3 sugeriu:
propôs: “Você consegue resolver satisfatoriamente a maior parte dos problemas que surgem em sua vida?”.
O tópico foi então modificado para “IV.6.2 - Consegue resolver os
problemas que tem na vida?” porque concluiu-se que, desta forma, fica mais claro e com uma linguagem mais simples.
O item IV.6.3 (Está satisfeito com a sua capacidade de resolver seus
problemas da vida diária?) obteve da juíza 3 a resposta Discordo
Parcialmente quanto aos aspectos de “Coerência do Conteúdo”, “Especificidade do Conteúdo” e “Adequação da linguagem”. A mesma também marcou Não para as perguntas “Você manteria esse item em sua
seqüência atual?” e “Você manteria esse item?”, e comentou: “Por