Situert objektivitet

Diante da necessidade de uma análise teórica dos itens por variados juízes/especialistas da área, foi encaminhado o Formulário de Validade de Conteúdo - FVC (APÊNDICE II), desenvolvido pelo autor, para que estes realizassem suas análises acerca dos conteúdos presentes no instrumento. Foram utilizados os critérios de análise estabelecidos por Oliveira e Munster (2012): clareza da linguagem, pertinência teórica dos itens e viabilidade da aplicação. A seguir encontra-se a descrição de cada um dos critérios (COSTA; MUNSTER; SEABRA JÚNIOR, 2014; MUNSTER et al., 2014; OLIVEIRA; MUNSTER, 2012):

1) Clareza na linguagem: esse quesito visa verificar se os termos utilizados na descrição dos testes são adequados e se a linguagem é passível de entendimento pelo público a que se destina;

2) Pertinência teórica: esse critério busca analisar se os itens que compõem o instrumento encontram-se de acordo com a literatura científica da área;

3) Viabilidade de aplicação: esse quesito visa avaliar se os itens componentes do instrumento encontram-se adequados à finalidade do instrumento, bem como a viabilidade de aplicação dos testes.

Cada um dos testes componentes do PAIE-CR passou pela análise desses critérios. Cada um dos quesitos vinha acompanhado de três possíveis respostas, direcionadas a cada um dos itens, são elas: adequado; pouco adequado e inadequado. Além disso, foi disponibilizado aos avaliadores um campo reservado ao lado de cada item para que os mesmos pudessem fazer contribuições descritivas, anotações, sugestões, comentários entre outros, que posteriormente pudesse colaborar com o processo de tabulação, categorização e aprimoramento do instrumento.

Para avaliação dos níveis de concordância entre os juízes sobre cada um dos itens componentes do instrumento, foi calculado o Índice de Validade de Conteúdo – IVC. É recomendada a verificação quantitativa por meio desse índice, uma vez que esse mede a proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens. (ALEXANDRE; COLUCI, 2011; COLUCI; ALEXANDRE; MILANI, 2015). Este índice poderá auxiliar na identificação dos itens que se encontram inadequados, que necessitam de alterações e ajustes no processo de construção do instrumento (ALEXANDRE; COLUCI, 2011; OLIVEIRA; MUNSTER, 2012; PASQUALI, 1998).

Diante disso, para realizar a avaliação de cada um dos testes que compõem o PAIE, individualmente, foi utilizada a seguinte fórmula:

TOTAL DE RESPOSTAS POSITIVAS

IVC = --- NÚMERO TOTAL DE RESPOSTAS

O calculo do IVC é realizado por meio da soma do número total de respostas positivas (em concordância) marcadas pelos juízes em cada um dos itens/testes, dividido pelo número total de respostas possíveis (ALEXANDRE; COLUCI, 2011; PASQUALI, 1998).

Para verificação dos níveis de fidedignidade de cada um dos testes presentes nesse estudo, foram utilizados os critérios estabelecidos por Bauer e Gaskell (2004). O Quadro 5 apresenta a descrição dos níveis considerados.

Quadro 5 - Níveis de fidedignidade de Bauer e Gaskell (2004)

Resposta Nível de Fidedignidade

r > 0.90 Muito alta

r > 0.80 Alta

0.66 < r < 0.79 Aceitável

Fonte: Elaborado pelo autor.

Os dados representados pelos itens de análise dos juízes, foram calculados por meio do grau de concordância (respostas positivas) de cada juiz, divididos pelo número total de juízes. Esse procedimento foi realizado em cada um dos testes, por item de análise. Posteriormente, foi realizada a média de todos os testes, chegando ao índice total do instrumento por item de análise. Além disso, foi calculado o IVC de cada um dos testes e do instrumento de maneira geral. Torna-se relevante ressaltar os resultados serão apresentados em porcentagem. Para transformação dos números decimais, considera-se que porcentagem é uma parte de um todo de cem partes, ou seja, uma fração cujo denominador é 100. Assim, os números decimais apresentados nas respostas dos níveis de fidedignidade de Bauer e Gaskell (2004) foram multiplicados por 100 e transformados em porcentagem.

3.2.5 Resultados da Validação de Conteúdo

O grau de concordância entre os juízes participantes do estudo, assim como o índice de validade de conteúdo total encontram-se na Tabela 1. De maneira que cada um dos itens de análise (Clareza da Linguagem, Pertinência Teórica, Viabilidade de aplicação) na coluna central, presentes nos testes que compõem o instrumento foram avaliados, individualmente, de acordo com o grau de concordância dos juízes.

Tabela 1 – Grau de concordância entre juízes e Índice de Validade de Conteúdo Grau de concordância entre juízes

TESTES Itens de Análise Validade de Índice de

Conteúdo (%) Clareza da

Linguagem (%) Teórica (%) Pertinência Viabilidade de Aplicação (%)

Teste 1 62.50 87.50 62.50 70.83 Teste 2 50.00 87.50 75.00 70.83 Teste 3 62.50 87.50 87.50 79.17 Teste 4 62.50 87.50 100.00 83.33 Teste 5 100.00 87.50 75.00 87.50 Teste 6 75.00 87.50 87.50 83.33 Teste 7 87.50 87.50 75.00 83.33 Teste 8 87.50 87.50 62.50 79.17 Teste 9 100.00 87.50 87.50 91.67 Índice do PAIE Completo 76.38% 87.50% 80.15% 81.34%

O grau de concordância entre os juízes participantes do estudo, em relação aos testes que compõe o PAIE-CR atingiram variados índices. Analisar o instrumento como um todo, ou seja, a análise dos juízes sobre cada um dos testes e a média dessas avaliações chega-se ao índice do PAIE-CR completo, os quais demonstraram estar com nível de fidedignidade alto e/ou aceitável, levando em consideração os direcionamentos da escala de Bauer e Gaskell (2004).

Em relação à pertinência teórica, o grau de concordância demonstrou que o referencial teórico utilizado e a interlocução deste com o constructo que o instrumento se embasou encontram-se coerente. Referente à viabilidade de aplicação dos testes, o índice demonstrou a necessidade de aprimoramento e adequação de alguns dos testes presentes no PAIE. Em relação à clareza da linguagem, o índice alcançado demonstrou a grande necessidade de adequação, correção e aprimoramento dos aspectos semânticos e descritivos de cada um dos itens e procedimentos que se encontram presentes nos testes. O Índice de Validade de Conteúdo, referente à análise do instrumento como um

todo, também atingiu a porcentagem acima dos 80%, indicada pela literatura (ALEXANDRE; COLUCI, 2011; BAUER; GASKELL, 2004; PASQUALI, 1998).

É importante salientar que para a realização das adequações de cada um dos aspectos supradescritos foram utilizadas as contribuições, com vistas a atingir os direcionamentos sugeridos pelos especialistas da área.

Para melhor compreensão do processo de adequação do instrumento às sugestões obtidas, serão descritos os principais apontamentos dos especialistas, por teste e por juiz. Os aspectos que foram atendidos, os que não foram e as justificativas para as decisões tomadas, além dos demais pontos que foram aprimorados em meio ao processo natural de estudo.