Após a definição do contexto de uso do website e dos critérios de avaliação,
a coleta de dados foi realizada conforme a descrição das seguintes etapas:
1ª Etapa – Elaboração de instrumentos de avaliação do website
Para a avaliação do website, três aspectos distintos de sua qualidade foram
analisados. Assim, três instrumentos diferentes foram elaborados para que fosse possível analisar os seguintes aspectos:
Qualidade estrutural do website,
Qualidade da informação disponibilizada e Qualidade de navegação.
A criação desses instrumentos foi necessária pela inexistência de um instrumento de avaliação de website traduzido e validado no Brasil. Sua
construção foi realizada, tendo como referencial alguns instrumentos e modelos de avaliação utilizados em outros países, tais como: Health-Related Web Site Evaluation Form 39, System Usability Scale40, Heuristic Evaluation33 e o HONcode35.
Para a mensuração de cada item de avaliação, foi utilizada escala de medida
Likert pela possibilidade de reconhecer a oposição entre os contrários, além de
reconhecer o gradiente e situações intermediárias.41 O intervalo considerado na
escala de cada item de avaliação foi de 5 a 1, e os conceitos referentes à escala variaram, de acordo com o critério de avaliação, conforme a descrição:
- (5) excelente, (4) muito bom, 3 bom, 2 regular, 1 ruim; ou
- (5) concordo plenamente, (4) concordo em parte, (3) nem concordo, nem discordo, (2) discordo em parte, (1) discordo plenamente.
Material e Método 19
Para a avaliação da qualidade estrutural do website, foram considerados os
seguintes critérios: autoridade e propósito de website, sua aparência geral, suas
consistências e padrões, sua funcionalidade e navegabilidade, seu conteúdo e os aspectos relacionados aos erros. (Apêndice 1)
Dentre os critérios para a avaliação da qualidade das informações, foram considerados: a apresentação e o conteúdo geral. Na avaliação dos conteúdos específicos, consideraram-se a legibilidade, a clareza e a objetividade das informações, a qualidade das ilustrações (fotos, figuras e animações), dos vídeos e do áudio e a adequação do conteúdo. (Apêndice 2)
Na avaliação da qualidade de navegação, considerou-se: a aparência geral do website, a facilidade de navegação, a atitude do usuário perante o website, a
adequação do conteúdo; na avaliação dos conteúdos específicos, consideraram- se a legibilidade, clareza e objetividade das informações, qualidade das ilustrações (fotos, figuras e animações), qualidade dos vídeos e do áudio e a adequação do conteúdo. (Apêndice 3)
Em cada critério de avaliação, foram incluídos itens para determinar a qualidade do site no aspecto avaliado por meio da escala estipulada e ao final de cada critério foi disponibilizado um espaço, para que o avaliador pudesse redigir sua opinião e sugestões sobre a avaliação.
2ª Etapa – Validação dos instrumentos de avaliação do website
Após a elaboração dos três instrumentos, estes foram submetidos à análise de consenso com o objetivo de validar seu conteúdo. O processo enfoca a adequação da cobertura da área de conteúdo a ser medido.42 Para determinar a
validade de conteúdo dos instrumentos, cada item da avaliação foi analisado por meio de um roteiro, observando-se os seguintes aspectos43 (Apêndice 4, 5, 6):
Relação de cada item de avaliação com seu respectivo critério de avaliação,
Material e Método 20
Domínio de conteúdo.
A escala considerada no roteiro de avaliação foi de 1 a 4, e as correspondências entre os valores numéricos e conceituais estipulados foram: (1) sem relação, (2) pouca relação, (3) tem relação e (4) muita relação. E, ao final de cada critério, foi disponibilizado um espaço, para que o avaliador pudesse redigir sua opinião e sugestões sobre a análise dos itens de avaliação.
Para analisar cada instrumento, optou-se por utilizar uma amostra de conveniência constituída de 15 profissionais, sendo cinco da área de informática, cinco da área da saúde e cinco professores de ensino superior. Os critérios de seleção dos profissionais de cada área para compor a amostra foram, conforme a descrição a seguir:
- Para Avaliação da Qualidade Estrutural do website:
Ser profissional da área de informática com formação superior;
Possuir experiência mínima de cinco anos na elaboração de websites; e
Pertencer a uma instituição reconhecida na área da informática.
- Para Avaliação da Qualidade da Informação do website:
Ser enfermeiro ou médico;
Possuir experiência mínima de cinco anos no ensino de SBV ou na área de Emergência; e
Pertencer a uma instituição reconhecida na área da saúde.
- Para Avaliação da Qualidade de Navegação: Ser professor de ensino superior;
Possuir experiência mínima de cinco anos de atuação em Educação de nível superior (ensino presencial ou à distância); e
Pertencer a uma instituição reconhecida na área do ensino.
Os profissionais foram selecionados por meio de busca ativa em instituições reconhecidas na cidade de São Paulo, e o contato com os profissionais foi realizado inicialmente por telefone, no qual foram explicados os objetivos e as
Material e Método 21
etapas do estudo. Após a obtenção da resposta favorável à participação do estudo, agendou-se um encontro entre a pesquisadora e o profissional para a assinatura do Termo de Consentimento Livre e Esclarecido (Anexo 2), e o fornecimento dos impressos de avaliação. Além disso, o profissional receberia as orientações de seu preenchimento e, também, seria possível sanar suas dúvidas.
Solicitou-se que a análise fosse realizada no período de até 15 dias, após o recebimento dos impressos e que, ao término desse processo, o avaliador contatasse a pesquisadora por e-mail ou por telefone para devolução do material.
Para validação de cada instrumento, determinou-se o valor ≥ 0,70 como Limite de Segurança (LS). O cálculo para a obtenção do LS de cada instrumento, consistiu na relação entre os escores totais (Et), somatória de todas as pontuações determinadas pelos avaliadores, e escore máximo (Em) que representa a somatória da pontuação máxima possível em cada instrumento.
A correção de cada item dos instrumentos de avaliação do website foi
realizada, de acordo com as sugestões feitas pelos profissionais e também, de acordo com a pontuação alcançada pelos mesmos, obtendo-se a versão final dos instrumentos, conforme Apêndice 7, 8 e 9.
3ª Etapa - Avaliação da qualidade do website
Após a validação dos instrumentos, estes foram utilizados para realizar a avaliação do website por dez profissionais e por alunos do curso de graduação
em Enfermagem da UNIFESP por meio de amostra de conveniência. Dentre os profissionais, cinco eram da área de informática e cinco da área da saúde.
Os profissionais foram selecionados por meio de busca ativa em instituições reconhecidas na cidade de São Paulo, de acordo com critérios de inclusão da amostra, conforme a descrição a seguir:
- Avaliação da Qualidade Estrutural do website:
Material e Método 22
Possuir experiência mínima de cinco anos na elaboração de websites; e
Pertencer a uma instituição reconhecida na área de informática.
- Avaliação da Qualidade da Informação do website:
Ser enfermeiro ou médico;
Possuir experiência mínima de cinco anos, como instrutor de BLS ou Emergência; e
Pertencer a uma instituição reconhecida na área da saúde.
- Avaliação da Qualidade de Navegação.
Aluno regularmente matriculado no 1º ano do curso de graduação em Enfermagem da Universidade Federal de São Paulo - UNIFESP
Inicialmente, o estabelecimento de contato com os profissionais foi realizado por telefone, no qual foram explicados os objetivos e as etapas do estudo. Após a obtenção de resposta favorável à participação no estudo, e com a assinatura do Termo de Consentimento Livre e Esclarecido (Anexo 3), solicitou-se o endereço eletrônico do profissional, para que fosse realizado seu cadastramento para acesso ao website em Primeiros Socorros. Nesse momento, também foi
combinado um encontro entre a pesquisadora com o profissional para o fornecimento dos impressos de avaliação, o Termo de Consentimento Livre e Esclarecido e para que o profissional recebesse as orientações de preenchimento, bem como, para que as possíveis dúvidas fossem esclarecidas.
Solicitou-se que a análise fosse realizada no período de até 15 dias após recebimento dos impressos; e, ao término desse processo, o avaliador contatasse a pesquisadora por e-mail ou telefone para devolução do material.
Em relação aos alunos, foram explicados os objetivos, as principais etapas do estudo e como o aluno deveria proceder a avaliação no primeiro dia de aula da Disciplina de Suporte Básico de Vida. Após as orientações, foram entregues o Termo de Consentimento Livre e Esclarecido (Anexo 3) e o instrumento de avaliação do website. Caso o aluno consentisse participar do estudo, solicitou-se
Material e Método 23
pesquisadora nessa mesma ocasião, e que o instrumento respondido fosse entregue à pesquisadora no último dia de aula da disciplina.