A categoria “Ambientes controlados envolvendo usuários” foi utilizada na avaliação do protótipo por usuários, pois tem sido usada na avaliação de aplicações de software e de outras tecnologias, devido ao fato de possibilitar o controle das ações dos usuários de acordo com o período de duração dessas ações e reduzirem as influências externas. Nessa abordagem, são utilizados os testes de usabilidade envolvendo a coleta de dados por meio de uma combinação de métodos, quais sejam: questionários, entrevistas, observações e experimentos; o que ge- ralmente é realizado em laboratórios, embora já estejam sendo realizados de modo remoto ou
em ambientes naturais (ROGERS; SHARP; PREECE, 2013). Nos testes de usabilidade, tem-se como objetivo central determinar se uma interface é utilizável pelos usuários alvo, na realização de tarefas para as quais o sistema foi projetado. Esses testes muitas vezes envolvem a compa- ração do número e tipos de erros cometidos pelos usuários e a gravação do tempo que levam para efetuar uma tarefa por meio do registro de log Rogers, Sharp e Preece (2013). Assim, foram utilizados dois métodos de avaliação para verificar a usabilidade do protótipo do Portal Semântico Educacional desenvolvido nesta investigação, quais sejam: experimentos e questi- onários. No que se refere aos experimentos, têm por objetivo testar hipóteses específicas que preveem como será o desempenho do usuário na utilização do protótipo. Além disso, possibi- litam mais rigor e confiabilidade na validação de uma hipótese Rogers, Sharp e Preece (2013). Nesse sentido, considerando que este estudo tem como hipótese que: ao incorporar metada- dos aos conteúdos audiovisuais educacionais, o acesso dos usuários às informações específicas presentes nesses vídeos poderá ser facilitado e mais preciso em relação as necessidades desses usuários; valeu-se do design experimental, o qual permite ao pesquisador testar uma hipótese que envolve o exame da relação entre duas coisas, criando condições de manter variáveis cons- tantes com a finalidade de impedir que elas influenciem nos resultados. Assim, para o teste de hipótese foram definidas duas condições de cadastro e busca de conteúdos audiovisuais para o protótipo do Portal Semântico Educacional construído: um modo de cadastro e busca com in- serção de metadados, denominados nesta pesquisa de “descritores relacionados”, e outro modo que não considera “descritores relacionados”. Como variáveis constantes no design experi- mental, para este estudo foram estabelecidos: número de conteúdos audiovisuais, conteúdos audiovisuais, título e descrição geral desses conteúdos. Levando em consideração essas colo- cações sobre as características e metodologias de testes de usabilidade de um protótipo, além das melhorias apontadas pela avaliação heurística, implementadas no protótipo do Portal Se- mântico Educacional construído para este estudo, foram realizadas modificações para que esse protótipo seja capaz de registrar as ações de clicar do usuário, o tempo em que as ações são efetuadas e, também, os links do protótipo que são acessados. Ainda, conforme estabelecido para o teste de hipótese, foram implementados no protótipo os dois modos de cadastro e busca: a página “CURSOS1”, destinada a cadastro de conteúdo audiovisual, apenas com descrição ge- ral; e a página de “CURSOS2”, que propicia a inserção de conteúdo audiovisual, com adição de descritores relacionados; a página “HOME1”, que possibilita buscas pela descrição geral, e a página “HOME2”, que realiza buscas semânticas por descritores relacionados. Para que
fosse possível realizar os experimentos, foi elaborado um roteiro (Apêndices D e E) com base no guia utilizado na avaliação heurística, contendo os passos a serem seguidos pelos usuários, contemplando todos os casos de uso (Apêndice A) estabelecidos para a utilização do protótipo do Portal Semântico Educacional, os quais contemplam as funcionalidades de: cadastrar usuá- rio, efetuar login no portal; cadastrar um vídeo apenas com descrição geral e título; cadastrar um vídeo com descrição geral, título e descritores relacionados; recuperar vídeo com descrição geral apenas; recuperar vídeo utilizando descritores relacionados. No que se refere à obtenção das opiniões dos usuários acerca da experiência de uso do protótipo, Rogers, Sharp e Preece (2013) defendem também a utilização de questionários de satisfação do usuário, entrevistas e ainda a observação local dos protótipos para coletar evidências sobre como esse protótipo está sendo utilizado em outros ambientes. Esses testes propiciam aos arquitetos e desenvolvedores o entendimento de problemas de usabilidade por meio da observação das reações dos usuários perante um produto interativo. Para esses autores, esses testes são geralmente realizados em laboratórios de universidades ou na indústria, consistindo em ambientes mais controlados, em relação às variáveis externas que possam influenciar no desempenho dos usuários participantes do teste. Além disso, esses testes permitem que os usuários expressem com confiança que as considerações advindas do experimento decorrem das características da interface do sistema que está sendo mensurada (ROGERS; SHARP; PREECE, 2013). Nessa direção, para a coleta de dados no âmbito desta dissertação, em relação às opniões dos usuários sobre o protótipo do Portal Semântico Educacional construído, foram usados dois questionários. De acordo com Ro- gers, Sharp e Preece (2013) os questionários, quando bem elaborados, contemplando questões específicas e fechadas com uma gama de opções de respostas, consistem em um bom modo de obter respostas de um grupo de pessoas. De acordo com esses autores, esses questionários permitem a validação imediata dos dados, incluem taxas de respostas mais rápidas, bem como a transferência automática das respostas para uma base de dados. Assim, como o protótipo do Portal Semântico Educacional tem como usuários-alvo professores e alunos, foi elaborado um questionário para cada perfil, com base no trabalho de Oliveira (2009), contemplando questões referentes a informações demográficas e à experiência de interação do usuário. As questões que abordam as informações demográficas se relacionam à: idade, gênero, formação e atuação pro- fissional. As questões que aludem à experiência do usuário: utilização de vídeos educacionais e do portal; cadastro de vídeos com e sem a adição de descritores; modo de apresentação dos conteúdos audiovisuais; avaliação do retorno encontrado pelas buscas, considerando os modos
sem e com descritores relacionados; navegação nos resultados exibidos em formato de árvore hiperbólica; escolha de um tipo de portal para buscar vídeos destinados a estudos. Visando fa- cilitar a escolha das alternativas propostas nas questões dos questionários e a análise dos dados coletados para a avaliação do protótipo por cada um dos perfis, os questionários foram cons- truídos e disponibilizados no próprio Portal Semântico Educacional através de duas páginas: QUEST.1 (Questionário para o perfil de “Professor”) (Apêndice F) e QUEST.2 (Questionário para o perfil de “Aluno”) (Apêndice F). No que se refere à seleção do grupo de potenciais usuá- rios para os testes de usabilidade, foi escolhida uma amostra de 12 professores universitários e 19 alunos, todos matriculados e frequentando programas de pós-graduação. Esses testes de usabilidade foram realizados em laboratórios de informática e em sessões via Skype, com du- ração aproximada de 3 horas cada sessão. Depois da etapa de coleta de dados para a avaliação do protótipo do Portal Semântico Educacional, os dados foram analisados e os resultados serão explicitados no próximo capítulo.
7 RESULTADOS DA AVALIAÇÃO DO PROTÓTIPO
Este capítulo apresenta e analisa os dados coletados na etapa de avaliação do design de interação do protótipo do Portal Semântico Educacional construído.
7.1 Resultados da Avaliação Heurística
A avaliação heurística realizada com quatro especialistas, sendo dois especialistas em de- sign de interação, com conhecimento em engenharia e arquitetura de software, e dois especi- alistas na área da educação, com conhecimento das necessidades e comportamento típico dos usuários, teve por objetivo a avaliação dos componentes da interface do usuário, como estrutura de navegação entre as funcionalidades, e páginas e elementos, como caixa de texto, botões, menus, entre outros.
Guiados por um roteiro (Apêndice B) e com base nas heurísticas identificadas por Nielsen (2010, apud ROGERS, PREECE, SHARP, 2013) e adequadas aos propósitos desta investigação, os avaliadores fizeram sugestões de melhoria que foram realizadas no protótipo do portal e serão explicitadas a seguir.
Ao avaliarem a página de cadastro, os especialistas aconselharam a inserção do campo para escolher o perfil de utilização do usuário, ao invés desse perfil ser gerenciado por usuários já cadastrados com perfil “Professor”, fundamentados na heurística prevenção de erros, que aconselha a eliminação de condições passíveis de erro. Isso porque esse gerenciamento seria efetuado de forma complexa. Essa alteração pode ser visualizada na Figura 20.
Ao avaliar a página “Home” do protótipo, os especialistas recomendavam a inserção da funcionalidade de uma busca avançada por meio de campos de entrada na interface gráfica de usuário no lugar da utilização de strings de busca, guiados pela heurística correspondência entre o sistema e o mundo real, que sugere a utilização da linguagem do usuário com conceitos e linguagens familiares e não técnicos. As modificações efetuadas podem ser observadas na Figura 21.
Figura 21 – Busca avançada
Em relação à avaliação da página “Meus Cursos”, levando em consideração as heurísticas consistência e padrões e visibilidade do status do sistema, os especialistas sugeriram o ajuste de posição e altura do botão “Adicionar” e o modificação do texto para “Adicionar Vídeo”. A Figura 22 apresenta essas alterações.
Figura 22 – Adicionar Vídeo
Considerando a heurística estética minimalista e design minimalista, que aborda a apre- sentação de informações extras que competem com informações relevantes, os especialistas sugeriram que o player de exibição do vídeo deveria ser retirado da aba “Geral”, já que essa
informação é apresentada na aba “Palavras-Chave” de um curso específico. Além disso, para essa mesma tela, foi utilizada a heurística consistência e padrões, a qual indica a convenção de padrões para uma plataforma, para apontar a correção do campo vídeo que apresentava o idioma inglês, e não português, como utilizado no restante do protótipo, e o ajuste de posição e altura do botão “Salvar”. Além disso, ainda para a aba “Geral”, sugeriram a inserção dos cam- pos “Categoria” e “Nível de dificuldade”, considerando a heurística correspondência entre o sistema e o mundo real, para possibilitar a inserção de informações para a busca avançada. Essas alterações podem ser visualizadas na Figura 23, que apresenta a tela como era antes, e como ficou depois das alterações.
Figura 23 – Adicionar Vídeo
Para a aba de “Palavras-Chave”, os especialistas recomendaram retirar a descrição geral do vídeo que já está na aba “Geral”, com base na heurística estética minimalista e design minimalista. Além disso, apontaram a necessidade de inserção do tempo final do descritor e modificação do nome da aba para “Descritores Relacionados”, de acordo com a heurística correspondência ente o sistema e o mundo real, já que um determinado tópico contido em um vídeo tem tempo inicial e final. Outra sugestão foi a funcionalidade de adicionar e remover um descritor e depois disso publicar as alterações, fundamentados na heurística controle do usuário e liberdade, que aponta a necessidade do sistema disponibilizar funções que permitam desfazer uma ação indesejada sem que o usuário precise percorrer um longo caminho dentro do sistema. Em relação à heurística ajuda e documentação, os especialistas requisitaram a inserção de um texto abaixo do vídeo para ensinar o passo a passo de adicionar um descritor. De acordo com a heurística visibilidade do status do sistema, que aconselha manter os usuá- rios informados sobre o que está realizando e onde está no sistema, na aba “Palavras-Chave”, sugeriram a mudança do texto do botão “Salvar” para “Publicar”. Todas essas alterações podem ser visualizadas na Figura 24.
Figura 24 – Descritores Relacionados
Depois de terem sido implementadas as melhorias apontadas pelos especialistas na avali- ação heurística, foram realizados os testes de usabilidade com usuários, que serão descritos a seguir.