Na fase de avaliação por usuários foram executadas todas as atividades previamente definidas para os três sítios web avaliados, o que levou em torno de sete horas para cada sítio, em média.
Em seguida estão relatados os resultados alcançados com a execução desta fase, e respectivas análises.
5.1.4.1. Atividade: Planejamento da Avaliação com Usuário
Esta atividade possui o objetivo de planejar todas as avaliações de acessibilidade a serem realizadas com os usuários, convencional e deficientes visuais. A atividade de planejamento da avaliação com os usuários é composta de três etapas distintas, que consistem em:
Definir as três tarefas que cada usuário irá tentar executar no sítio web em avaliação;
Confirmar os agendamentos com os usuários, sendo três deles com deficiência visual e um sem deficiência;
Imprimir todos os documentos necessários para a realização das avaliações.
As tarefas foram escolhidas, preferencialmente, a partir das páginas selecionadas para execução da segunda ferramenta automática, se enquadrando em quatro categorias: consulta, contato, pesquisa e cadastro (com ou sem autenticação).
Não há diferença da execução piloto para uma execução real utilizando o PAASDEV nesta atividade, com exceção da melhoria identificada abaixo, que já consta da versão mais recente do processo proposto.
Todas as três etapas foram executadas de acordo com o previsto no processo inicialmente proposto, para os três sítios web avaliados, mas foi identificado como melhoria no artefato incluir sempre a resposta da tarefa a ser executada, após a descrição do objetivo de cada tarefa.
5.1.4.2. Atividade: Avaliação com Usuário Convencional
Esta atividade possui o objetivo de realizar avaliação de acessibilidade em sítio web com um usuário sem deficiência visual, com o intuito de verificar como um usuário convencional realiza as tarefas propostas para posterior comparação de seu desempenho com o desempenho dos usuários deficientes visuais.
Em uma avaliação real utilizando o PAASDEV, o usuário apenas buscará executar as três tarefas definidas para o sítio web sem responder perguntas sobre este sítio.
Todas as três tarefas escolhidas para execução em cada um dos sítos web avaliados na execução piloto do processo foram realizadas com sucesso pelo usuário convencional.
Os gráficos 19 e 20 contém os resultados relativos ao tempo despendido pelo usuário convencional em todas as tarefas dos três sítios web avaliados:
0 1 2 3 4 5 Tarefa 3 Tarefa 2 Tarefa 1 minutos Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 19 – Tempo utilizado pelo usuário convencional na execução das tarefas
0 2 4 6 8 10 12 Avaliação minutos Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 20 – Tempo total utilizado pelo usuário convencional na execução das tarefas
Apesar de não estar previsto no processo proposto, após a execução piloto, foi solicitado ao usuário que atribuísse notas de zero a cinco para cada um dos três sítios web. O usuário convencional atribuiu as notas: três, quatro e três novamente, respectivamente, para os sítios web avaliados, e afirmou ainda que não havia acessado antes nenhum destes sítios.
Não foi identificada oportunidade de melhoria nesta atividade do processo PAASDEV.
5.1.4.3. Atividade: Avaliação com Usuário Deficiente Visual
Esta atividade possui o objetivo de realizar avaliação de acessibilidade em sítio web com três usuários deficientes visuais, com o intuito de verificar como estes usuários realizam as tarefas propostas para posterior comparação entre seus desempenhos, e com o desempenho do usuário convencional.
Nesta atividade, cada usuário buscou completar as três tarefas que foram selecionadas para cada um dos três sítios web em avaliação, totalizando nove tarefas por usuário. Já numa execução real do processo, cada usuário irá buscar completar apenas as três tarefas do sítio web avaliado, exceto se mais de uma avaliação estiver sendo realizada no mesmo momento.
Os gráficos 21, 22 e 23 contém os resultados alcançados pelos usuários ao avaliar os sítios web selecionados para a execução piloto da versão preliminar do processo proposto:
0 1 2 3 4 Usuário 3 Usuário 2 Usuário 1 tarefas completadas Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 21 – Tarefas completas com sucesso pelos usuários deficientes visuais na execução do piloto
No total, o primeiro usuário completou todas as nove tarefas propostas para os três sítios web avaliados, o segundo usuário completou apenas três tarefas, sendo uma de cada sítio web, e o terceiro usuário completou sete tarefas, sendo uma do primeiro sítio e todas dos demais sítios web avaliados.
Ainda foi possível verificar que todos usuários conseguiram completar a última questão do primeiro sítio web, que era para efetivar um cadastro no sítio. Disso pode-se
concluir que a realização de um cadastro é uma tarefa mais fácil de ser executada por um usuário deficiente visual que uma consulta específica ou a busca de um contato.
0 10 20 30 40 50 Usuário 3 Usuário 2 Usuário 1 minutos Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 22 – Tempo utilizado pelos usuários deficientes visuais na execução das tarefas
Com relação ao tempo, o primeiro usuário levou 70 minutos na execução das nove tarefas, o segundo usuário levou 105 minutos na execução das mesmas tarefas, e o terceiro usuário levou 101 minutos também na execução destas tarefas. Todos os usuários buscaram executar todas as tarefas, apesar de os dois últimos não as terem executado por completo.
Foi possível perceber, ainda, que os usuários levaram 88 minutos executando as tarefas do primeiro sítio web, mas levaram 67 minutos executando as tarefas do segundo sítio, e levaram 121 minutos executando as tarefas do terceiro sítio avaliado.
Comparando com o usuário convencional, a ordem de rapidez ou demora na execução das tarefas foi a mesma para os três sítios web. O terceiro sítio web foi onde ocorreu a maior demora na execução das tarefas, tanto para o usuário convencional quanto para cada usuário deficiente visual individualmente. A mesma relação ocorreu para o segundo sítio web, no qual a execução das tarefas foi mais veloz, tanto para o usuário convencional quanto para os usuários deficientes visuais em conjunto. Consequentemente, o primeiro sítio web se posicionou entre o mais veloz e o mais demorado na avaliação do usuário convencional e nas avaliações realizadas pelos deficientes visuais.
Disso pode-se concluir que a acessibilidade possui grande relação com a usabilidade, uma vez que a proporção entre o tempo para execução de tarefas entre o usuário convencional e os usuários deficientes visuais se manteve para cada um dos três sítios web avaliados.
0 2 4 6 8 10 12 Usuário 3 Usuário 2 Usuário 1 erros cometidos Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 23 – Erros cometidos pelos usuários deficientes visuais na execução das tarefas
Quanto aos erros cometidos pelos usuários, o primeiro usuário foi o que cometeu menos erros. Este usuário cometeu apenas três erros nas avaliações que executou, enquanto que o segundo usuário cometeu dezesseis erros e o terceiro usuário cometeu dezenove erros no total.
Ainda foi possível perceber que foram cometidos 19 erros na execução de tarefas no primeiro sítio web, foram cometidos 8 erros na execução do segundo sítio e, por fim, foram cometidos 11 erros no terceiro sítio web avaliado.
Todos esses resultados demonstram que o primeiro usuário deficiente visual alcançou melhor desempenho que os demais usuários, o que pode ser explicado pelo fato de que este possui larga experiência com tecnologia, pois este é seu ramo de atuação profissional.
Os resultados demonstraram ainda que o segundo usuário deficiente visual alcançou o pior desempenho de todos os usuários, o que pode ser explicado pelo fato de que este possuía idade mais avançada que os demais usuários, e tanto se cansava quanto perdia a paciência com a execução da tarefa proposta mais rapidamente. Esta questão da idade levantou outra constatação: a de que o Termo de Licença de Uso de Informações somente deveria ser
assinado por usuários maiores de idade, pois do contrário seu responsável é quem estaria apto a fazê-lo.
Como o Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV se propõe a avaliar a acessibilidade web para a população de deficientes visuais em geral, e para que seja evitado um desvio no resultado final da avaliação de acessibilidade, deve-se evitar que a avaliação seja executada por usuário deficiente visual que seja profissional de TI, ou que sua participação se limite a um usuário apenas.
Na avaliação de satisfação com o uso do sítio web, foi solicitado que cada usuário deficiente visual atribuísse uma nota de 0 a 5 para cada sítio. O gráfico 24 apresenta os resultados da avaliação de satisfação dos usuários:
0 1 2 3 4 5 6 Usuário 3 Usuário 2 Usuário 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 24 – Satisfação geral no uso dos sítios web durante a avaliação
De acordo com o gráfico acima, verificou-se que a soma de todas as notas dos dois primeiros sítios web foi a mesma (doze) para satisfação geral no uso do sítio, enquanto que o terceiro obteve nota oito na soma das notas atribuídas pelos usuários.
Ao se realizar comparação com o usuário convencional, que também foi convidado a atribuir notas de zero a cinco para os sítios web avaliados na execução piloto, percebeu-se mais uma vez a relação direta que há entre acessibilidade e usabilidade, já que este usuário também atribuiu menor nota para o terceiro sítio web.
Todos os usuários deficientes visuais afirmaram que nunca haviam acessado nenhum dos três sítios web anteriormente.
Para esta atividade, foram identificadas as melhorias a seguir:
Incluir questão nas atividades anteriores de Definição de Objetivos e Planejamento da avaliação com usuário, para verificar se o usuário deficiente visual que irá participar da avaliação é profissional da área de Tecnologias da Informação, com um alerta para que no máximo um deles o seja;
Incluir questão nas atividades anteriores de Definição de Objetivos e Planejamento da avaliação com usuário, para informação da idade do usuário convencional e deficientes visuais, com alerta para que todos os usuários sejam maiores de dezoito anos, e que entre dois dos usuários deficientes visuais haja uma diferença de idade de vinte anos, preferencialmente;
Não iniciar a avaliação até que se tenha o leitor de tela Jaws, com versão 7.10 no mínimo, funcionando corretamente. Sugere-se que o avaliador leve laptop para a avaliação já com esta configuração e conexão à Internet;
Solicitar que o usuário deficiente visual sempre utilize fone de ouvido para realizar a avaliação, o que previne contra poluição sonora que possa atrapalhar a avaliação e evita que o avaliador se sinta tentado a ajudar o usuário na realização das tarefas; O avaliador deve disponibilizar um fone de ouvido para que o usuário use na
avaliação, caso ele(a) não o possua ou tenha esquecido de levar o seu próprio; Antes de iniciar a avaliação, informar ao usuário que se houver desistência de
alguma tarefa, não poderá retornar a ela mais tarde;
Informar ao usuário sempre que ele sair involuntariamente do sítio web em avaliação, e considerar este fato como um erro cometido;
A realização de um cadastro deve ser a primeira tarefa a ser executada em um sítio web a ser avaliado, se esta estiver disponível, pois os usuários que tiveram dificuldade em terminar a primeira tarefa de cada sítio web se mostraram frustrados e desestimulados a continuar a avaliação. Deve-se tentar ordenar as tarefas a serem executadas de forma que a mais fácil seja a primeira e a mais difícil a última. Estas observações foram incluídas na atividade de Planejamento da avaliação com usuário;
Alterar no texto do artefato onde consta a palavra erros, substituir para erro(s), pois o usuário pode ter cometido apenas um erro;
Alterar no texto do artefato onde consta a palavra tarefas, substituir para tarefa(s), pois o usuário pode ter completado apenas uma tarefa;
Incluir os segundos em todos os campos de minutos para que a contagem do tempo seja mais precisa;
Incluir nas orientações casos que serão considerados como erro do usuário, sem esgotar a possibilidade de ocorrências de outros tipos de erro: desistência de uma tarefa, quantidade de tentativas frustradas reiniciando na página inicial do sítio web, engano ao utilizar a busca do navegador ao invés da busca do sítio web em avaliação, saída involuntária do sítio web em avaliação, acesso a link do navegador ao invés de link do próprio sítio web em avaliação, saída do navegador para o sistema operacional, passar pela resposta sem identificá-la, digitação incorreta de palavras.
5.1.4.4. Atividade: Análise dos Dados de Usuários
O objetivo desta atividade é analisar os dados colhidos na fase de Avaliação por usuários. São então encontrados os valores correspondentes aos indicadores de eficácia, eficiência e satisfação. É também encontrada a pontuação da fase, com a verificação do tipo de pontuação correspondente, que pode ser de A até E, no qual o sítio é considerado satisfatoriamente acessível nesta fase apenas se alcançar o tipo de pontuação A ou B.
A avaliação de acessibilidade para deficientes visuais se encerra com a próxima e última atividade do Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV, que é a única atividade da fase de Conclusão.
Não há diferença da execução piloto para uma execução real utilizando o PAASDEV nesta atividade, com exceção das melhorias identificadas que já estão propostas na versão mais recente do processo.
Os gráficos 25 a 29 representam consolidação dos resultados para os três sítios web avaliados, quanto a análise dos dados dos atributos e indicador de eficácia, dos atributos e indicador de eficiência e do indicador de satisfação:
0 0,2 0,4 0,6 0,8 1 Eficácia 2 Eficácia 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 25 – Valores alcançados na análise dos dados dos atributos de eficácia
0 0,2 0,4 0,6 0,8 1 Indicador eficácia Sítio web 1 Sítio web 2 Sítio web 3
0 0,2 0,4 0,6 0,8 1 1,2 1,4 Eficiência 3 Eficiência 2 Eficiência 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 27 – Valores alcançados na análise dos dados dos atributos de eficiência
0 0,2 0,4 0,6 0,8 1 Indicador eficiência Sítio web 1 Sítio web 2 Sítio web 3
0 0,2 0,4 0,6 0,8 1 Indicador satisfação Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 29 – Valores alcançados na análise dos dados do indicador de satisfação
A partir dos resultados dos três indicadores é calculado o valor da fase de avaliação por usuários como um todo. O gráfico 30 apresenta os resultados alcançados na fase para cada um dos sítios web que foram avaliados na execução piloto do Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV:
0,2 0,4 0,6 0,8 1
Fase Avaliação por Usuários
Sítio web 1 Sítio web 2 Sítio web 3
Ao analisar os resultados da fase de avaliação por usuários, verificou-se que todos os três sítios web avaliados alcançaram o tipo de pontuação C, ou seja, nenhum deles alcançou menção satisfatória para esta fase.
Estão descritas a seguir as melhorias identificadas no processo para a atividade de análise dos dados de usuários.
Para o indicador de eficácia, no processo inicialmente proposto havia apenas uma observação, que estava identificada com um asterisco, mas se mostrou necessária apresentação de maiores explicações sobre o conteúdo de cada campo a ser preenchido nos resultados, além da verificação de que se todos os três usuários tivessem tentado realizar as três tarefas de um sítio web em avaliação, o total de tarefas seria nove, e não três como havia sido identificado no processo inicial. Desta forma, foi alterada esta observação e foram incluídas ainda mais duas observações, que se referem aos campos de tarefas completadas com sucesso e erros cometidos.
Foi ainda alterado o campo do denominador do atributo eficácia 2, de quantidade de tarefas para total de minutos deficientes visuais, pois:
O atributo eficácia 1 já lidava com a informação da quantidade de tarefas total; Não havia sido previsto atributo de erros cometidos por minuto;
Para o atributo eficácia 2 previsto originalmente, que correspondia a erros cometidos por tarefa, mesmo se o resultado encontrado fosse subtraído de 1, ainda estavam sendo encontrados valores muito superiores a 1, o que estava causando desvio no resultado do indicador como um todo, comprometendo o resultado da fase, e por conseqüência o resultado final da avaliação de acessibilidade.
Para o indicador de eficiência, cujos resultados estão apresentados a seguir, também foi alterado o texto da observação originalmente prevista, como ocorreu com o indicador de eficácia analisado acima.
No atributo de eficiência 3, foi identificada a necessidade de dividir o resultado encontrado pela quantidade de usuários deficientes visuais que participaram da avaliação, o que corresponde a três usuários. O processo inicialmente proposto não previa esta divisão para o atributo em questão, o que estava gerando desvio nos resultados.
Neste mesmo atributo, foi ainda invertido o conteúdo do numerador com o do denominador, tendo em vista que o resultado estava se apresentando melhor para a acessibilidade quanto menor fosse o valor alcançado, e não o contrário, o que estava em desacordo com o critério de julgamento estabelecido para este atributo no capítulo anterior.
Também no indicador de satisfação foi identificada a necessidade de dividir o resultado encontrado pela quantidade de usuários deficientes visuais que participaram da avaliação, o que corresponde a três usuários. O processo inicialmente proposto não previa esta divisão para o indicador em questão, o que mais uma vez estava gerando desvio nos resultados.
Ao gerar o valor da fase de avaliação por usuários, identificou-se a necessidade de alterar a divisão do resultado encontrado, de seis para três, tendo em vista que o resultado de cada um dos indicadores da fase já estava sendo dividido pela quantidade de atributos. Desta forma, a divisão passou a ser apenas pela quantidade de indicadores da fase, o que corresponde a três.