As métricas definidas para responder às questões obtidas por meio da aplicação do GQM são apresentadas na Tabela 3. Ao todo foram definidas doze (12) métricas, sendo sete (7) métricas subjetivas, cujos valores são coletados pelo protocolo de coleta, e cinco (5) métricas objetivas, algumas com valores coletados por meio do protocolo de coleta e outras com valores coletados com o uso da ferramenta automatizada.
Nove (9) métricas foram definidas para as três primeiras questões relacionadas aos princípios de acessibilidade, uma (1) métrica foi definida para a questão relacionada
à produtividade e uma (1) métrica foi definida para a questão relacionada à satisfação do usuário. A seguir é apresentado o detalhamento de cada métrica, tomando como base as questões definidas anteriormente:
Questão 1: Qual o grau de percepção do conteúdo dos sítios Web avaliados?
Métrica 1. Grau de percepção do conteúdo. Esta métrica é subjetiva e mede a percepção do usuário sobre os conteúdos Web lidos por um software leitor de telas (Jaws, Virtual Vision etc.). A escala de valores varia de zero (0), para
totalmente imperceptível, a sete (7), para totalmente perceptível. A coleta de
valores para esta métrica é realizada por meio do protocolo de coleta.
Métrica 2. Quantitativo de violações ao princípio da Percepção. Esta métrica é objetiva e mede o número de violações encontradas nas páginas Web pertencentes a uma tarefa e relacionadas aos itens do WCAG 1.0 mapeados para o princípio da Percepção. O domínio de valores compreende os números inteiros maiores ou iguais a zero. A coleta de valores para esta métrica é realizada por meio de ferramenta automatizada.
Questão 2: Qual o grau de operação do conteúdo dos sítios Web avaliados?
Métrica 3. Grau de operação do conteúdo com o uso do teclado. Esta métrica é subjetiva e mede a percepção do usuário sobre a operação dos conteúdos Web com o uso de um teclado ou dispositivo apontador (mouse). A escala de valores varia de zero (0), para totalmente inoperável, a sete (7), para totalmente
operável. A coleta de valores para esta métrica é realizada por meio do protocolo
Métrica 4. Grau de operação do conteúdo em relação ao tempo de execução de uma tarefa. Esta métrica é subjetiva e mede a percepção do usuário sobre o tempo gasto para a interação com o conteúdo Web durante a execução de uma tarefa. A escala de valores varia de zero (0), para totalmente insatisfatório, a sete (7), para totalmente satisfatório. A coleta de valores para esta métrica é realizada por meio do protocolo de coleta.
Métrica 5. Grau de operação do conteúdo em relação à complexidade da navegação. Esta métrica é subjetiva e mede a percepção do usuário sobre a complexidade da navegação no conteúdo durante a execução de uma tarefa. A escala de valores varia de zero (0), para muito complexa, a sete (7), para muito
simples. A coleta de valores para esta métrica é realizada por meio do protocolo
de coleta.
Métrica 6. Grau de operação do conteúdo em relação à existência de âncoras. Esta métrica é subjetiva e mede a percepção do usuário sobre a facilidade de encontrar âncoras (links) relevantes para a execução de uma tarefa. A escala de valores varia de zero (0), para muito difícil, a sete (7), para muito
fácil. A coleta de valores para esta métrica é realizada por meio do protocolo de
coleta.
Métrica 7. Quantitativo de violações ao princípio da operação. Esta métrica é
objetiva e mede o número de violações encontradas nas páginas Web de uma tarefa relacionadas aos itens do WCAG 1.0 mapeados para o princípio da Operação. O domínio de valores compreende os números inteiros maiores ou iguais a zero. A coleta de valores para esta métrica é realizada por meio de ferramenta automatizada.
Questão 3: Qual o grau de entendimento do conteúdo dos sítios Web avaliados?
Métrica 8. Grau de entendimento e compreensão. Esta métrica é subjetiva e mede a percepção do usuário quanto ao seu entendimento acerca do conteúdo Web durante a execução de uma tarefa. A escala de valores varia de zero (0), para totalmente incompreendido, a sete (7), para totalmente compreendido. A coleta de valores para esta métrica é realizada por meio do protocolo de coleta. Métrica 9. Quantitativo de violações ao princípio do entendimento para a tarefa. Esta métrica é objetiva e mede o número de violações encontradas nas páginas Web de uma tarefa relacionadas aos itens do WCAG 1.0 mapeados para o princípio do Entendimento. O domínio de valores compreende os números inteiros maiores ou iguais a zero. A coleta de valores para esta métrica é realizada por meio de ferramenta automatizada.
Questão 4: Qual a produtividade dos usuários durante a interação com a Web?
Métrica 10. Tempo de execução da tarefa (métrica task time da norma ISO/IEC 9126-4). Esta métrica é objetiva e mede o tempo em minutos despendido pelo usuário para finalizar a execução de uma tarefa na Web. O domínio de valores compreende os números inteiros maiores ou iguais a zero. A coleta de valores para esta métrica é realizada por meio do protocolo de coleta.
Questão 5: Qual o grau de satisfação dos usuários quanto à execução das tarefas?
Métrica 11. Grau de satisfação no contexto de acessibilidade. Esta métrica é subjetiva e mede a satisfação do usuário em relação à interação com o conteúdo Web de uma tarefa para o contexto de acessibilidade. A escala de valores varia de zero (0), para totalmente insatisfeito, a sete (7), para totalmente satisfeito. A coleta de valores para esta métrica é realizada por meio do protocolo de coleta.
O domínio de valores que cada uma das métricas definidas poderá assumir tem um papel relevante no contexto da avaliação de acessibilidade Web. Em outras palavras, tanto as métricas objetivas quanto as métricas subjetivas podem assumir valores que indicam um melhor ou pior nível de acessibilidade. Neste contexto, os valores para as métricas que representam os melhores resultados sob o ponto de vista de acessibilidade Web são os seguintes:
• Valores tendendo a zero (0) para os quantitativos de violações (métricas 2, 7 e 9). Para estas métricas, a inexistência de violações indica melhores níveis de acessibilidade;
• Valores tendendo a sete (7) para os níveis (graus) de percepção (métrica 1), operação (métricas 3, 4, 5 e 6), entendimento (métrica 8) e satisfação (métrica 11). Para estas métricas, o valor sete (7) indica a melhor pontuação sob o ponto de vista dos usuários;
• Valores tendendo a zero (0) para o tempo de execução da tarefa (métrica 10). Para esta métrica, valores próximos de zero representam os melhores resultados.
Tabela 3 - Métricas definidas para avaliação de acessibilidade Web
Questão Métrica Descrição Escala
1. Grau de percepção do conteúdo.
Mede a percepção do usuário sobre os conteúdos Web lidos por um software leitor de telas (Jaws, Virtual Vision etc.).
Escala de 0 a 7, onde: 0 = totalmente imperceptível 7 = totalmente perceptível 1. Qual o grau de percepção do
conteúdo dos sítios Web avaliados?
2. Quantitativo de violações ao princípio da Percepção.
Mede o número de violações encontradas nas páginas Web pertencentes a uma tarefa e relacionadas aos itens do WCAG 1.0.
Número inteiro (X >= 0)
3. Grau de operação do conteúdo com o uso do teclado.
Mede a percepção do usuário sobre a operação dos conteúdos Web com o uso de um teclado ou dispositivo apontador (mouse).
Escala de 0 a 7, onde: 0 = totalmente inoperável 7 = totalmente operável 4. Grau de Operação do conteúdo em relação ao tempo de execução.
Mede a percepção do usuário sobre o tempo gasto durante a interação com o conteúdo Web.
Escala de 0 a 7, onde: 0 = totalmente insatisfatório 7 = totalmente satisfatório 5. Grau de Operação do conteúdo em relação à complexidade da navegação.
Mede a percepção do usuário sobre a complexidade da navegação durante a interação com o conteúdo Web.
Escala de 0 a 7, onde: 0 = muito complexa 7 = muito simples 6. Grau de Operação do conteúdo em relação à existência de âncoras.
Mede a percepção do usuário sobre a facilidade de encontrar âncoras durante a interação com o conteúdo Web.
Escala de 0 a 7, onde: 0 = muito difícil 7 = muito fácil 2. Qual o grau de operação do
conteúdo dos sítios Web avaliados?
7. Quantitativo de violações ao princípio da Operação para a tarefa.
Mede o número de violações encontrados nas páginas Web relacionadas aos itens que compõem o princípio da Operação.
Tabela 3 (cont.) - Métricas definidas para avaliação de acessibilidade Web
Questão Métrica Descrição Escala
8. Grau de Entendimento e compreensão.
Mede a percepção do usuário quanto ao seu entendimento acerca do conteúdo Web durante a execução de uma tarefa.
Escala de 0 a 7, onde:
0 = totalmente incompreendido 7 = totalmente compreendido 3. Qual o grau de entendimento do
conteúdo dos sítios Web avaliados? 9. Quantitativo de violações ao princípio do Entendimento para a tarefa.
Mede o número de violações encontrados nas páginas Web relacionadas aos itens que compõem o princípio do Entendimento.
Número inteiro (X >= 0) 4. Qual a produtividade dos
usuários durante a interação com a Web?
10. Tempo de execução da tarefa (task time da norma ISO/IEC 9126-4).
Mede o tempo despendido pelo usuário para finalizar a execução de uma tarefa.
Intervalo de tempo (X >= 0). 5. Qual o grau de satisfação dos
usuários quanto à execução das tarefas?
11. Grau de satisfação no contexto de acessibilidade (ISO/IEC 9126-4).
Mede o grau de satisfação do usuário em relação à interação com o conteúdo Web no contexto de acessibilidade.
Escala de 0 a 7, onde: 0 = totalmente insatisfeito 7 = totalmente satisfeito