Lauren Beukes’ The Hidden Kingdom

Para entender e se dirigir às questões de usabilidade, é importante considerar os tipos de dados coletados e como analisá-los. Até recentemente, os profissionais de usabilidade têm concordado que medidas quantitativas ou usabilidade deve incluir eficácia, eficiência e satisfação (DUMAS, 2007). Usabilidade é uma propriedade emergente que depende da interação entre usuários, produtos, tarefas e ambientes (LEWIS, 2006).

A métrica é uma maneira de mensurar ou avaliar um fenômeno ou objeto. A usabilidade tem um conjunto de medidas específicas para ela: sucesso da tarefa, satisfação do usuário e erros, entre outros. Todas as medidas de usabilidade devem ser observáveis de alguma forma, seja direta ou indiretamente. Todas essas medidas precisam ser quantificáveis – elas têm que ser transformadas em um número ou contados de alguma forma. Todas as medidas de usabilidade também precisam que o que está sendo medido represente um aspecto da experiência do usuário, apresentada em um formato numérico (TULLIS; ALBERT, 2008).

A métrica de usabilidade revela algo sobre a interação entre o usuário e o objeto: algum aspecto da eficácia, eficiência ou satisfação. A mensuração de usabilidade mede algo sobre pessoas e seu comportamento ou atitudes; como as pessoas são muito diversas e adaptáveis, algumas vezes se encontram desafios na métrica de usabilidade. Algumas coisas não são consideradas medidas de usabilidade, como preferências e atitudes não vinculadas à experiência de usar algo (TULLIS; ALBERT, 2008).

2.3.1.1 _{Métricas de desempenho}

Métricas de desempenho são a melhor forma de avaliar eficácia e eficiência de diferentes produtos. Se os usuários estão cometendo muitos erros, se sabe que tem oportunidades de melhoria. Caso os usuários estejam muito mais tempo que o planejado para executar uma tarefa, a eficiência pode ser muito aprimorada. As métricas de desempenho são a melhor forma de saber quão bem os usuários realmente estão usando um produto (TULLIS; ALBERT, 2008).

Tullis e Albert (2008) apresentam cinco métricas básicas para o desempenho: sucesso da tarefa, tempo de realização da tarefa, erros, eficiência e facilidade de aprendizagem. Jordan (1998) apresenta as métricas de usabilidade divididas entre as medidas e eficácia, eficiência

53 e satisfação; as medidas de eficácia são: conclusão da tarefa, qualidade de resultado; as de eficiência são: desvios de caminho crítico, taxa de erros, tempo de realização da tarefa, carga de trabalho mental.

O sucesso da tarefa mede com quanta eficácia os usuários conseguiram completar uma tarefa. O sucesso da tarefa pode ser binário – o usuário completa ou não completa a tarefa com sucesso; ou pode ser avaliado por níveis de sucesso, para alguns tipos de produto, chegar perto de realizar a tarefa completamente pode prover valor ao participante; alguns níveis de avaliação podem ser: sucesso completo, sucesso parcial, ambos com ou sem assistência; falha da tarefa, o participante achou ter completado, mas não completou a tarefa, ou o participante desistiu (TULLIS; ALBERT, 2008). A conclusão da tarefa de Jordan (2008) trás o mesmo princípio, a forma mais básica de definir se um produto é eficaz é se o usuário consegue ou não completar a tarefa; no caso de sistemas mais complexos o usuário pode completar a tarefa com sucesso parcial, sugerindo uma análise como a de níveis de sucesso de Tullis e Albert.

Segundo Jordan (2008), a qualidade do resultado de uma tarefa pode ser uma medida de eficácia, com alguns produtos é possível que o usuário complete a tarefa, mas o resultado obtido com a finalização da tarefa seja de qualidade variável. A proximidade do resultado obtido, ao resultado esperado, pode ser usada como medida de eficácia.

A maioria das tarefas apresenta um caminho crítico de desempenho, o método de abordar a tarefa para que requeira o menor esforço. Se o usuário sair desse caminho, então isso é negativo em termos de eficiência. Ter que consultar o manual também pode ser classificado como um desvio do caminho crítico (JORDAN, 1998).

O número de erros cometidos em uma tarefa é uma das medidas de eficiência mais comumente utilizadas. Se um usuário consegue completar uma tarefa sem nenhum erro, então a tarefa pode requisitar menos esforços do que se erros forem cometidos e necessitam ser corrigidos. Os erros podem ser classificados em diferentes tipos, de acordo com o motivo do erro e sua severidade. Uma distinção básica é entre “deslize” e equívoco. Um ‘deslize’ acontece quando o usuário sabe executar a tarefa, mas acidentalmente faz algo errado durante a tarefa; um equívoco, por sua vez, ocorre quando o usuário tem um modelo errôneo de como o produto funciona (JORDAN, 1998).

Independentemente de o usuário ter cometido um “deslize” ou um equívoco, as suas consequências podem variar de erro pequeno a catastrófico. Jordan (1998) propõe quatro níveis: pequeno, maior, fatal e catastrófico. No erro pequeno o usuário pode perceber e corrigi-lo

instantaneamente ou num intervalo curto de tempo. Em um erro maior, o usuário pode perceber e retificar, mas com um custo maior em termos de tempo e aborrecimento. O erro fatal impede o usuário de completar a tarefa que estava realizando. Erro catastrófico impede o usuário de completar a tarefa e também causa outros problemas.

Em algumas situações, identificar e classificar os erros é muito útil. Mensurar erros é vantajoso quando se quer entender a ação específica ou o conjunto de ações que pode resultar na falha da tarefa. Os erros são uma boa maneira de avaliação do desempenho do usuário; conseguir efetuar uma tarefa com sucesso em um tempo razoável é importante. O número de erros cometidos durante a interação com o produto também é reveladora. Erros podem indicar quantos equívocos foram feitos, onde ocorreram no produto, como projetos diferentes produzem frequências e tipos de erros diferentes (TULLIS; ALBERT, 2008).

Medir erros não é valido para qualquer situação. Tullis e Albert (2008) apontam que há três situações gerais em que a mensuração de erros pode se útil: quando um erro irá resultar em uma perda significativa na eficiência; quando um erro irá gerar custos significativos; e quando um erro causará falha da tarefa.

O tempo da tarefa é um excelente indicativo de eficiência de qualquer produto. Normalmente, quanto mais rápido o usuário realiza a tarefa, melhor sua experiência (JORDAN, 1998; TULLIS; ALBERT, 2008). O tempo que um participante leva para desempenhar uma tarefa significa muito para a usabilidade do produto (TULLIS; ALBERT, 2008).

A carga de trabalho mental é uma medida de eficiência que tem sido usada amplamente para avaliar a usabilidade de produtos onde o tempo para realizar tarefas é fixo e onde o número de erros é baixo (JORDAN, 1998).