Segundo Nielsen (2000), em se tratando de testes de usabilidade, excelentes resultados poderiam ser obtidos com, não mais do que cinco usuários, observados no maior número de pequenos testes possível, conforme o orçamento do projeto, vide Gráfico 4.
Gráfico 4 – Relação de problemas de usabilidade encontrados X número de usuários testados
Fonte: NN/g Grupo Nielsen Norman.
A base do Gráfico 4 é a fórmula N(1-(1-L)^n), onde N seria o total de problemas de usabilidade do design e L seria a proporção de problemas de usabilidade descobertos quando é testado com apenas um usuário. Nielsen e seu colega, Dr. Tom Landauer, sugeriram que a média de L seria 31 e o gráfico acima resultou da plotagem dos dados com essa proporção.
Pela interpretação do Gráfico 4 pode-se entender que: zero usuários, zero respostas. O primeiro usuário ajudaria a detectar cerca de 1/3 dos problemas. O segundo apontaria boa parte das mesmas questões detectadas com o primeiro usuário, além de pequenas novidades. Essa tendência se repetiria com descobertas, cada vez menores, sustentando a ideia de que por volta do sexto usuário, a curva entraria numa tendência de estabilização na detecção de problemas de usabilidade (CGF: the curve of dimishing returns).
A segunda parte da argumentação defende um processo iterativo16: design > teste >
design > teste… Os primeiros 85% dos problemas seriam detectados na primeira iteração e deveriam ser corrigidos no segundo ciclo de design. O segundo teste daria conta de boa parte (85%?) dos 15% de problemas restantes do primeiro teste, e um novo redesign apresentaria mais correções. O processo sugere que, ao invés de testar o
16
Iteração é o ato de repetir o processo com o objetivo de se aproximar de um objetivo desejado, alvo ou resultado. Cada repetição do processo também é chamado de "iteração", e os resultados de uma iteração são utilizados como ponto de partida para a iteração seguinte. (TIMPERLEY; WILSON; BARRAR; FUNG, 2013, p.238)
projeto uma única vez com 15 usuários, a melhor alternativa seria realizar três testes com cinco usuários realizando correções entre cada iteração.
E por que não realizar 15 testes com um único usuário, já que a primeira inspeção detectaria cerca de 30% dos problemas? Nielsen(data) é cuidadoso para apresentar as limitações do teste com apenas um usuário: a primeira diria respeito aos outliers, pessoas com comportamento acima (ou abaixo) da média que poderiam adicionar ruído aos dados; a segunda é de ordem econômica, e fundamenta-se na percepção de que a relação custo x benefício de condução dos testes seria ideal por volta de três usuários analisados.
Por fim, o autor encerra o artigo explicando que o modelo apresentado só seria eficaz nas situações onde os usuários utilizam o sistema digital de forma similar, ou em grupos de comportamento semelhante. Mesmo entre grupos distintos, segundo Nielsen, haveria grande similaridade nas respostas. E mesmo com vários grupos de interesse, a lógica dos cinco usuários (três ou quatro para dois grupos; três para mais de dois grupos) poderia ser aplicada e os resultados seriam igualmente positivos.
Tendo em vista as informações acima colocadas, a amostragem para essa pesquisa foi de 20 pessoas, 10 com habilidades para sistemas de interface humano computador e outras 10 sem a mesma destreza, com a intenção de se detectar até que ponto o prévio conhecimento de um ambiente digital influencia na experiência com o objeto.
O importante para esta pesquisa é isolar a variável ‘destreza’ dos sujeitos com sistemas digitais, pois com relação à idade constatou-se que, apesar dos objetos serem destinados ao ensino fundamental, o que sugere indivíduos na faixa de 9 a 14 anos, ainda tem-se que considerar o ensino supletivo que contempla adultos e que perpassa pelos estudos do ensino fundamental. Considera-se também que os materiais avaliados são disponibilizados através da Internet de forma gratuita e pública, sendo assim qualquer pessoa, de qualquer idade, pode acessar da localidade que lhe for possível uma conexão com a rede.
Desta forma, para o perfil dos usuários requisitados para a pesquisa, foi considerado que apresentassem condições mentais e físicas que lhes possibilitassem o entendimento e a manipulação dos objetos apresentados. Também foi importante destacar a destreza de cada usuário com sistemas digitais. Por último, desejou-se que a amostragem contempla-se indivíduos pertencentes a todos os grupos de idades (Figura 28) para que assim os resultados fossem um reflexo da diversidade das potenciais pessoas que podem ou não interagir com Objetos de Aprendizagem para aprender o que lhe formais conveniente em dado momento e em dada situação.
Figura 28 – Número de pessoas referente às faixas etárias envolvidas na pesquisa
Foram utilizados para esta pesquisa 2 crianças (0 a 15 anos), 05 jovens (15 a 29 anos), 9 adultos (30 a 59 anos) e 4 idosos (acima de 60 anos). Os testes e entrevistas aconteceram nas cidades de Ribeirão Preto e Bomfim Paulista, ambas pertencentes ao interior do estado de São Paulo. A pesquisa foi de encontro de pessoas que de alguma maneira pudessem entrar em contato com os O.A. caso desejassem aprender ou continuar estudos escolares ou mesmo rever alguma atividade ou conceito do ensino formal. Esta pesquisa considera livre a busca por conhecimento e por isso não estipula uma faixa etária em específico para determinado conteúdo escolar. As demais informações coletadas dos 20 sujeitos que participaram da pesquisa são apresentadas na Tabela 4 que se segue.
Pelos dados coletados observa-se que dos usuários que responderam a pesquisa 13 foram do gênero feminino e 7 do gênero masculino. A média de idade foi de 42,5 anos (faixa etária adulta). Com relação ao grau de instrução 8 pessoas têm o Ensino Médio Completo, 6 Ensino Médio Incompleto, 2 com ensino superior completo, 1 com ensino superior incompleto, 1 com ensino fundamental completo, 1 com ensino fundamental incompleto e 1 com o ensino infantil. Sobre destreza com ambientes de sistemas digitais 50% apresentam boa maestria contra os outros 50% que não a obtém. Por fim, identifica-se que dentre os usuários, 50 % utilizam algum sistema de interação digital praticamente todos os dias enquanto 25% dizem utilizar raramente e os outros 25% declaram não utilizar em nenhum momento.
Com os perfis estipulados iniciou-se uma separação em 4 grupos de análise. O primeiro grupo (Grupo 1) – foi formado por 5 indivíduos de pouco destreza com ambientes digitais e, para este grupo, foi apresentado o Tangram que contém uma usabilidade apontada como ruim pelo Ergolist (O.A.A). O segundo grupo (Grupo 2) – também foi formado por 5 indivíduos de pouco destreza com ambientes digitais, mas contendo outras pessoas, que não pertencessem ao primeiro grupo - foi apresentado o Tangram que contém uma boa usabilidade (O.A.B). Já o terceiro grupo (Grupo 3) – foi formado por 5 indivíduos com destreza com ambientes digitais - foi apresentado o Tangram que contém uma usabilidade ruim (O.A.A) e, por último, o (Grupo 4) – também formado por 5 indivíduos com destreza com ambientes digitais - foi apresentado o Tangram que contém uma boa usabilidade (O.A.B). As informações seguem dispostas na Tabela 5.
Tabela 5 – Organização geral dos grupos para o experimento
O local dos testes foi de escolha dos sujeitos pesquisados, uma vez que, para a realização do mesmo foi utilizado um notebook, uma vez que, o equipamento é de peso leve, fácil manuseio e portabilidade simples, com praticidade para a realização dos testes, inclusive para os deslocamentos necessários para ir ao encontro dos sujeitos selecionados para a pesquisa. De forma que, tornou-se mais cômodo para o indivíduo participar do estudo em um local e horário de sua preferência.