Limitations of the WTP study

Para avaliar se a ferramenta WACTOOL é capaz de criar uma experiência de

interação natural e intuitiva aos seus usuários, foi realizado um estudo de usabilidade explorando métodos de inspeção. Tal avaliação foi desenvolvida no contexto de colaboração com um projeto de mestrado no ICMC-USP (Motti et al., 2009). Nos estágios iniciais de desenvolvimento da ferramenta, esse estudo forneceu informações importantes para guiar o processo de projeto

01 <link xconnector="onBegin1Start1" id="l1Video2">

02 <bind role="onBegin" interface="aSkip2" component="video"/> 03 <bind role="start" component="skip2"/>

04 </link>

05 <link xconnector="onEnd1Stop1" id="l2Video2">

06 <bind role="onEnd" interface="aSkip2" component="video"/> 07 <bind role="stop" component="skip2"/>

08 </link>

09 <link xconnector="onKeySelectionStartNStopN" id="l3Skip2"> 10 <bind role="onSelection" component="skip2">

11 <bindParam value="4" name="keyCode"/> 12 </bind>

13 <bind role="stop" component="skip2"/> 14 <bind role="stop" component="video"/>

15 <bind role="start" interface="aSkip2D" component="video"/> 16 </link>

Figura 3.22: Código NCL correspondente à operação de skip. iterativo utilizado.

Originalmente foi feita uma avaliação heurística, de acordo com as dez heurísticas clássicas propostas por Nielsen (1992). O resumo dos problemas de usabilidade encontrados, conforme seu impacto na interatividade, deu-se da seguinte maneira: classificados como problemas estéticos de usabilidade estão o uso de uma abreviação em um dos menus e a falta de configuração padrão com respeito ao vídeo; classificados como problemas menores de usa- bilidade encontram-se a falta de feedback por som, o uso do mesmo ícone para representar a mídia e outros objetos, o fato dos termos usados poderem ser desconhecidos para alguns usuários e a falta de indicação das escalas de valor utilizadas (por exemplo, segundos); classificados como erros graves estão a falta de consistência entre os botões de avanço do vídeo e dos slides, a falta de mudança no cursor do mouse e de alguns ícones para indicar qual ferramenta está ativa, o fato dos botões da janela de vídeo não possuírem texto alternativo, a falta de atalhos e ajuda online; como erros catastróficos foram identificados a inserção de texto nos slides e um problema para se fechar a aplicação.

A maioria dos problemas apresentados na avaliação heurística pode ser corrigida com melhorias de implementação. A necessidade de atalhos e ma- nual de ajuda apontada deve-se ao fato de alguns dos usuários participantes ainda terem a metáfora de interação desktop em mente durante a realização dos experimentos, em contraposição à plataforma-alvo de TV digital.

Para complementar os resultados da avaliação heurística, foi conduzido um estudo utilizando-se a técnica think aloud (Wright & Monk, 1991). Foram re- alizadas entrevistas com um estudante de artes familiarizado com a produção de vídeos interativos para a plataforma SBTVD e com a ferramenta NCL Com- poser (Costa et al., 2006). Durante a entrevista final, sua principal observação

foi com relação à intuitividade do paradigma WaC. O estudante também apon- tou a utilidade do comando de edição slow motion para programas de esporte e do comando de loop para noticiários e programas educativos. Ele considerou ainda a opção de skip como menos importante do ponto de vista de autoria e também avaliou positivamente a possibilidade da inserção de comentários de voz e de texto, observando que uma opção de criação de links para ou- tros vídeos deveria ser integrada à ferramenta — no caso, a sugestão era a de que o vídeo fosse pausado, seguido pela reprodução do vídeo relacionado, e novamente retomado no final.

Embora a versão atual permita que o autor anote o vídeo sendo assistido com imagens (uma das opções do componente de whiteboard), a anotação por meio de um link para outro vídeo (ou parte dele) não foi considerada um re- quisito no projeto. A premissa aplicada consiste em capturar comentários por vias já costumeiras aos usuários, como voz. Se uma relação com outro vídeo for observada por um usuário, o mesmo pode fazer um comentário via texto. No entanto, é entendido que a ligação entre os vídeos é uma demanda natural, em particular para usuários avançados, que a princípio não se enquadrariam como público-alvo da ferramenta. No entanto, considerar essa funcionalidade como um novo requisito pode ser importante, principalmente, sob a perspec- tiva de usuários-produtores.

Dada a importância do feedback do usuário nos estágios iniciais do pro- jeto, também foi coletada a opinião de um produtor de vídeo especializado em cenários informais tais como instalações com câmera e microfone colocados em áreas públicas para realização de entrevistas com transeuntes e disponi- bilização das mesmas na Web. A principal observação feita foi de que a fer-

ramentaWACTOOL pode ser facilmente utilizada em tais cenários. Uma crítica

apontada foi com relação ao fato de que, embora fácil de entender, a interface gráfica pode ser melhorada, principalmente com a confecção de novos ícones. As funcionalidades do protótipo foram ainda avaliadas segundo a metodolo- gia de Percurso Cognitivo (Rieman et al., 1991), focada no aprendizado dos usuários sobre o sistema. Vinte e dois avaliadores analisaram cinco funciona- lidades do processo de anotação com a ferramenta. Foram explorados três per- fis distintos: especialistas em computação (desenvolvedores e pesquisadores no domínio de Ciência da Computação), usuários potenciais (não-especialistas em computação, como estudantes de química, física e biblioteconomia) e pes- quisadores na área de TV interativa (o nível mais alto de especialização).

O protótipo foi disponibilizado na Internet e foi aplicado um questionário de avaliação com cinco questões em escala Likert semanticamente diferencial de cinco pontos (1 para o valor mais baixo e 5 para o mais alto). As questões en-

volveram facilidade de uso, apêlo do sistema, simplicidade da navegação, pro- jeto gráfico dos ícones e funcionalidade geral do sistema. Trata-se de um ques- tionário simples (Figura 3.23) voltado a características chave da aplicação; os avaliadores podiam respondê-lo rapidamente e prover sugestões e críticas. Os resultados são apresentados na Figura 3.24 com notas variando de 5 (muito fácil, muito bom, muito claro, muito útil) a 0 (muito difícil, muito ruim, muito confuso, muito inútil).

As falhas mais importantes detectadas foram: texto do combo box truncado e a falta de mudança do cursor do mouse e dos ícones para indicar a operação selecionada. Duas sugestões foram apresentadas: a inclusão de texto alterna- tivo para descrição dos ícones na janela de tinta digital e a adição de manual de ajuda.

Figura 3.23: Questionário aplicado na avaliação por Percurso Cognitivo. (Adaptada de (Motti et al., 2009).)

Figura 3.24: Resultados obtidos na avaliação por Percurso Cognitivo. (Adap- tada de (Motti et al., 2009).)

Foi observado que, em geral, uma média alta foi obtida em todas as questões levantadas, o pior quesito estava relacionado à navegação do sistema, pos- sivelmente justificado pelas limitações do protótipo, deficiência passível de ser sanada com uma revisão do modelo conceitual, dos ícones e opções disponíveis e da inclusão de manual de ajuda. A melhor avaliação foi obtida no quesito projeto gráfico dos ícones (curiosamente em contraposição à entrevista com o produtor de vídeo anteriormente reportada), seguida da funcionalidade do sistema, uma vez que os avaliadores acreditam que a proposta WaC é bastante útil, como comentado espontaneamente por vários deles. Uma nova menção à necessidade de manual de ajuda reflete a presença da metáfora desktop.

Os resultados obtidos com as quatro técnicas de avaliação empregadas são complementares e serão utilizados para melhorias futuras na ferramenta. Um ponto importante, de acordo com as entrevistas com os dois usuários mais especializados, diz respeito à intuitividade apontada por ambos no uso e entendimento do paradigma WaC. Isso é considerado um resultado bastante positivo. No entanto, um estudo de usabilidade mais abrangente e elaborado ainda é necessário para demonstrar a real utilidade do paradigma WaC, em particular para o cenário de TV, como indicado na seção de trabalhos futuros.