Para avaliar a usabilidade do ambiente WhizKEY, empregamos o teste de usabilidade, um
métododeavaliaçãoempíri a. Essetipodemétodoenvolveusuáriosemlaboratório,demodo
queo avaliadortenhaummaior ontrole sobreoambientee asatividadesdo usuário. Assim,
o avaliador onsegue identi ar problemas da interfa e que di ultam a interação, sem se
preo upar omfatoresexternos,tais omo interrupções(Prates eBarbosa, 2003).
4.1.1 Preparação dos Testes
Testesem laboratório requerem um planejamento minu ioso para que o avaliador tenha, de
fato, ontrole sobre as ondições de teste. Isso envolve se erti ar de que as ondições de
teste sãoas mesmas paratodosos parti ipantes e de queo teste sendo exe utado permite a
avaliaçãodos ritériosdesejados(Pratese Barbosa,2003 ). Aseguir,des revemososprin ipais
Seleção deusuários. Comopúbli o-alvodoambienteWhizKEY, onsideramosprojetistas
de bibliote as digitais, i.e., pessoas om onhe imentos sobre bibliote asdigitais (aqui onsi-
deradas omo sistemasde informação) e de informáti a(interação bási aatravésde GUIs)e
que desejam onstruir umabibliote a digitala partir de umar abouço de software.
Ini ialmente, ontamos omumtotalde20voluntários,sendo10estudantesdeCiên iada
Computaçãoe10deCiên iadaInformação. Entretanto,duranteosexperimentos,veri ou-se
que4voluntáriosdogrupodeCiên iadaInformaçãonãoseen aixavamnoper lpreviamente
de nido. Nesseaspe to,a reditou-se queessesusuários possuíamum onhe imento maior de
on eitos rela ionados a bibliote as digitais e de informáti a que se p de observar de fato.
A onseqüên ia imediata da quebra dessa premissa foi a de que os testes desses usuários
não puderam ser gravados devido ao enorme tempo gasto e ao alto nível de di uldade de
interação por eles apresentado em omum, todos eles ne essitaram da intervenção de um
espe ialistaparaqueatarefapudesseser ontinuadaa mdequetodasaspartesdoprotótipo
pudessem ser avaliadas. Os problemas dete tados nostestes om esses usuários, entretanto,
foram onsiderados no desenvolvimento da versão atualdo ambiente WhizKEY.
Seleção de tarefas. Para exe uçãodos testes, foram elaboradas três tarefasrepresentati-
vas do pro esso de instalação de bibliote as digitais, semelhantes à tarefa exempli ada na
Seção 3.6 . Essastarefasforam organizadasem duassessõesindependentes.
Naprimeirasessão,foiexe utadaumatarefasimples,visandoafamiliarizarousuário om
o ambiente WhizKEY,e umatarefa omplexa,elaborada demodo a ser omparável àtarefa
de instalação manual doar abouço WS-ODL onduzida por Roberto (2006 ).
Na segunda sessão de testes om o protótipo do ambiente WhizKEY, queríamos avaliar
melhor oentendimento dosusuários a er a dastarefassendoexe utadas. Para tanto, elabo-
ramosumatarefadeinstalaçãoespe i adaemmaisaltonível,naqualosusuáriosre eberam
umades riçãoda bibliote adigitalquedeveriam onstruir emvez deumpro edimento passo
a passo mostrando omo onstruí-la, omohavia sidofeito nostestesda primeira sessão.
Geração de material para os testes. Ao todo, foram gerados in o do umentos para
auxiliar aexe uçãodos testese a oleta de dados:
•
umquestionário pré-teste paradeterminação doper ldosusuários (Apêndi eB.1 );•
umtextodes ritivo do ontextodo teste aser realizado (Apêndi eB.2);•
umroteiro omorientaçõessobre astarefasaserem realizadas (Apêndi e B.3);•
umquestionário pós-teste paraavaliação(Apêndi e B.4);•
umroteiro paraentrevista pós-teste (Apêndi eB.5).Veri ação de questões éti as. Aos parti ipantes, foram expli itadas as ondições do
4.1.2 Exe ução dos Testes
A m de avaliar a usabilidade do ambiente WhizKEY, onduzimos duas sessões de testes.
Na primeira sessão, ontamos om um total de 8 voluntários no papel de projetistas de
bibliote as digitais, sendo 4 estudantes de Ciên ia da Computação (CC) e 4 de Ciên ia da
Informação (CI). Os testes onsistiram na exe ução de duas tarefas de instalação,
T
1
eT
2
,e no preen himento de um questionário de avaliação. Ambas as tarefas exploram todos os
elementosde interfa e doambiente WhizKEY,tais omo listase seletoresde arquivos.
A primeira e mais simples dessas tarefas,
T
1
(Apêndi e B.3.1 ), destinada a familiarizaros usuários om o ambiente WhizKEY, onsistia na modi ação de alguns parâmetros de
uma bibliote a digital previamente instalada. A segunda e mais omplexa das tarefas,
T
2
(Apêndi e B.3.2), envolvia a instalação, desde o iní io, de uma bibliote a digital ompleta.
Umavezqueesseprotótipofoiexe utadoparaainstalaçãodebibliote asdigitaisbaseadasno
ar abouço WS-ODL, elaboramos essa segunda tarefa de modo que fosse omparável aoutra
tarefa,aqui denominada
T
2∗
, onduzida emumteste de instalação dessear abouço vialinhade omando,sem o auxíliode qualquer ferramenta de assistên ia (Roberto, 2006 ).
Na segunda sessão de testes, ontamos om 8 novos voluntários, sendo 6 estudantes de
Ciên ia daComputação (CC)e 2deCiên ia daInformação (CI).Nessasessão, foiexe utada
umatarefa omparávelàstarefas
T
2
eT
2∗
,denominadaT
3
(Apêndi eB.3.3 ). Entretanto,dife-rentemente dastarefasanteriores, apresentadas omoumroteiro passo-a-passoda instalação
a serefetuada, a tarefa
T
3
foielaborada omo objetivode melhoravaliar oentendimento dousuário quanto àutilizaçãodo ambienteWhizKEY.Para tanto,emvezdeumalistadeações
a serem exe utadas em direção à instalação de uma bibliote a digital, essa tarefa pro urou
des revero objetoaser instalado,ou seja,a própria bibliote a.
A onduçãodostestesin luiuum onjuntodepassosaseremseguidos. Primeiramente, os
usuáriosresponderamaoquestionárioparaidenti açãodeseuper l. Emseguida,foram-lhes
apresentados o objetivo do teste e o ontexto em que ele se insere, além da soli itação das
permissõesdosusuários parao registro ea utilizaçãodos resultados obtidos nostestes. Pos-
teriormente, foientregueaosusuáriosoroteirodatarefaquedeveriaserrealizada. Cadauma
das tarefaselaboradas foi organizada omo um onjunto de itens a serem exe utados parao
umprimento datarefa. Soli itou-sequeositens listadosfossemexe utadose,sepossível,que
omentários, dúvidas, ríti ase sugestõesfossemverbalizadas duranteoteste 1
. Umalistade
a ompanhamentofoientregueaosavaliadorespresentes,deformaqueos omentárioseobser-
vações fossempor eles do umentados. Durante todo o teste, os avaliadores não interferiram
nas atividadesou forne eram qualquer tipo de ajudaaos usuários. Aotérmino da realização
datarefaforne ida,soli itou-seaosusuáriosquerespondessemaumquestionáriodeavaliação
do sistema, bem omoa umaentrevistapara dis ussão deaspe tos qualitativos rela ionados
ao sistema. Apósessasatividades, o teste foi onsiderado on luído.
1
Emborainstruídosparaquefalassem,emnenhumadassessõesdeteste( omex eçãodoteste-piloto)os
usuários zeram omentáriosduranteaexe uçãodatarefa,demodoqueotemporegistradopara adausuário