Esta secção apresenta os objectivos, método e resultados da avaliação feita com utilizadores do iFelt à interface e suas funcionalidades.
3.5.1
Objectivos
Foi realizada uma avaliação do protótipo com utilizadores, com o objectivo de aferir a usabilidade das funcionalidades do iFelt para aceder, navegar, representar e visualizar filmes com base em emoções. Para além dos aspectos de usabilidade mais clássicos (Nielsen 1993, 2000), procurou também avaliar-se particularmente aspectos de experiência de utilização e aceitação tecnológica (Venkatesh et al. 2003), especialmente nas dimensões base de usabilidade do questionário USE (Davis 1989, Lund 2001). Estas dimensões foram consideradas nos requisitos e fundamentos do design, e por isso, fazem parte dos objectivos principais da avaliação do iFelt, que incluem as seguintes propriedades: Usefulness (utilidade) - Como pode ser útil a exploração da informação emocional? Quais as melhores maneiras de aceder à informação? Os resultados do sistema foram úteis?; Satisfaction (satisfação) - Os utilizadores acham o iFelt divertido de se usar? Os utilizadores têm uma boa experiência enquanto utilizam o iFelt?; Ease of
use (facilidade de uso) - Os utilizadores acharam o iFelt fácil de se usar?
Como suplemento a estas dimensões, procurou-se ainda perceber se as informações fornecidas pelo iFelt eram perceptíveis.
Como objectivo paralelo, procurou-se saber se os utilizadores tinham comentários específicos, globais ou sugestões para propor, no que diz respeito a funcionalidades, mecanismos de acesso ou de alternativas de representação da informação.
49
3.5.2
Método
A avaliação foi baseada principalmente em dois métodos: Observação, usando papel e uma caneta como método de registo; e entrevistas semi-estruturadas (Guião no anexo A).
O processo começou a apresentação do iFelt, explicando a finalidade dos testes, e sucedendo-se um conjunto de questões demográficas e sobre experiência prévia para ajudar na análise posterior dos resultados. Em seguida, os utilizadores assistiram a duas cenas de um filme fora do iFelt, e foram solicitados a identificar a sua reacção em termos da emoção dominante que sentiram (T0), isto para aumentar a sua consciência sobre o conceito de caracterização emocional de filmes e cenas dos filmes. No passo seguinte, deu-se ínicio a uma actividade orientada a tarefas com o iFelt, onde os erros, hesitações e tempo de realização foram observados. No final de cada tarefa, os utilizadores foram confrontados com questões baseadas no questionário USE, a serem respondidas a partir dos cinco pontos da escala de Likert (Likert, R. 1932), tendo a oportunidade de fornecer feedback qualitativo através de comentários e sugestões sobre as funcionalidades e interfaces envolvidas na tarefa. Neste passo, foi observado e registado, em termos dos aspectos USE, o desempenho dos utilizadores na execução da tarefa, para ajudar a detectar dificuldades e respostas menos pensadas. Sempre que havia mais de uma variante do mesmo recurso para uma tarefa, a ordem da sua apresentação foi escolhida aleatoriamente, a fim de mudar a rotina dos testes para a avaliação das diferentes variações ser feita em condições de equidade. Finalmente, os utilizadores foram convidados a responder verbalmente a questões baseadas novamente no USE, mas desta vez sobre a visão geral do protótipo.
Para esta avaliação, foram recrutados 10 indivíduos (6 mulheres, 4 homens) entre 21-56 anos de idade. Os resultados da avaliação são apresentados e discutidos abaixo.
3.5.3
Resultados
Embora a ordem da análise devesse, do ponto de vista conceptual, ser aquela que foi apresentada nas subsecções da secção 3.2, esta foi alterada na fase de avaliação para: Movies Space, Movie Emotional Profile, Movies Emotional Scenes Space e User Emotional Profile, pela necessidade de introduzir previamente aos utilizadores o conceito do Movie Emotional Profile, possibilitando o aumento da consciência sobre as cenas emocionais, antes de serem convidados a aceder ao Movies Emotional Scenes Space. A média e o desvio-padrão obtidos a partir da análise dos resultados das tarefas propostas e questões subjacentes são apresentados nos gráficos seguintes, com base nos cinco pontos da escala de Likert.
50
1. Movies Space
Neste espaço, foram avaliados os mecanismos de acesso e navegação para encontrar os filmes na Wheel, solicitando que os utilizadores identificassem no espaço os 5 filmes mais alegres (T1) e qual a perspectiva dos realizadores sobre os mesmos filmes (T2). Com estas duas questões, analisamos a usabilidade dos mecanismos de navegação, bem como a percepção da informação representada na vista Wheel.
Existem quatro variantes da Wheel, como descrito na secção 3.3.1. A variante 4, que transmite a intensidade da emoção pelo tamanho e brilho e sem grade, foi a preferida por 90% dos utilizadores. Os utilizadores tenderam a associar o centro da Wheel com emoções menos intensas. Através da tarefa 1 (T1), onde se pediu para identificar no espaço de filmes os 5 filmes mais alegres, observou-se que os utilizadores ficaram agradados com a possibilidade de terem uma colecção de filmes emocionalmente classificados com a reacção emocional dos espectadores, incluindo a sua própria, e a espectativa do realizador dos filmes (T2). De modo a avaliar o acesso, pesquisa e navegação para o perfil do filme a partir do espaço filmes, foi pedido para o utilizador aceder ao filme “28 days Later” (T3). Para encontrar o filme, observou-se que 80% dos utilizadores usou a vista Title e os outros 20% a Wheel. Na verdade, para procurar um filme específico, a maioria dos utilizadores indicou que optaria pela vista Title, ao passo que para pesquisar ou explorar as propriedades emocionais de filmes, 90% recorreriam à Wheel.
Tabela 3.1: Resultados da Avaliação USE do Movies Space
USE Utilidade Satisfação Facilidade de Uso
Tarefas Média D. Padrão Média D. Padrão Média D. Padrão
T1 4.6 0.9 4.9 0.7 5 0.9 T2 4.4 0.9 4.9 0.7 4 0.9 T3 4.3 0.8 3.9 0.7 5 0
A representação da emoção dominante do filme, através de um círculo colorido que precede os títulos na vista Title, não foi muito satisfatória, pois os utilizadores não estavam ainda muito familiarizados com a cor das emoções, e não havia etiquetas nesta vista. Mas de acordo com os resultados obtidos, os utilizadores acharam as funcionalidades encontradas no Movies Space muito úteis, satisfatórias e fáceis de usar (tabela 1).
2. Movie Emotional Profile
Depois de aceder ao perfil emocional do filme (T3), foram realizadas três tarefas sobre esse filme, para obter informações sobre a facilidade de uso e percepção das informações exibidas. Estas tarefas acabaram por fornecer informação crucial sobre aspectos de usabilidade como a identificação de cenas emocionais a partir da timeline
51
(T4), das emoções dominantes a partir das barras (T5) e comparações entre as timelines (T6).
Quando se perguntou qual a sequência de emoções no filme (T4) (representada em cenas na timeline), observou-se uma dificuldade inicial na compreensão plena do conceito de cenas emocionais. Em consequência, obteve-se o resultado mais baixo, mas ainda positivo, de usabilidade em relação à satisfação desta funcionalidade (média = 3,6 desvio-padrão = 1,5, na Tabela 2). Alguns utilizadores sugeriram também a representação das cenas tradicionais, a fim de, por diferenciação, facilitar a identificação das cenas emocionais. Ainda assim, este recurso foi considerado muito útil e fácil de usar, onde a maior pontuação foi dada à possibilidade de ver e comparar as diferentes
timelines emocionais (T6). Observou-se que 90% dos utilizadores estavam a apreciar a
exploração das timelines, a fim de comparar as suas próprias classificações emocionais com as restantes (todos os utilizadores e realizador). Alguns utilizadores, 80%, sugeriram que esta era uma funcionalidade "porreira" para partilhar em ambientes de redes sociais. De salientar também, que neste espaço, os utilizadores atribuíram uma pontuação alta à utilidade (4.9) e satisfação (4.6) do gráfico de barras para a representação das emoções dominantes, quando lhe foi pedido para indicarem a percentagem da ou das emoções menos dominantes (T5). Qualquer das 3 tarefas foi realizada facilmente.
Tabela 3.2: Resultados da Avaliação USE do Movie Emotional Profile USE Utilidade Satisfação Facilidade de Uso
Tarefas Média D. Padrão Média D. Padrão Média D. Padrão
T4 4.4 0.7 3.6 1.5 5 0 T5 4.9 3.1 4.6 0.6 5 0 T6 4.9 0.3 4.9 0.3 5 0
3. Emotional Scenes Space
O espaço de cenas emocionais foi avaliado pedindo aos utilizadores para encontrarem o filme com maior percentagem de cenas tristes (T7). Esta tarefa deu a informação sobre a usabilidade do mecanismo para aceder e explorar os filmes pela informação emocional das cenas. Esta tarefa foi seguida por outras três que ajudaram a avaliar a facilidade de uso e percepção da representação visual da informação emocional das cenas (T8), a representação dos filmes repartidos pelas suas cenas emocionais, após a selecção de um dos filmes (T9) e o acesso às cenas do filme a partir de uma emoção específica, criando deste modo, um resumo do filme onde se mostram apenas as cenas de uma emoção escolhida (T10).
52
Tabela 3.3: Resultados da Avaliação do Emotional Scenes Space
USE Utilidade Satisfação Facilidade de Uso
Tarefas Média D. Padrão Média D. Padrão Média D. Padrão
T7 3.7 1.3 2.8 1.3 3.3 1.2 T8 4.8 0.4 4.4 1 3.7 1 T9 4.4 0.7 4.8 0.7 4.6 0.8 T10 4.6 0.4 4.6 1 4.9 0.9
Observou-se que apenas 60% dos utilizadores terminaram a tarefa (T7) e que mesmo esses utilizadores tiveram algumas dificuldades em compreender a representação do espaço de cenas, razão pela qual quase metade dos utilizadores não concluíu a tarefa. Com base nas observações dos utilizadores, este facto deveu-se à representação das cenas ser feita de forma semelhante à dos filmes, através de círculos, e por isso não se terem apercebido do novo conceito apresentado (cenas emocionais). Por outro lado, depois de descobrir o conceito, a possibilidade de explorar as cenas pelo seu impacto emocional (T8) foi considerada muito útil. A forma de apresentar todas as cenas emocionais do mesmo filme, colocando o cursor sobre ou seleccionando um círculo qualquer (T9), foi muito apreciada e considerada visualmente agradável. Observou-se, ainda, que os utilizadores ficaram especialmente motivados com a possibilidade de visualização de uma representação do filme repartido pelas suas cenas emocionais. O acesso ao perfil do filme, quando se pediu para aceder às cenas tristes do filme alvo (T10), fazendo assim a ligação entre os dois espaços, apresentando um resumo do filme com as cenas emocionais da emoção seleccionada, foi classificada como útil (média = 4,6 desvio-padrão = 0,4), satisfatória (média = 4,6 desvio padrão = 1) , e muito fácil de usar (média = 4,9 desvio-padrão = 0,9).
4. User Emotional Profile
Tabela 3.4: Resultados da Avaliação ao User Emotional Profile
USE Utilidade Satisfação Facilidade de Uso
Tarefas Média D. Padrão Média D. Padrão Média D. Padrão
T11 4.8 0.5 4.7 0.5 4.8 0.3 T12 4.8 0.4 3.5 1 4.8 0.9 T13 4.8 0.4 3.5 1 3.6 0.9 T14 4.4 0.5 4.5 1.2 4 1.6
Nesta secção procurou-se avaliar a percepção da informação emocional sobre o perfil do próprio utilizador, onde se perguntou aos utilizadores qual a emoção mais e menos sentida nos filmes que já viu (T11), se já tinha classificado o filme “Requiem of a Dream” (T12), quantos filmes classificou (T13) e quais as emoções dominantes dos 3 últimos filmes vistos (T14). Os resultados do perfil emocional do utilizador foram globalmente satisfatórios, os utilizadores compreenderam o conceito do perfil e acharam
53
a possibilidade de ter os filmes classificados pelas suas próprias emoções muito útil. Em resumo, a partir das tarefas 11 e 13, conclui-se que o "My dominant Felt Emotions" é uma forma eficaz para representar a informação, embora alguns utilizadores não tivessem a certeza se este ponto de vista só incluía os filmes que já haviam classificado emocionalmente (T12). A representação dos filmes no "My Last Movies Classified" (T14) também cumpriu os requisitos de usabilidade, mas, quando questionados, todos os utilizadores preferiram a representação da informação emocional baseada em círculos, em vez da imagem do filme com o filtro de cor.