No CHI 2009, na sessão de Grupos de Interesse Especial: “Avaliação de Experiência
do Usuário – Você sabe qual método usar?” (BEVAN, 2009; OBRIST; ROTO;
VÄÄNÄNEN-VAINIO-MATTILA, 2009), os participantes foram solicitados a descrever os métodos de avaliação de UX. Bevan (2009) coletou 36 métodos, que foram classificados pelos seguintes temas (Quadro 3): avaliação do contexto, avaliação de dados e avaliação por especialistas.
Segundo Bevan (2009), os métodos descritos no Quadro 3 se diferenciam da usabilidade tradicional, pois não visam apenas alcançar a eficácia, eficiência e satisfação, mas otimizar toda a UX por meio da interação real para a reflexão sobre a experiência.
Quadro 3 – Métodos de avaliação da UX Evaluation
methods Evaluation context Evaluation data Expert evaluation
Methods
Lab tests
• Lab study with mind maps • Paper prototyping
User opinion/interview • Lab study with mind maps • Quick and dirty evaluation • Audio narrative
• Retrospective interview • Contextual Inquiry • Focus groups evaluation • Observation \ Post Interview • Activity Experience Sampling • Sensual Evaluation Instrument • Contextual Laddering
• Interview
• ESM (Experience sampling Method) • Expert evaluation • Heuristic matrix • Perspective-Based Inspection Field tests
• Product / Tool Comparison • Competitive evaluation of
prototypes in the wild Field observation • Long term pilot study • Longitudinal comparison • Contextual Inquiry • Observation/Post Interview • Activity Experience Sampling • Longitudinal Evaluation • Ethnography • Field observations • Longitudinal Studies Evaluation of groups • Evaluating collaborative user experiences User questionnaire • Survey Questions-Emocards • Experience sampling triggered
by events
• SAM (Self Assessment Scale) • Magnitude Estimation • TRUE (Tracking Realtime
User Experience) • Questionnaire (e.g. AttrakDiff) Instrumented product
• TRUE (Tracking Realtime User Experience)
Domain specific • Nintendi Wii
Evaluation
methods Evaluation context Evaluation data Expert evaluation Children
• OPOS-Outdoor Play Observation Scheme • This-or-that
Human responses • PURE (Preverbal User
Reaction Evaluation) • Psycho-physiological
measurements Approaches
• Evaluating UX jointly with usability
Fonte: CHI 2009 SIG apud Bevan (2009).
O site ALL ABOUT UX apresenta 35 métodos de avaliação11 da UX durante a interação com um sistema. Desses, aqueles que consideram a opinião do usuário durante o uso do sistema são: ESM, Activity Experience Sampling, Experience Sampling triggered by
events, TRUE e SEI, explicados nos próximos parágrafos.
ESM (Experience Sampling Method) é um método que pede aos participantes que parem em certos momentos e façam anotações de sua experiência em tempo real (OBRIST; ROTO; VÄÄNÄNEN-VAINIO-MATTILA, 2009). Uma de suas características consiste em contatar os usuários em vários momentos “desprevenidos” e não necessariamente com intervalo equivalente, gerando uma visão mais realista da interação com o sistema, impossibilitando o usuário de se “preparar para a realização de um teste”. Segundo ALL ABOUT UX (2015), um ponto fraco dessa técnica consiste na possibilidade de o ponto de parada ser impróprio para relatar a experiência do usuário. Nesse momento, se o usuário não pode usar o sistema e tem que interromper sua experiência, algumas emoções negativas podem acontecer.
O método Activity Experience Sampling recolhe amostras de experiências momentâneas no ambiente natural do indivíduo, como o uso de diários relatando sua experiência (RIEDIGER, 2009). A técnica Experience sampling triggered by events é uma variante dessas técnicas, porém captura os eventos dos usuários durante seu uso por meio de uma ferramenta (FETTER; GROSS; SCHIRMER, 2011; KHAN; MARKOPOULOS, 2015; MESCHTSCHERJAKOV; REITBERGER; TSCHELIGI, 2010). A partir dos eventos capturados, como o acesso a uma determinada tela do sistema, um questionário é apresentado ao usuário a fim de associar sua satisfação àquele determinado evento.
O TRUE (Tracking Real Time User Experience) auxilia o avaliador no rastreamento do comportamento dos usuários, monitorando digitalmente a interação entre o usuário e o
sistema, através da gravação em vídeo e podendo intercalar dados comportamentais e atitudes do usuário em relação ao sistema (KIM et al., 2008).
O SEI (Sensual Evaluation Instrument) consiste em um método destinado a fornecer um canal não verbal flexível de comunicação entre usuário e avaliador durante o desenvolvimento do sistema. Os usuários manifestam seus sentimentos por meio de objetos esculpidos à mão, indicando como eles estão se sentindo ao interagir com um sistema (ISBISTER et al., 2007).
Especificamente, este trabalho se baseia na avaliação da UUX por meio das postagens dos usuários durante o uso do sistema. No contexto de uso em SS, existe a frequente troca de mensagens entre os usuários e de forma espontânea. Na técnica ESM, os usuários irão relatar o uso aos especialistas. Conforme mencionado, considera-se que a forma espontânea de descrever um problema de uso a um amigo seja diferente de uma descrição a um especialista. Além disso, a linguagem predominante em SS consiste de textos escritos. Os eventos coletados dos usuários podem ser interessantes para análise de características como métricas de eficácia ou erros no sistema, mas os textos podem possibilitar a expressão das emoções dos usuários (BROOKE, 2009; ASIAEE et al., 2012).
Outra forma de avaliação da UX se dá por meio de avaliações emocionais. A Figura 1 ilustra uma taxonomia (XAVIER; NERIS, 2012), que classifica a avaliação emocional em verbal e não verbal, e apresenta algumas medidas para avaliação das emoções disponíveis na literatura. No contexto desta tese, interessam, apenas, as avaliações verbais, que são divididas em avaliações cognitivas: Geneva Appraisal Questionnaire (GAQ) e pensando em voz alta (Think Aloud); e sentimentos subjetivos: Grade de afeto, DES, SD, PAD, PANAS, PANAS-X e auto-confrontação. No entanto, nenhum dos métodos citados utiliza textos escritos por usuários durante o uso do sistema. Aqueles que não são orais utilizam questionários antes ou após o uso do sistema (GAQ, Grade de afeto, PANAS, PANAS-X e auto-confrontação).
Figura 1 –Taxonomia de métodos, técnicas e instrumentos para a avaliação emocional
Fonte: Xavier e Neris (2012). Traduzido pela autora.
Diversos autores (BEVAN, 2009; PREECE; ROGERS; SHARP, 2005; ROTO; OBRIST; VÄÄNÄNEN-VAINIO-MATTILA, 2009) acreditam que a triangulação de métodos facilita na avaliação da UX. A triangulação é uma estratégia de utilizar mais do que uma técnica de coleta ou análise de dados para obter diferentes perspectivas e confirmar as descobertas, permitindo obter resultados mais rigorosos e válidos (BARBOSA; SILVA, 2010). A análise de textos dos usuários irá fornecer mais uma contribuição na coleta de opiniões dos usuários.