A análise da consistência da ordenação da relevância das características ao longo dos vários ensaios permite sobretudo avaliar a fiabilidade da seleção de características segundo este método. Por um lado possibilita comparar os resultados obtidos com o conhecimento do domínio das neurociências no que se refere às áreas funcionais, hemisférios e bandas, mais envolvidas no processo cognitivo da leitura de um dado utilizador. Por outro, averiguar a extensão das diferenças entre utilizadores que por ora inviabilizam que os métodos apresentados nas secções anteriores sejam generalizáveis a todos os utilizadores.
A análise ANOVA permite neste âmbito avaliar se as diferenças entre as ordens determinadas para as características são efetivamente consistentes ao longo dos vários ensaios. Nesta secção mostram-se apenas algumas figuras e tabelas ilustrativas, estando em anexo (III) toda a informação resultante.
A Tabela 38 mostra parte dos resultados da análise ANOVA quando se comparam as ordens das características em relação aos hemisférios, as bandas, áreas funcionais e elétrodos nos conjuntos de dados I, intra-utilizador, e II, inter-utilizador. Assinalam-se com e os valores que cumprem ou não os limiares referidos na secção 4.7.3.
44 As componentes principais ou ordens de relevância foram determinadas nos restantes 9-folds e aplicadas no 10, 10 vezes. 45 As componentes principais ou ordens de relevância foram determinadas nos restantes 12 ensaios e aplicadas no 13, 13 vezes.
46 Os valores assinalados com * são arredondados dos valores médios determinados nas iterações consideradas, respetivamente 10 nos folds e 13, nos ensaios.
Experiências Ler vs Ecrã Branco Ler vs Imagens F crítico
Grupos Conjunto F P F P
Hemisférios I, Intra-Utilizador 92,90 0 5,24 1,8E-15 3,84 II, Inter-Utilizador 0,70 0,400 0,010 0,920
Bandas I, Intra-Utilizador 11,89 3,3E-11 59,24 0 2,37 II, Inter-Utilizador 26,48 0 15,75 1,7E-12
Áreas Funcionais
I, Intra-Utilizador 11,89 3,3E-11 3,9E+3 0,002
2,21 II, Inter-Utilizador 2,56 0,026 5,21 ~0
Elétrodos I, Intra-Utilizador 12,58 0 8,45 0 1,67 II, Inter-Utilizador 1,95 0,016 2,46 0,002
Tabela 38. Excertos das tabelas resultantes da ANOVA aplicada às ordens de relevância. Como se pode observar na maior parte dos casos verificam-se diferenças consistentes entre os vários grupos e conjuntos considerados, o que suporta a utilização destas propriedades para ordenar e selecionar características. Sempre que F e P verificam os limiares, significa que as médias dos vários grupos se mantêm consistentemente diferentes (com significado estatístico) ao longo dos vários ensaios, sendo a probabilidade de estas serem iguais inferior a 5%. Para isto acontecer, basta, porém, existir uma média que seja diferente das restantes.
Para destrinçar qual dos grupo é consistentemente diferente em relação aos demais é necessário usar métodos adicionais como é o caso das comparações múltiplas. Ambos os gráficos da Figura 50, por exemplo, mostram que, em conformidade com o estado da arte (ver secção 2.2.2.1), as características do hemisfério esquerdo são neste caso mais relevantes para a distinção do estado da leitura silenciosa que as do direito. Esta diferença não foi, contudo, estatisticamente relevante no caso inter-utilizador, o que significa que a dominância não foi igual entre os vários utilizadores testados, confirmando as indicações do estado da arte que indicam que a dominância esquerda é maioritária, mas não unânime (ver secção 2.2.2.1). As tabelas e gráficos completos desta análise encontram-se disponíveis no anexo III.
(i) Ler vs Ecrã Branco Conjunto II, Inter-Utilizador
(ii) Ler vs Imagens Conjunto I, Intra-Utilizador
Figura 50. Comparações múltiplas entre as ordens de relevância relativas aos hemisférios47. As diferenças entre conjuntos, indicativas de que os padrões mentais relativos à leitura variam consoante os utilizadores verificam-se também nos restantes grupos, bandas, áreas funcionais e elétrodos, ocorrendo ocasionalmente algumas semelhanças. No caso das bandas, por exemplo (ver Figura 51), em ambas as experiências e conjuntos, a banda β, associada ao pensamento e atenção ativos, foi a menos relevante para a distinção entre os dois tipos de estados. Isto significa que esta se encontra igualmente envolvida em ambos os estados considerados e indicia que, mesmo no caso do Ecrã Branco, os utilizadores se mantiveram despertos.
As bandas mais relevantes variaram entre ambos os conjuntos, intra (I) e inter- utilizador (II), o que sugere que se as diferenças entre os vários utilizadores ocorrem quer ao nível de distribuição espacial, quer ao nível dos intervalos de frequência. No conjunto inter- utilizador as bandas mais relevantes foram precisamente as mesmas em ambas as experiências: primeiro a γ, associada à atenção, perceção e cognição (Gazzaniga, Ivry, & Mangun, 1998; Steinberg, 2003), seguida pela δ, que assume padrões distintos em tarefas de leitura distintas, tais como visio-espacial, semântica, entre outras (Bizas, et al., 1999).
(i) Ler vs Ecrã Branco,
Conjunto II, Inter-Utilizador
(ii) Ler vs Imagens Conjunto I, Intra-Utilizador
Figura 51. Comparações Múltiplas entre as ordens de relevância relativas às bandas. As áreas funcionais (na Figura 52) variaram em ambos os conjuntos, mas também entre experiências, sendo a área central geralmente a menos relevante. No conjunto inter- utilizador as áreas mais relevantes foram em ambas as experiências a occipital, aonde se localiza o córtex visual primário (ver Tabela 4), e a parietal, que se localiza próximo da área de Wernicke, associada ao processamento sublexical (Brown & Hagoort, 1999).
(i) Ler vs Ecrã Branco, Conjunto II, Inter-Utilizador
(ii) Ler vs Imagens Conjunto I, Intra-Utilizador
Figura 52. Comparações Múltiplas entre as ordens de relevância relativas às áreas funcionais. Por fim, em relação aos elétrodos, verificam-se ainda mais diferenças, quer entre conjuntos, quer entre experiências, não tendo sido possível tirar conclusões adicionais. Os gráficos desta análise podem ser consultados no anexo III.
147
7 Protótipo de Ambiente de Avaliação
de Usabilidade
As aplicações desenvolvidas no âmbito desta tese integram uma proposta de protótipo de ambiente de avaliação de usabilidade. Estas permitiram demonstrar algumas das funcionalidades disponibilizadas pela biblioteca EEGLIB, bem como realizar todas as
experiências descritas na secção 3.3.
Todas as aplicações foram desenvolvidas em C++, com as vantagens conhecidas da utilização o paradigma da orientação para objetos para a organização, modularização e extensibilidade (Lippman & Lajoie, 1998). Estas são aplicações Windows, criadas através da plataforma Microsoft Visual Studio C++ 2010 Express Edition (Microsoft, 2010), que disponibiliza vários elementos gráficos de desenvolvimento de interfaces para aplicações deste tipo.
Existem duas gerações distintas de aplicações:
O ReadingScroller e ReadingTester, desenvolvidas numa fase inicial, com o objetivo de assistir a leitura (Oliveira, Grigore, Guimarães, & Duarte, 2010), realizar os testes iniciais e efetuar a captura das experiências descritas.
O EEGEventGenerator, EEGOfflineAnalyser e EEGOnlineAnalyser, que integram a proposta de protótipo de ambiente de avaliação, tendo resultado da consolidação e restruturação das duas aplicações anteriores e com base na experiência recolhida. Estas foram reorganizadas para cumprir de forma mais específica os objetivos propostos e incluir alguns dos requisitos referidos nos capítulos anteriores.
As secções seguintes descrevem com mais detalhe estas aplicações, bem como em que medida é possível replicar testes de usabilidade a partir destas.