4. Den utslippsfrie byggeplassen
4.3 Den offentlige byggeplassen
4.3.1 Kommunenes handlingsrom
O MISI é um método desenvolvido e aperfeiçoado, em 2008, por pesquisadores brasileiros da UFMG (DE OLIVEIRA; LUZ; PRATES, 2008; DE OLIVEIRA, 2010). O seu objetivo é entender a comunicação entre o designer e o usuário, mediados pelo sistema, num contexto novo de avaliação de um sistema educacional por um usuário indireto.
Conforme já apresentado, o MISI (DE OLIVEIRA; LUZ; PRATES, 2008) é também, um método que avalia a comunicabilidade de sistemas e tem como base o MIS (DE SOUZA et al., 2006) e o MEDS (NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004).
Nas pesquisas de De Oliveira, Luz e Prates (2008) e De Oliveira (2010), o MISI foi aplicado num contexto de avaliação de um sistema educacional por um usuário indireto (o professor), visto que o professor é o responsável por direcionar e/ou definir o uso do sistema pelo aluno, em seu contexto de aprendizagem. Em muitas situações, como num AVA por exemplo, o professor deve também projetar o seu curso (e/ou disciplina) e, até mesmo, customizá-lo ou fazê-lo com o auxílio de um designer instrucional.
O foco do MISI é obter a visão do professor sobre a comunicabilidade de um ambiente de apoio ao aprendizado. Esta visão é importante por permitir ao professor entender, por meio da interface, para que o sistema serve, a que aluno ele se destina, quais as vantagens de utilizá-lo, como ele funciona e quais são os princípios gerais que definem as possibilidades de interação com ele. Uma vez que o professor consegue identificar estas questões ele terá melhores condições de avaliar se este sistema está (ou não) adequado às necessidades dos seus alunos e à sua metodologia de ensino (DE OLIVEIRA, 2010, p. 98).
O MISI então se constituiu como uma proposta de um novo método em que a avaliação da comunicabilidade é realizada por usuários indiretos, intermediada por especialistas em EngSem, através de uma entrevista semi-estruturada. Uma das diferenças do MIS para o MISI é que a inspeção pelo MIS deve ser realizada por especialistas da área de EngSem.
O MEDS é um método qualitativo de pesquisa através do qual são norteadas as entrevistas semi-estruturadas em Ciências Humanas e Sociais. O principal objetivo do MEDS, em IHC, é tornar visíveis os aspectos da natureza interna humana, suas preferências, dificuldades, desejos, anseios, entre outros, importantes para o desenvolvimento de sistemas interativos. Sua maior utilidade para a área de IHC é a possibilidade de captar o que não é tangível por outros métodos (NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004). Nesta nova perspectiva, com o apoio do MEDS, o papel do avaliador no MISI é transferido para o usuário indireto.
Em resumo, para fins de contextualização do MISI, o MEDS prevê os seguintes passos: (1) delineamento dos objetivos da entrevista, (2) recrutamento dos participantes constituindo um grupo homogêneo a partir de critérios relevantes, (3) elaboração do roteiro da entrevista com itens abertos, (4) coleta de dados em uma única entrevista individual, gravada e as observações relevantes registradas em papel para posterior análise, (5) preparação para análise dos dados com a transcrição das entrevistas, (6) análise sistemática das respostas de todos os participantes (inter-sujeito), buscando pontos em comum e das respostas de cada participante (intra-sujeito), (7) interpretação dos resultados obtidos da análise inter-sujeitos, buscando recorrências socialmente construídas pelo grupo e dos resultados de cada um (intra-sujeitos) identificando as categorias relevantes.
De Oliveira, Luz e Prates (2008), refletindo sobre a aplicabilidade do MEDS na
perspectiva de avaliação da mensagem de um sistema pelo usuário, destacaram sua adequação em um contexto em que os usuários conhecem e usam o sistema. Contudo, em um contexto em que o usuário não conhece o sistema, não há como entrevistá-lo. E com isso, o MIS associado ao MEDS permite essa apreciação do usuário em relação a um sistema potencialmente útil para este usuário.
O MEDS poderia ser utilizado para se coletar a percepção de um usuário sobre o sistema. No caso de usuários que conhecem e usam o sistema, o MEDS funcionaria bem. No entanto, para a avaliação de usuários indiretos (stakeholders) a entrevista só seria possível se o usuário tivesse conhecimento do sistema. No caso de ambientes educacionais, muitas vezes o objetivo da avaliação é justamente verificar a visão do professor sobre o sistema em relação às suas necessidades de recursos didáticos. Esta visão é de interesse tanto como avaliação formativa, quanto somativa, independente de o professor já conhecer ou usar o sistema. Porém, se ele não o conhece, não há como entrevistá-lo sobre o sistema (DE OLIVEIRA; LUZ; PRATES, 2008, p. 53).
A ideia geral do MISI é guiar a interação do usuário com o sistema através de um roteiro baseado na inspeção dos signos da interface, conforme proposto pelo MIS. A inspeção em cada nível de signos (metalinguístico, estático e dinâmico) é realizada, indiretamente, por estes usuários, especialistas do domínio. À medida que ele interage com o sistema, o avaliador conduz a entrevista (conforme propõe o MEDS) sobre a sua percepção dos signos e da metamensagem do sistema, ou seja, a quem se destina, que problemas resolve, como e por quê.
3.4. Métodos de Avaliação de Comunicabilidade 113
Assim, pelo MISI é possível realizar a reconstrução da metamensagem e uma análise da comunicabilidade de um sistema pelo avaliador com o apoio/colaboração do especialista do domínio. A orientação do avaliador no decorrer da avaliação permite que este usuário indireto faça a avaliação do sistema, sem que seja necessário conhecer os conceitos de EngSem (o que teria um custo muito alto). Com isso, o MISI permite a coleta de dados da percepção dos diferentes níveis de signos do sistema por este usuário indireto e uma posterior reconstrução deste visão pelo especialista. “O especialista do domínio sem ter conhecimento do MIS ou EngSem gera os dados para a inspeção semiótica do avaliador sob o ponto de vista do especialista.” (DE OLIVEIRA, 2010, p. 100).
Os passos do MISI podem ser divididos em três momentos: preparação (delineamento do escopo, recrutamento dos participantes, preparação para a coleta de dados), coleta de dados (inspeção mediada pela entrevista) e análise (preparação, análise dos dados e interpretação). A
Figura 3.4 apresenta uma visão geral do MISI.
Figura 3.4 – Método de Inspeção Semiótica Intermediado (MISI)
Fonte: De Oliveira(2010, p. 102).
A seguir, apresentamos a descrição para cada um dos passos do MISI, cuja aplicação em nossa pesquisa, foi apresentada no Capítulo 5.
3.4.2.1 Delineamento do escopo
O delineamento do escopo é o primeiro passo do MISI. Assim como é feito no MIS, no MISI deve-se definir as partes da interface que serão inspecionadas e escrever os cenários 2
de interação para guiar a avaliação.
No MISI, os cenários podem não ser necessários, em uma situação em que os usuários indiretos (e.g. educador) estiverem considerando a sua experiência e necessidade de uso do sistema a ser inspecionado. Contudo, os cenários são recomendados, quando se deseja focar a avaliação do sistema em um determinado contexto de uso pelo participante (DE OLIVEIRA,
2010).
Como ocorre no MIS, o especialista realiza uma inspeção preliminar do sistema e procura identificar os principais usuários do sistema, bem como as principais tarefas que este usuário pode realizar. Conforme o conhecimento do especialista, pode-se também identificar tarefas mais problemáticas ou de difícil compreensão por parte dos alunos (DE OLIVEIRA,2010, p. 103).
3.4.2.2 Recrutamento dos participantes
Neste passo, os participantes do MISI devem ser selecionados, constituindo um grupo homogêneo. No MISI, recomenda-se, no mínimo, três participantes. Em pesquisas em profundi- dade, o número de participantes é pequeno, sendo necessária devida atenção às estratégias para o recrutamento. Apesar dos participantes possuírem perfis homogêneos, eles podem ter uma visão diferente sobre o sistema e, com isso, enriquecerem a qualidade da inspeção(NICOLACI-
DA-COSTA; LEITÃO; ROMÃO-DIAS,2004, p. 4).
As autoras citam a estratégia “amostra da bola de neve” em que os sujeitos recrutados para a pesquisa indicam outros sujeitos e assim sucessivamente (WEISS, 19953 citado por
NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004). Em outra estratégia, denominada
“amostra de máxima variação”, o pesquisador escolhe, “em uma determinada população, tipos heterogêneos de sujeitos de modo a permitir que um número maior de pessoas possa se identificar com a pesquisa, já que ela é composta de tipos de sujeitos diferentes entre si.” (SEIDMAN, 19984
citado por NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004). Já para o MEDS, as autoras sugerem que seja adotada a estratégia do “perfil de alta definição”, oposta à de Seidman. No “perfil de alta definição”, realiza-se um tipo de recrutamento que busca maximizar a homogeneidade da amostra a partir de critérios relevantes para a investigação proposta. “Para este tipo de recrutamento, é útil fazer uso de uma rede de conhecidos que possam dar indicações de pessoas que tenham o perfil escolhido”, sendo também
2
Narrativas que simulam situações reais relacionadas com o perfil do usuário, no contexto de uso do sistema.
3 WEISS, R. S. Learning from Strangers: the art and method of qualitative interview studies. The Free
Press, New York, 1995.
4 SEIDMAN, I. Interviewing as Qualitative Research: a guide for researchers in education and social sciences.
3.4. Métodos de Avaliação de Comunicabilidade 115
uma forma de utilização da estratégia da bola de neve de Weiss (NICOLACI-DA-COSTA;
LEITÃO; ROMÃO-DIAS, 2004, p. 4).
3.4.2.3 Preparação para a coleta de dados
A preparação para coleta de dados envolve a elaboração do material utilizado durante a inspeção do sistema. O roteiro a ser utilizado deve apresentar os objetivos da pesquisa e do método de inspeção, assim como o termo de consentimento. A seguir, deve-se definir os itens ou perguntas contendo as informações questionadas aos participantes para o levantamento do seu perfil detalhado (formação acadêmica, conhecimento sobre o conteúdo do sistema, dentre outras relevantes para o contexto da pesquisa).
O próximo material a ser elaborado envolve a definição da inspeção do sistema: (1) inspeção dos signos metalinguísticos, (2) inspeção dos signos estáticos e e dinâmicos e (3) potencial uso do sistema.
A inspeção do sistema inicia-se com a análise dos signos metalinguísticos. O participante deve ter acesso ao material (impresso ou online) que apresenta os signos de metacomunicação, de acordo com o escopo definido (e.g. manual impresso, parte do sistema de ajuda online). Deve-se incluir no roteiro da entrevista do MISI questões que permitam identificar a percepção do participante sobre a metamensagem inicial do sistema: (i) a quem se destina o sistema, (ii) que problemas é capaz de resolver, (iii) como e (iv) por que.
Para análise dos signos estáticos e dinâmicos, é necessário que o avaliador (especialista) defina as telas a serem percorridas e as tarefas a serem executadas pelo participante durante a inspeção. Em cada nível de inspeção dos signos estáticos e dinâmicos, deve-se definir também os pontos a serem questionados sobre a compreensão de cada um dos signos presentes na interface. Por exemplo, para os signos estáticos, “O que você acha que este botão faz?”; e para signos dinâmicos, “Agora que você interagiu com este botão, ela se comportou conforme esperado? Por que (não)?”. Ao final do roteiro, deve-se incluir, também, questões associadas ao objetivo da avaliação e à experiência de uso do sistema. Assim, as mesmas perguntas iniciais “(i) a quem se destina o sistema, (ii) que problemas é capaz de resolver, (iii) como e (iv) por que” são novamente realizadas para identificar se houve alguma mudança na percepção da metamensagem inicial do sistema pelos participantes.
Outras questões importantes sobre o potencial uso do sistema devem ser consideradas. Por exemplo, “Você acha que este sistema poderia ser útil para o aprendizado de um público X?”, “Qual sua opinião sobre as possibilidades de apoio à aprendizagem oferecidas por este sistema?”, “Você recomendaria este sistema? Por que?”. Estas questões devem ser usadas como orientação durante a coleta de dados, seguindo a proposta do MEDS (NICOLACI-DA-COSTA;
3.4.2.4 Coleta de dados
A coleta de dados inicia-se com a apresentação dos objetivos da pesquisa, leitura e assinatura do termo de consentimento.
A aplicação do MISI deve ser realizada em um ambiente onde o participante possa concentrar-se, sem ter sua atenção desviada. Por isso, se possível, deve ser realizada em um ambiente já preparado para esta finalidade, com computadores, espaços para participante e avaliador, sala de observação, além de câmeras de vídeo e gravadores. Caso seja necessário, também pode ser considerada a opção de se “levar o laboratório até o usuário”. É importante ter atenção para que os participantes fiquem o mais à vontade possível, “para que possam agir tão naturalmente quanto consigam neste ambiente controlado e artificial” (PRATES; BARBOSA,
2003, p. 29).
As entrevistas devem ser gravadas para transcrição e análise posterior. As interações com o sistema também devem ser gravadas, pois podem apontar elementos importantes na interação que não possam ser captados pela gravação em áudio/vídeo. Logo, a gravação da interação permite identificar estas possíveis ambiguidades durante a inspeção. Logo, recomenda- se que o áudio e a interação sejam gravados ou o vídeo da entrevista, sendo possível, neste caso, distinguir elementos apontados na tela (DE OLIVEIRA, 2010, p. 104).
Os passos da interação são baseados no MIS, conforme já definido no roteiro. Os avaliadores devem seguir o roteiro para sua orientação no decorrer da avaliação e garantir a inspeção de todos o escopo já definido.
Lembram-no de, durante a entrevista, fazer perguntas sobre os tópicos do roteiro sem que estas perguntas sejam lidas e, em consequência, soem formais e artificiais para os entrevistados. Todos os tópicos previstos no roteiro devem ser abordados em todas as entrevistas. Este procedimento deve ser sistemático e rigoroso porque dele dependerá a qualidade da análise a ser realizada posteriormente (NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004, p. 3).
O roteiro pode ser utilizado também, conforme sugerido, para registro de elementos relevantes percebidos pelos avaliadores. Logo, inicia-se a inspeção que deve ser guiada pelo avaliador.
No primeiro momento da interação, realiza-se a inspeção dos signos metalinguísticos. O participante deve ter acesso ao material que apresenta os signos metalinguísticos, online ou impresso. A seguir, realiza-se a entrevista para a identificação da metamensagem relativa a esta parte e, então, inicia-se a interação com o sistema.
A inspeção dos signos estáticos e e dinâmicos ocorre de maneira diferente do método original do MIS. No MIS, o avaliador inspeciona todos os signos estáticos, para então inspecionar todos os signos dinâmicos. No MISI, houve a junção destes dois passos com o intuito de permitir a avaliação dos signos estáticos durante a interação, e o contraste entre signos dinâmicos e
3.4. Métodos de Avaliação de Comunicabilidade 117
estáticos pelo próprio participante, que não é especialista em IHC ou EngSem. Sendo assim, para cada signo com o qual o participante interage, o avaliador explora com ele a sua percepção sobre o signo estático. A seguir, o participante interage com o sistema, e o avaliador explora o signo dinâmico. Esse processo deve ser conduzido pelo avaliador questionando a percepção do participante antes da interação e após a interação. Ou seja, o participante, mesmo sem conhecer os conceitos de EngSem, realiza a inspeção do sistema. (DE OLIVEIRA; LUZ; PRATES,2008).
Concluída a inspeção e identificação dos significados atribuídos a signos estáticos e dinâmicos, o avaliador deve rever com o participante a sua percepção da metamensagem identificada antes da inspeção. Ou seja, ele realiza as mesmas perguntas iniciais com o objetivo de identificar “mudanças em relação à metamensagem reconstruída a partir da inspeção dos signos de metacomunicação”. O último item da entrevista está relacionado à percepção do participante sobre o potencial uso do sistema. O avaliador deve questionar sobre a percepção e experiência de uso do participante, “levando em consideração outros critérios que sejam relevantes para o contexto ou uso do sistema” (DE OLIVEIRA; LUZ; PRATES,2008, p. 54). 3.4.2.5 Preparação para análise dos dados
Nesta etapa de preparação, deve-se transcrever todas as entrevistas tendo como foco os objetivos da pesquisa. Neste processo, recomenda-se o cuidado de incluir as pausas mais longas na fala ou hesitação, assim como ter cuidado com as minúcias, pois os detalhes em excesso podem atrapalhar e, por isso, devem ser evitados (NICOLACI-DA-COSTA; LEITÃO;
ROMÃO-DIAS,2004). As “referências dêiticas” ao sistema também devem ser registradas (e.g.
apontou para determinado elemento do sistema) (DE OLIVEIRA; LUZ; PRATES, 2008, p. 55). Estas ocorrências podem indicar conflitos, dúvidas e outros.
Diferentemente do caso daqueles pesquisadores que não registram que estão trabalhando com material e por isso fazem o que poderia ser chamado de uma análise implícita de discurso, o MEDS se caracteriza por fazer uma análise explícita de discurso. Por esse motivo, pode mais facilmente levar em consideração quaisquer aspectos linguísticos e paralinguísticos recorrentes nos discursos coletados – forma, conteúdo, sintaxe, entonação, pausas, hesitações, etc. – desde que sejam relevantes para os objetivos da pesquisa.
(NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS,2004, p. 7)
A análise dos dados deve ser iniciada somente após a transcrição das entrevistas, visto que a primeira etapa já é realizada com todas as respostas de todos os participantes.
3.4.2.6 Análise dos dados
A análise de dados é feita em duas etapas, a partir da proposta do MEDS: (1) análise inter-sujeitos, quando é realizada a análise de todas as respostas de todos os participantes para cada um dos itens e (2) análise intra-sujeitos, quando é realizada a análise de todas as respostas de cada um dos participantes (NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS,
2004). Ela deve ser feita com dois focos: (1) identificação das categorias relevantes ao uso do sistema pelos participantes e (2) a metamensagem com base na visão dos participantes.
Na análise inter-sujeitos, “todas as respostas de todos os sujeitos a todas as perguntas são analisadas sistemática e rigorosamente, o que é possível somente porque todos os sujeitos deram suas respostas a todos os itens do roteiro durante as entrevistas.” A partir desta análise, tem-se uma visão geral dos depoimentos, revelando pontos em comuns das respostas do grupo, apesar de ainda inconclusivos (NICOLACI-DA-COSTA; LEITÃO; ROMÃO-DIAS,2004). Neste momento, o avaliador deve ter atenção para identificar categorias recorrentes para cada análise
(DE OLIVEIRA; LUZ; PRATES, 2008).
Já no segundo momento da análise intra-sujeitos, considera-se as “respostas de cada um dos sujeitos como um único conjunto dentro do qual são analisados possíveis conflitos de opiniões, inconsistências entre respostas, sentimentos contraditórios e outros.” (NICOLACI-
DA-COSTA; LEITÃO; ROMÃO-DIAS, 2004). Nesta etapa da análise, o avaliador deve gerar a
reconstrução da metamensagem percebida pelo participante para o nível de metacomunicação e também para o estático-dinâmico (DE OLIVEIRA; LUZ; PRATES, 2008).
E então, retoma-se a primeira análise, quando é feita uma nova análise com esse novo olhar. Esse processo pode ser repetido quantas vezes for necessário (NICOLACI-DA-COSTA;
LEITÃO; ROMÃO-DIAS, 2004, p. 9).
Na fase de análise, busca-se
(...)identificar e registrar questões levantadas para cada categoria, possíveis conflitos de opinião e potenciais inconsistências do sistema em relação às categorias de interesse. Estes problemas podem estar relacionados a um dos níveis (e.g. ao olhar os signos estáticos de uma tela, o participante poderia comentar “Não faço ideia para que serve este botão”), ou mesmo à inconsistência entre os níveis (e.g ao interagir com um botão, o participante poderia comentar “Ué, achei que este botão faria X, mas agora estou vendo que na verdade ele faz Y”) (DE OLIVEIRA; LUZ; PRATES,2008, p. 55).
Para identificação das categorias relevantes ao uso do sistema pelo participante, o avaliador deve categorizar as principais características apontadas pelos participantes durante a inspeção. Estas categorias estão diretamente relacionadas aos itens presentes no roteiro da entrevista, assim como aos aspectos relevantes para cada participante. Podem se referir, de maneira geral, ao perfil do participante, assim como aos problemas de interação identificados. Em avaliação de sistemas no domínio educacional, além destas categorias, podem surgir outras
3.5. Avaliação de Interface no Domínio Educacional 119
“referentes à metodologia de ensino adotada pelo professor, estilo de aula, objetivo educacional do sistema inspecionado, dentre outros” (DE OLIVEIRA, 2010, p. 105).
Para a reconstrução da metamensagem, o avaliador deve ter como base a visão dos participantes. O avaliador deve interpretar os dados analisados, buscando identificar a visão que o participante (usuário indireto) teve da metamensagem do projetista, assim como os problemas identificados nesta metamensagem. Então, faz-se a reconstrução do template de metamensagem, para cada participante, a partir de suas respostas à entrevista.
3.4.2.7 Interpretação dos resultados
Na interpretação dos dados, o avaliador deve identificar a visão do participante a partir da metamensagem do projetista e os problemas identificados nesta metamensagem. Neste momento, também é feita a análise das categorias encontradas e da caracterização da solução proposta do projetista, de acordo com essas categorias.
3.5
Avaliação de Interface no Domínio Educacional
“Avaliar a qualidade de um software educacional é uma tarefa mais complexa do que avaliar um software com objetivos de se cumprir uma tarefa específica, pois envolve vários atributos: técnicos, metodológicos, pedagógicos, e er- gonômicos. Ao projeto da interface soma-se o projeto educacional, ampliando os objetivos da ergonomia de software se ampliam para desenvolvedores e