Tredje syklus: Perioden 2003 – 2007

Durante pesquisa realizada acerca do tema de avaliação de softwares, alguns métodos e modelos de avaliação foram encontrados e, em maior ou menor grau, contribuíram para a elaboração do instrumento proposto neste trabalho. Nos próximos tópicos serão apresentados alguns desses métodos e modelos de avaliação.

2.2.3.1 Método SUMI

O método SUMI – Software usability measurement inventory foi desenvolvido pela University College Cork para medir a satisfação de usuários, avaliando a qualidade percebida pelos usuários do software. O SUMI é parte do projeto MUSiC – Measuring the Usability of Systems in Contex, desenvolvido pelo projeto European MUSiC para prover meios válidos e confiáveis para especificar e medir tanto usabilidade quanto qualidade em uso, bem como fornecer subsídios para melhoria da qualidade em uso. MUSiC inclui ferramentas e técnicas que implementam os

princípios da ISO 9241-11 para especificação de contexto de uso e medição da performance e satisfação do usuário (MACLEOD et al, 1997).

O MUSiC prove medidas confiáveis de efetividade e eficiência do software, avaliando a medida em que objetivos de tarefas específicas são atingidos, bem como prove medidas para o tempo gasto de forma improdutiva, como: superando problemas e procurando por ajuda. O diagnóstico ajuda na identificação do local onde problemas específicos foram encontrados, e onde melhorias necessitam ser realizadas.

O método SUMI é composto de um questionário de cinqüenta perguntas, disponível em sete idiomas, ressaltando que o mesmo não é gratuito. Os usuários respondem ao questionário com base em suas experiências no uso do software ou mesmo de um protótipo. Os resultados fornecidos pelo método SUMI tem se mostrado confiáveis entre diferentes tipos de software, sendo que, são baseados em uma extensa base de dados construída a partir de diversos produtos de software, possuindo um inventário de medidas de usabilidade (PORTEOUS et al, 1993).

As respostas obtidas com a aplicação do questionário são comparadas com normas de qualidade como a ISO/IEC 9241-11, que trata de princípios ergonômicos gerais, aplicáveis a desenhos de diálogos entre pessoas e sistemas de informação, bem como a ISO/IEC 9126-2, fazendo referência as métricas que podem ser utilizadas para especificar ou avaliar o comportamento de um software quando operado pelos usuários.

Embora não tenha sido possível ter acesso a detalhes de como são calculados os índices de satisfação utilizados pelo método SUMI, bem como detalhes mais técnicos de sua construção, pode-se perder tempo com afirmativas redundantes utilizadas no questionário, como:

Eu recomendaria o uso deste software a meus colegas; Me agrada o tempo com este software;

Trabalhar com esse software é gratificante;

Eu não gostaria de usar este software todos os dias; Usar este software é frustrante;

Eu acho que uma vez este software me causou dor de cabeça.

O mesmo padrão mencionado acima também pode ser visto nas seguintes afirmativas:

Este software é mesmo muito estranho;

Este software é estranho quando eu quero fazer algo que foge do padrão.

Outro ponto que pode prejudicar a análise de satisfação dos usuários é a escala de respostas utilizada, que limita o entrevistado a responder: Concordo, Discordo ou Indeciso.

Vale ressaltar que algumas afirmativas são interessantes e foram consideradas na abordagem proposta por este trabalho, como:

A organização dos menus e listas de informação parecem ser lógicas; A documentação do software é muito informativa;

Mensagens de prevenção a erros não são adequadas;

De acordo com as diretivas do método SUMI, para sua aplicação é necessário um mínimo de dez respondentes para que se satisfaçam os requisitos para obtenção de resultados estatísticos estáveis (KIRAKOWSKI & CORBETT, 1993, p.210).

Não foi objetivo deste trabalho avaliar em detalhes o método SUMI, mas foi possível observar que o método não atenderia integralmente a abordagem proposta, pois dentre outras coisas, não analisa fatores externos ao software que está sendo avaliado. O método foi considerado neste trabalho como uma referência de características a serem mantidas, a serem descartadas e/ou modificadas para o desenvolvimento do instrumento proposto neste trabalho.

2.2.3.2 Avaliação Heurística

A avaliação heurística1 _{consiste em analisar a conformidade da interface com}

princípios reconhecidos de usabilidade (heurísticas), mediante a inspeção de vários avaliadores especialistas (MOLICH & NIELSEN, 1990; NIELSEN & MACK, 1994).

Avaliadores especialistas são utilizados para validar a interface do produto, pois é difícil para o desenvolvedor encontrar todos os problemas de usabilidade em uma interface. A avaliação da interface é realizada por cada um dos avaliadores, e ao terminarem os mesmos se comunicam para compilar os resultados obtidos. Este procedimento é importante para garantir avaliações independentes e imparciais de cada avaliador.

Os avaliadores podem se basear em um conjunto de regras para encontrar problemas de usabilidade, como as definidas por Nielsen e Mack (1994). Estas regras são denominadas Heurísticas de Usabilidade, e são as seguintes:

Visibilidade do estado do sistema: determina a necessidade de que o sistema mantenha o usuário informado do estado em que se encontra o sistema;

Utilizar a mesma linguagem dos usuários: o sistema deve se comunicar na linguagem dos usuários, com palavras, frases e conceitos familiares, em lugar de termos técnicos;

Controle e liberdade para o usuário: dispor de ações de fazer e desfazer, bem como opções de saída bem claras em caso erros;

Consistência e padrões: os usuários não têm que adivinhar que diferentes palavras, situações ou ações significam a mesma coisa; Prevenção a erros: a aplicação deve assegurar que o usuário

conhece exatamente o que se requer no sistema;

Minimizar a necessidade de memorização: manter objetos, ações e opções visíveis, evitando a necessidade de memorização por parte do usuário;

1 _{De acordo com a ANSI/IEEE STD 100-1984, a heurística trata de métodos ou algoritmos} exploratórios para solução de problemas. As soluções são buscadas por aproximações sucessivas, avaliando-se os progressos alcançados, até que o problema seja resolvido.

Flexibilidade e eficiência no uso: as instruções para o uso do sistema devem ser visíveis ou facilmente acessíveis sempre que se necessite;

Diálogos estéticos e desenho minimalista: não apresentar informação que não seja relevante. Cada informação adicional compete com informação importante e diminui sua visibilidade;

Reconhecer, diagnosticar e recuperar-se de erros: para ajudar os usuários, as mensagens de erro devem ser apresentadas em linguagem simples e indicar o problema de forma precisa;

Ajuda e documentação: deve ser fácil de encontrar, direcionada as tarefas dos usuários, breve e objetiva.

As principais vantagens da Avaliação Heurística são o baixo custo de implementação, é intuitiva para os usuários e pode ser realizada em etapas iniciais do desenvolvimento do produto.

A usabilidade de um produto é um dos itens críticos a obtenção de um bom resultado na avaliação da qualidade em uso de um software, sobretudo no que diz respeito à satisfação dos usuários. Independentemente se é realizada por especialistas, se é sobre um protótipo ou produto pronto, se é sobre um software que se pensa em adquirir ou sobre um já em uso por uma organização. Com base nesses pressupostos, o instrumento para avaliação da satisfação de usuários de software desenvolvido neste trabalho incluiu a característica usabilidade, dentre os pontos a serem avaliados para obtenção do grau de satisfação de usuários finais de software.

2.2.3.3 Método MEDE-PROS

O método MEDE-PROS – Método de Avaliação da Qualidade de Produto de Software, foi desenvolvido no Centro de Pesquisa Renato Archer, ou simplesmente CenPRA, que é uma instituição associada ao Ministério da Ciência e Tecnologia, que tem a finalidade de desenvolver e implementar pesquisas científicas e tecnológicas.

O método foi desenvolvido para apoiar a avaliação da qualidade de produtos de software sob o ponto de vista do usuário final, verificando o quanto o software atende os padrões das normas internacionais de qualidade, de acordo com as Normas ISO/IEC 9126 e ISO/IEC 12119, com relação a características de qualidade e pacotes de software. O resultado desta avaliação é um relatório identificando os aspectos do produto que atende as normas de qualidade de software e os aspectos a serem revistos, com sugestões de melhoria (CENPRA, 2004). O CenPRA também credencia laboratórios para utilização do MEDE-PROS.

O MEDE-PROS contém um total de 526 questões divididas em sete componentes: instalação, documentação do usuário, interface do usuário, software, descrição do produto, embalagem e desinstalação. Estas questões estão divididas entre os componentes citados, abrangendo Características e Subcaracterísticas de qualidade, como: completitude, funcionalidade, portabilidade, usabilidade, adequação, operacionalidade e etc.

O processo de avaliação de produtos de software é baseado na série ISO/IEC 14598, sendo formado pelas seguintes etapas:

Definição da estrutura física e de pessoal necessários a avaliação; Levantamento de requisitos, elaboração, negociação e formalização da

proposta de avaliação;

Planejamento das tarefas para execução da avaliação; Testes funcionais e inspeção da documentação do produto;

Devolução do material avaliado juntamente com o relatório da avaliação;

A avaliação de um produto de software utilizando-se o MEDE-PROS é realizada simulando o uso do produto. Começando pela análise da documentação do produto, instalando o produto conforme a documentação e utilizando o produto da forma mais completa possível. Durante todo o processo de avaliação o avaliador atribui pontuações ao produto de acordo com as perguntas do checklist, bem como o tempo gasto na avaliação, especifica as principais funções do produto e tece comentários sobre o produto que considere relevantes. A última etapa do processo

de avaliação é preparar o relatório de avaliação, que deve apresentar os aspectos positivos do produto avaliado e sugestões para sua melhoria.

O método MEDE-PROS tem sido referência no Brasil como método de avaliação de produtos de software, e como tal, tem inegável aprovação da comunidade de software nacional e notória qualidade no resultado de suas avaliações. Mas é importante ressaltar que o processo de avaliação é conduzido por um consultor especialista, executando a avaliação sob o ponto de vista técnico da Engenharia de Software, identificando o quanto o produto avaliado cumpre com requisitos definidos em normas internacionais de qualidade.

Desta forma, além de ser uma avaliação que pode ter um custo considerado alto para sua aplicação, a mesma deixa de fora a opinião de quem realmente conhece do negócio e que faz o verdadeiro uso do produto, que são os usuários finais. Além de que não foi observado no método, a preocupação com o ambiente em que este produto é usado, e que pode impactar diretamente em uma avaliação de satisfação de usuários de software.

Não foi objetivo deste trabalho avaliar em detalhes o método MEDE-PROS. O método foi considerado neste trabalho como uma referência de características a serem mantidas, a serem descartadas e/ou modificadas para o desenvolvimento do instrumento proposto neste trabalho.