Na fase de avaliação da conformidade foram executadas todas as atividades previamente definidas para os três sítios web avaliados, exceto a verificação complementar, que foi executada parcialmente, pois se mostrou extremamente longa na forma como foi inicialmente desenhada sua execução.
A execução desta fase durou três horas para cada sítio web, em média. Estima-se que a verificação complementar deva consumir em torno de quatro horas, totalizando sete horas para execução da fase como um todo.
Em seguida estão relatados os resultados alcançados com a execução desta fase, e respectivas análises.
5.1.2.1. Atividade: Avaliação com Ferramenta Automática 1
Esta atividade pretende avaliar o sítio web de maneira automática em relação ao Guia para a Acessibilidade do Conteúdo da Internet (WCAG) do W3C. Esta primeira avaliação com ferramenta traz resultados acerca de páginas de um sítio web em até três níveis, ou seja, pretende-se realizar avaliação horizontal do sítio web.
Nesta atividade executou-se ferramenta automática disponível na web, que foi definida previamente, e avalia sítios web a partir das recomendações do guia WCAG 1.0. Avaliou-se na ferramenta automática o retorno atual do percentual tanto de erros quanto de acertos encontrados nas avaliações. Nesta atividade não há diferença da execução piloto para uma execução real utilizando o PAASDEV, com exceção das melhorias identificadas que já estão propostas na versão mais recente do processo.
Os gráficos 1 e 2 representam consolidação dos resultados apresentados pela ferramenta para os três sítios web avaliados, quanto a acertos e erros encontrados:
0 20 40 60 80 100 120 Padrões HTML Estilos Scripts Textos Equivalentes Navegação & Orientação Sítio web 1 Sítio web 2 Sítio web 3
0 10 20 30 40 50 60 Padrões HTML Estilos Scripts Textos Equivalentes Navegação & Orientação Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 2 – Erros retornados pela primeira ferramenta automática
Como melhoria, verificou-se que seria interessante manter no artefato a ser preenchido com o resultado desta avaliação:
Qual o endereço web da primeira ferramenta automática, que estava inicialmente presente somente nas orientações de preenchimento do artefato; e
A quantidade de páginas que foram avaliadas pela ferramenta automática, que é informado na página de resultados da avaliação;
Incluir solicitação para que o avaliador feche o navegador e tente novamente caso haja erro na ferramenta online a ser utilizada, e caso o erro persista, os campos correspondentes deverão ser preenchidos com ER.
Convém lembrar que o processo pode ser melhorado se a ferramenta escolhida sofrer melhorias, ou se for encontrada outra ferramenta que melhor se adeque aos objetivos desta avaliação de acessibilidade para deficientes visuais. Se comprovadamente a ferramenta for desativada, deve-se buscar outra que realize análise de páginas web em mais de um nível.
5.1.2.2. Atividade: Avaliação com Ferramenta Automática 2
Esta atividade também pretende avaliar o sítio web de maneira automática em relação ao Guia para a Acessibilidade do Conteúdo da Internet (WCAG) do W3C, mas esta segunda avaliação com ferramenta traz resultados acerca de páginas individuais, ou seja, pretende-se
realizar avaliação vertical do sítio web ao selecionar páginas para avaliação de acordo com o processo previsto. Nesta atividade também deve ser executada ferramenta automática disponível na web, que foi definida previamente, e avalia sítios web a partir das recomendações do guia WCAG 1.0. Mais uma vez não há diferença da execução piloto para uma execução real utilizando o PAASDEV nesta atividade, com exceção das melhorias identificadas que já estão propostas na versão mais recente do processo.
Foi avaliado na ferramenta automática o retorno da quantidade de erros, acertos, itens que não se aplicam e itens a verificar para os níveis de Prioridade 1 e 2 do WCAG 1.0 encontrados nas avaliações. Os gráficos 3 a 6 representam consolidação dos resultados apresentados pela ferramenta para os três sítios web avaliados, respectivamente quanto a acertos, erros, itens que não se aplicam e itens a verificar:
0 5 10 15 20 25 30 Prioridade 2 Prioridade 1 Sítio web 1 Sítio web 2 Sítio web 3
0 20 40 60 80 Prioridade 2 Prioridade 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 4 – Erros retornados pela segunda ferramenta automática
0 10 20 30 40 50 60 Prioridade 2 Prioridade 1 Sítio web 1 Sítio web 2 Sítio web 3
0 50 100 150 Prioridade 2 Prioridade 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 6 – Itens a verificar retornados pela segunda ferramenta automática
Como melhoria para o processo proposto, verificou-se que seria interessante:
Manter no artefato a ser preenchido com o resultado desta avaliação qual o endereço web da segunda ferramenta automática, que estava inicialmente presente somente nas orientações de preenchimento do artefato;
Informar nas orientações do processo que não devem ser escolhidas páginas do tipo HTTPS, pois a ferramenta não suporta esse tipo de página. Das três páginas deste tipo que foram escolhidas nas avaliações piloto, somente em uma delas os resultados foram apresentados, mas foi utilizado HTTP ao avaliar;
Substituir a seleção de página da ferramenta de Ajuda pela seleção de página com o Mapa do sítio web, pois foi identificado que é mais comum os sítios disponibilizarem esta última que a primeira;
Incluir solicitação para que o avaliador feche o navegador e tente novamente caso haja erro na ferramenta online a ser utilizada;
Informar nas orientações do processo que se a ferramenta continuar a apresentar erro na avaliação de alguma das páginas escolhidas, deve ser selecionada nova página para substituir a anterior e nova avaliação deve ser realizada;
Incluir nesta atividade a avaliação dos resultados de Prioridade 3, que haviam sido descartados da versão preliminar do processo pois todos os itens a verificar, ou
avaliados na próxima atividade de verificação complementar, o que se mostrou excessivamente demorado;
Alterar a ordem de apresentação dos resultados a serem preenchidos para a mesma ordem na qual a ferramenta apresenta seus resultados, o que facilita a impostação desses dados e evita erros no preenchimento do artefato.
Mais uma vez, convém lembrar que o processo pode ser melhorado se a ferramenta escolhida sofrer melhorias, ou se for encontrada outra ferramenta que melhor se adeque aos objetivos desta avaliação de acessibilidade para deficientes visuais. Se comprovadamente a ferramenta for desativada, deve-se buscar outra que realize análise de página web e retorne itens a serem avaliados de maneira complementar, além dos erros e acertos.
5.1.2.3. Atividade: Verificação complementar
Esta atividade tem como objetivo avaliar complementarmente os itens identificados como a verificar (Needs Checking) na avaliação da segunda ferramenta automática.
Entretanto, de acordo com a explicação no início da descrição da execução desta fase, a atividade não foi realizada na avaliação piloto da forma como havia sido definida, pois verificou-se que havia uma média de 156 itens de Prioridade 1 e 2 do WCAG 1.0 que necessitavam de verificação complementar.
Esta quantidade não foi considerada razoável para ser avaliada no processo proposto, uma vez que apenas esta atividade poderia levar muito tempo para ser realizada.
Outro ponto considerado foi que ao procurar os Pontos de Verificação de Prioridades 1 e 2 do WCAG 1.0 nos respectivos Critérios de Sucesso de Níveis A e AA do WCAG 2.0 verificou-se que não há correspondência 1:1 e há vários casos no qual o item deixou de fazer parte da nova versão do guia de recomendações.
Ao buscar a comparação entre os Pontos de Verificação de Prioridades 1 e 2 do WCAG 1.0 e os Critérios de Sucesso de Níveis A e AA do WCAG 2.0, verificou-se que ainda não havia tradução para o português desta página. Este trabalho foi então realizado e está disponível no Apêndice J.
Em uma avaliação real utilizando o PAASDEV, esta atividade deverá ser executada por completo, de acordo com as melhorias propostas na versão mais recente do processo.
Então o Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV foi alterado para que apenas os itens de Prioridade 1 fossem considerados para a verificação complementar, o que resultou numa média de 51 itens a serem avaliados complementarmente.
O processo foi alterado ainda para que os itens de Prioridade 1 identificados na atividade anterior como a verificar, deveriam primeiro ser comparados com os Níveis do WCAG 2.0, e se o item ainda fosse considerado de Nível A, somente então este deveria ser avaliado complementarmente.
5.1.2.4. Atividade: Avaliação de Código
O obejtivo desta atividade é avaliar a qualidade do código fonte das páginas web do sítio em avaliação. Também está prevista nesta atividade a execução de ferramentas disponíveis na web, além da verificação da quantidade de linhas de código que possuem as páginas do sítio web que foram selecionadas para a avaliação.
O que foi avaliado nas três ferramentas previstas inicialmente eram a validade do código fonte das páginas selecionadas a partir da verificação das sintaxes de comandos, folhas de estilo e links que estas continham.
Em uma execução real de avaliação de acessibilidade utilizando o PAASDEV, somente serão executadas duas ferramentas, o que faz parte das melhorias identificadas e que estão presentes na versão mais recente do processo.
O gráfico 7 representa a consolidação dos resultados apresentados para os três sítios web avaliados:
0 500 1000 1500 2000 Link CSS MarkUp Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 7 – Erros retornados pelas ferramentas de avaliação de código
Os resultados descritos acima foram afetados pelo fato de que nem sempre as ferramentas retornavam resultados para todas as páginas avaliadas. No primeiro sítio web avaliado, das sete páginas avaliadas, apenas uma retornou informações da ferramenta de verificação de folhas de estilo (CSS), e por isso não se sabe quantos erros as demais páginas possuíam. Já no segundo sítio web avaliado, nenhuma das páginas avaliadas retornou informações da ferramenta de verificação de links e portanto não foi possível determinar quantos erros deste tipo o sítio web continha. Finalmente, no terceiro sítio web avaliado, das sete páginas avaliadas apenas uma retornou informações, para as três ferramentas de verificação de código, sendo então indeterminada a quantidade de erros que seriam retornados para as outras seis páginas do último sítio web avaliado.
Como melhoria para o Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV, verificou-se que seria interessante:
Manter no artefato a ser preenchido com o resultado desta avaliação quais são os endereços web das ferramentas utilizadas nesta atividade, que estavam inicialmente presentes somente nas orientações de preenchimento do artefato; Excluir do processo a verificação de folhas de estilo (CSS), pois estas não são
obrigatórias em páginas web e erros encontrados nem sempre afetam a acessibilidade, especialmente para deficientes visuais;
Descrição na língua inglesa dos itens de menu do navegador a serem utilizados na avaliação, além do português que já estava previsto;
Alterar a orientação para determinar qual a quantidade de linhas de código possui uma página web para que se exclua as linhas de comentários, que são iniciadas por <!-- e finalizadas por -->, e depois realize ordenação alfabética de todas as linhas para exclusão das que estão em branco;
Incluir nas orientações para preenchimento do artefato que na avaliação da primeira ferramenta, que avalia sintaxes de comandos do código fonte, sempre selecionar a opção “Group Error Messages by Type” e “Show Source”. Se houver erro na ferramenta na primeira tentativa de avaliação da página, e esta for em português, alterar a opção “Character Encoding” para “iso-8859-16 (Latin 10)”; Incluir solicitação para que o avaliador feche o navegador e realize nova tentativa
caso haja erro em alguma das ferramentas online a serem utilizadas, e caso o erro persista, os campos correspondentes deverão ser preenchidos com ER.
Uma vez mais, convém lembrar que o processo pode ser melhorado se as ferramentas sofrerem melhorias, ou se for encontrada outra ferramenta que melhor se adeque aos objetivos desta avaliação de acessibilidade para deficientes visuais. Se comprovadamente alguma das ferramentas for desativada, deve-se buscar outra que realize análise do código de página web e retorne quantidades de erros encontrados. Também é necessário lembrar que nem sempre os erros detectados por essas ferramentas impactam a acessibilidade da página web.
5.1.2.5. Atividade: Análise dos Dados de Conformidade
O objetivo desta atividade é analisar os dados colhidos na fase de Avaliação da conformidade. São então encontrados os valores correspondentes aos indicadores determinados para os atributos de conformidade e validade. É também encontrada a pontuação da fase, com a verificação do tipo de pontuação correspondente, que pode ser de A até E, no qual o sítio é considerado satisfatoriamente acessível nesta fase se alcançar o tipo de pontuação entre A e D.
Se o sítio alcançar apenas o tipo E, a avaliação de acessibilidade para deficientes visuais se encerra e é executada ainda somente a última atividade do Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV, que é a única atividade da fase de Conclusão.
Não há diferença da execução piloto para uma execução real utilizando o PAASDEV nesta atividade, com exceção das melhorias identificadas na transição para a próxima atividade, que já estão propostas na versão mais recente do processo.
Os gráficos 8 e 9 representam consolidação dos resultados do indicador de conformidade que são apresentados para os três sítios web avaliados, quanto a análise de dados das ferramentas automáticas e do próprio indicador de conformidade:
0 0,2 0,4 0,6 0,8 1 Ferramenta automática 2 Ferramenta automática 1 Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 8 – Valores alcançados na análise dos dados das ferramentas automáticas
0 0,2 0,4 0,6 0,8 1 Indicador Conformidade Sítio web 1 Sítio web 2 Sítio web 3
Neste ponto, é possível perceber que apenas a execução de uma das ferramentas automáticas não traz os resultados que são gerados com a consolidação das informações de ambas as ferramentas, na qual uma delas realiza uma avaliação abrangente do sítio web, e a outra realiza avaliação em páginas web selecionadas e resulta em uma avaliação por amostragem. O gráfico 10 representa consolidação dos resultados do indicador de validade que são apresentados para os três sítios web avaliados:
0 0,2 0,4 0,6 0,8 1 Indicador Validade Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 10 – Valores alcançados na análise dos dados do indicador de validade
A partir dos resultados dos indicadores é calculado o valor da fase de avaliação da conformidade como um todo. O gráfico 11 apresenta os resultados alcançados na fase para cada um dos três sítios web que foram avaliados na execução piloto do Processo de Avaliação da Acessibilidade de Sítios Web – PAASDEV:
0,2 0,4 0,6 0,8 1 Fase Avaliação da Conformidade Sítio web 1 Sítio web 2 Sítio web 3
Gráfico 11 – Valores alcançados na análise dos dados da fase de avaliação da conformidade
Ao analisar os resultados da fase, foi verificado que o primeiro sítio web avaliado alcançou o tipo de pontuação B, o segundo alcançou C, e o terceiro sítio web alcançou B. Todos eles alcançaram menções satisfatórias para esta fase, o que os habilita a prosseguir na avaliação de acessibilidade.
Não foram identificadas necessidades de melhoria na análise dos dados da fase de avaliação da conformidade, mas na transposição desta fase para a seguinte verificou-se a necessidade de alterar as orientações do processo no que se refere à verificação de alteração do sítio web. Para isso, não mais se busca verificar a data de atualização do sítio, e sim deve- se verificar se as páginas do sítio web selecionadas para a avaliação ainda existem. Deve-se tentar entrar em cada uma delas. Se alguma das páginas não existir, a avaliação deve retornar para o início da fase pois o sítio web será considerado alterado.