A classificação em estágios evolutivos e o benchmarking foram as duas formas de avaliação de e-gov mais recorrentes na literatura. Comparar a posição ou status alcançado por uma iniciativa de e-gov com um modelo teórico de maturidade ao longo do tempo, ou com outras iniciativas, parece ser o ponto de partida natural da avaliação de e-gov.
Os modelos evolutivos mais comuns identificados na literatura - Baum & Di Maio (2000); Commission of the European Communities (2003); UNDESA (2003) - assinalam a natureza de transformação dos serviços públicos eletrônicos e sugerem que não basta ao e-gov oferecer uma massa de serviços on-line desconexos; é preciso fazê-lo de tal forma a alterar os fundamentos das relações entre governo, sociedade e empresas, tendo como meta o atendimento das expectativas da sociedade e a integração de serviços traspassando estruturas hierárquicas governamentais. Tais modelos, como representações simplificadas do caminho a ser percorrido desde a presença passiva
na Internet até a total transformação dos serviços públicos eletrônicos, não devem ser considerados como medidas precisas de sucesso, mas sim como indicadores da fase em que o e-gov se encontra em relação a seus objetivos.
Um exemplo de estudo comparativo que classificou as iniciativas de e-gov de acordo com seu estágio de evolução foi o realizado pelas Nações Unidas (Ronaghan, 2002). Nesse estudo, dentre os 190 países membros, 169 usavam a Internet para prestar informações e serviços públicos, mas apenas 17 ofereciam algum tipo de transação on-line. Nenhum país, àquela época, conseguiu atingir o último estágio de total integração dos serviços on-line independentemente da estrutura física hierárquica. Duas metodologias foram utilizadas nesse estudo. Primeiramente foi feita análise de conteúdo dos portais nacionais dos governos participantes, a fim de verificar a disponibilidade de serviços que provavelmente seriam úteis ao cidadão comum e identificar certas características que os classificariam em um dos estágios do modelo teórico adotado11. Em segundo lugar, foi feita análise estatística comparando a infra-estrutura tecnológica e de recursos humanos de 144 países membros e, por fim, foi gerado um índice de e-gov para fins comparativos. Os Estados Unidos atingiram o maior índice enquanto o Brasil obteve a 18ª colocação nesse estudo.
Outro exemplo desse tipo de avaliação foi o quarto estudo comparativo da Cap Gemini Ernst & Young (2004), realizado em outubro de 2003, o qual mediu a quantidade de serviços públicos básicos12 inteiramente disponíveis on-line em 15 países da Comunidade Européia, além da Islândia, Noruega e Suíça, classificando-os de acordo com seu grau de sofisticação. Considerando esse indicador, os quatro países que se destacaram foram Dinamarca, Áustria, Suécia e Irlanda. Quase todos os países participantes apresentaram avanços em relação ao estudo anterior, de 2002, passando do estágio de interação unidirecional para interação bidirecional13. A metodologia adotada
11 O modelo teórico das Nações Unidas conta com cinco estágios: presença emergente, avançada, interativa, transacional e
em rede.
12 A Comunidade Européia definiu 20 serviços públicos básicos: 12 desses serviços têm, como público-alvo, os cidadãos
(pagamento de impostos, busca de emprego, benefícios sociais, documentos pessoais, registro de automóveis, solicitação de alvará de construção, declaração para a polícia, bibliotecas públicas, certidões de nascimento e casamento, matrícula em curso superior, aviso de mudança de endereço e serviços relacionados com a saúde), enquanto que para oito deles, as empresas são o foco (contribuição social dos funcionários, impostos corporativos, imposto sobre valor agregado – Value Added
Tax - VAT, registro de uma nova empresa, submissão de dados à agência estatística governamental, declaração alfandegária,
certidões relacionadas com o meio ambiente, e licitação pública).
13 Respectivamente, segundo e terceiro estágios da classificação de e-gov usada pela União Européia (Commission of the
nesse estudo foi subdividida em quatro módulos: pesquisa survey junto a especialistas de governo dos 18 países para conhecimento da estrutura governamental responsável pelos 20 serviços públicos básicos; amostragem sistemática e estratificada das instituições prestadoras desses serviços; identificação dos endereços eletrônicos dos portais das prestadoras de serviços on-line da amostra; análise de conteúdo e classificação dos portais web da amostra visitados pela equipe de pesquisa.
Outra firma de consultoria, Accenture, também tem realizado estudos classificatórios e comparativos periódicos. Os resultados da sua edição de 2003 mostram o Canadá como o único país examinado a atingir o quinto e último estágio de transformação de serviços. O Brasil, nessa classificação, ficou no segundo estágio de capacidade básica14, junto com México, Portugal e África do Sul (Accenture, 2003). A metodologia quantitativa de avaliação da qualidade e maturidade dos serviços on-line prestados englobou a análise dos portais nacionais de 22 países, feita por pesquisadores da própria consultora, em relação a 201 serviços de 11 setores de atividade governamental: agricultura; defesa; e-democracia; educação; serviços sociais; imigração; justiça e segurança; serviços postais; licitações públicas; controle e participação social; receita e alfândega; e transportes. A análise quantitativa foi complementada com entrevistas telefônicas conduzidas com executivos de agências governamentais de 15 países e com informações documentais sobre o processo de implantação dos 22 programas de governo eletrônico pesquisados.
A simples quantificação dos serviços públicos on-line disponíveis também é realizada, regularmente, pelos governos do Reino Unido, da Austrália e dos Estados Unidos, para citar apenas alguns. Seu intuito é controlar o progresso feito pelas agências governamentais em direção à meta do governo de ter todos os seus serviços públicos on-line em uma determinada data.
O Reino Unido, mais especificamente o National Audit Office – NAO, desde 1999, tem conduzido avaliações comparativas periódicas de suas iniciativas de governo eletrônico que vão além da verificação da disponibilidade de serviços públicos. Em seu relatório de 2002 (United Kingdom – NAO, 2002), foram mencionados, além de dois estudos de caso de aplicações de e-gov específicas e da análise da política central de e-gov do Reino Unido, um censo de todos os portais do governo central, cobrindo 381 agências e examinando 121 variáveis objetivas; um censo de todos os portais
dos governos locais, cobrindo 388 conselhos e examinando 171 variáveis relacionadas com as principais áreas de serviços, complementado por entrevistas com representantes de sete conselhos locais; análise de tráfego nos portais web de 26 departamentos governamentais; e, por fim, análise comparativa do conteúdo web do governo britânico com o de outros quatro países: Estados Unidos, Austrália, Nova Zelândia e Holanda.
Diferentemente dos exemplos de avaliação já citados, cujo enfoque é a oferta de serviços, sua disponibilidade e grau de sofisticação, o relatório do projeto Sibis (Statistical Indicators
Benchmarking the Information Society), custeado pela Comunidade Européia (Graafland-Essers &
Ettedgui, 2003), se concentra na avaliação da demanda do e-gov, enfocando não só o uso mas também as percepções e barreiras à sua utilização. Para tanto, foram realizadas duas pesquisas
survey: uma com cidadãos dos Estados membros da União Européia, Estados Unidos e Suíça; e
outra com empresas da Finlândia, França, Alemanha, Grécia, Itália, Espanha e Reino Unido. Foram observadas, além de suas preferências e preocupações, as visões que cidadãos e empresas têm do e-gov quando comparado aos modos tradicionais de interação com o governo, apontando os principais fatores que os levam a usar ou não um serviço eletrônico via Internet. Por esse estudo, os cidadãos dinamarqueses são os que têm atitude mais positiva em relação ao e-gov; os do Reino Unido, a mais negativa.
De forma análoga, o estudo comparativo Top of the Web (Europe - Directorate General Information Society, 2003), a partir das respostas de pouco mais de 28 mil usuários europeus de serviços públicos, participantes de pesquisa survey on-line sobre a qualidade e o uso dos serviços públicos on-line, concluiu que a economia de tempo e a flexibilidade de escolha de canal de interação com o governo são os benefícios do e-gov mais citados, enquanto a dificuldade de encontrar o portal web certo e, nele, o serviço certo, são os principais problemas. Nessa pesquisa, a qualidade dos serviços públicos on-line teve, como indicadores, satisfação geral, usabilidade (facilidade de localização do portal, facilidade de localização do serviço, facilidade de uso do serviço, linguagem, velocidade de acesso) e benefícios (economia de tempo, flexibilidade, mais e melhores informações, melhor atendimento, rapidez na conclusão do serviço, controle sobre o processo, economia de
14 Características desse estágio: ampla presença on-line, infra-estrutura de segurança e certificação em desenvolvimento,
dinheiro). O uso dos serviços on-line, por sua vez, foi medido a partir da quantidade de usuários e de transações on-line.
Outro estudo comparativo europeu, realizado pela empresa de pesquisa Taylor Nelson Sofres (TNS) em 2001, 2002 e 2003 (Dalziel, 2004), por meio de entrevistas telefônicas com aproximadamente 30 mil pessoas de 30 países em cada ano, classificou os diferentes tipos de interação dos cidadãos com o governo em seis categorias:
Buscadores de informação - pessoas que usam a Internet para conseguir informação em um portal de governo;
Captadores de formulários - pessoas que usam a Internet para imprimir formulários do governo para posteriormente enviá-los de volta pelo correio ou fax;
Consultores - pessoas que usam a Internet para expressar seu ponto-de-vista ou participar de consultas públicas do governo;
Provedores - pessoas que usam a Internet para prover informações pessoais ao governo; Usuários de transações - pessoas que usam a Internet para pagar por serviços ou produtos do governo por meio de débito em conta corrente ou de cartão de crédito; Não-usuários - pessoas que não usam a Internet para buscar, prover informações ou transacionar com o governo.
Nesses três anos em que essa pesquisa se realizou, os países escandinavos (Dinamarca, Noruega e Finlândia) foram os que mais utilizaram o e-gov de uma maneira geral e, dentre as categorias de usuários, os buscadores de informações foram o grupo que mais se destacou com 24% das interações. No estudo de 2003, apenas 25% dos entrevistados (8.000 pessoas) consideraram segura a troca de informações com o governo on-line.
Como exemplo de benchmarking interno, pode-se citar o estudo de Stowers (2002) que examinou todos os 148 portais web do governo executivo federal americano quanto à presença ou não de facilidades tais como serviços on-line, ajuda on-line, serviços de navegação, apresentação visível das políticas adotadas, e grau de acessibilidade. Outro estudo interno americano (West, 2004), similar ao de Stowers, realizado por cinco anos consecutivos, de 2000 a 2004, analisou 1.629 portais dos governos estaduais e federal em relação à presença de facilidades tais como publicações, bases de dados e serviços on-line, tradução para idiomas estrangeiros, indicadores de políticas de privacidade e segurança, assinatura digital, nível de legibilidade, acessibilidade, pagamento via cartão
de crédito, diferentes formas para contato com o governo, personalização de interface. No estudo de 2004, o estado do Tennessee e o portal Firstgov foram os que atingiram melhor classificação a nível estadual e federal, respectivamente.
No relatório Government on the Web II (United Kingdom - NAO, 2002), o governo britânico apresentou os resultados de dois estudos de caso realizados nos portais web do Departamento de Transportes, Governo local e Regiões, e do HM15 Customs and Excise. Como métodos de coleta de
dados foram utilizados análise de documentos oficiais, estatísticas de uso dos portais web, custos e conteúdo dos portais, além de entrevistas com pessoas do alto escalão dessas instituições e de outras do setor privado, da mesma área de atuação.
No Brasil, a Federação das Indústrias do Estado do Rio de Janeiro (Firjan, 2002) usou, como critérios na avaliação comparativa de 26 portais web de estados brasileiros, incluindo o Distrito Federal16, seu estágio de desenvolvimento (informação, interação, transação ou integração), a quantidade de serviços e transações disponíveis, a abrangência dos assuntos abordados, e dois aspectos técnicos - usabilidade e design. Outro estudo que analisou o conteúdo de portais web de governos municipais foi o conduzido pelo E-governance Institute da Rutgers-Newark. Foram avaliados 84 portais web de 84 cidades de diversos países em relação a privacidade/segurança, usabilidade, conteúdo, serviços providos e participação do cidadão (Justice, 2004).
Padrões de qualidade de software, como usabilidade e acessibilidade da interface do sistema, também são aferidos em avaliações de portais web. Alguns estudos, já mencionados anteriormente, elegeram a usabilidade da interface como um de seus indicadores de qualidade. Outros, restringiram sua avaliação a esse único aspecto. Na Austrália, os portais e-gov de nove instituições da província de New South Wales foram avaliados quanto à usabilidade e acessibilidade por meio de ferramentas automatizadas, como Bobby, Websitegarage, Validator do World Wide Web Consortium (W3C) e
Netscape Composer (New South Wales - Audit Office, 2002). Alguns exemplos brasileiros de
avaliações de usabilidade e acessibilidade em portais de governo eletrônico são os estudos de caso de Dias (2001) no portal do Senado Federal e de Pimenta et al. (2002) nos portais da Secretaria de
15 Her Majesty’s.
Educação Especial do Ministério da Educação, do Instituto Nacional de Pesquisas da Amazônia, do Programa Estadual de Defesa do Consumidor – seção Rio Grande do Sul e da Prefeitura Municipal de Porto Alegre. Tais estudos aplicaram métodos de avaliação heurística, e de avaliação baseada em normas internacionais de usabilidade, recomendações para acessibilidade de conteúdo web do W3C e critérios ergonômicos.