A pesquisa de satisfação de clientes, segundo Rossi & Slongo (1998), tem como marco histórico a primeira conferência especializada sobre o tema, em Chicago, em abril de 1976. Foi na década de 80, no entanto, que se deram os avanços mais significativos, voltados aos interesses das empresas no conhecimento da satisfação de seus clientes. Tal fato ocorreu provavelmente pela tomada de consciência de que a satisfação dos clientes é uma variável-chave dos comportamentos posteriores dos clientes (recompra, lealdade, comunicação boca-a-boca favorável) e pelo impulso dos programas de qualidade total.
A pesquisa é uma ferramenta não apenas para determinar a satisfação de cidadãos e usuários com seus serviços, mas também para desenvolver estratégias visando sua melhoria. Como benefícios proporcionados pela pesquisa de satisfação, Rossi & Slongo (1998) citam: percepção mais positiva dos clientes em relação à instituição, informações mais precisas e atualizadas das necessidades dos clientes, e confiança do cliente em função da maior aproximação da instituição.
Para Dinsdale & Marson (1999), apesar de subutilizadas no passado, as pesquisas podem ajudar a assegurar que as estratégias de melhoria de serviços concentrem-se naqueles aspectos que farão mais diferença para os cidadãos. Ou seja, as pesquisas ajudam a garantir que as melhorias dos serviços concentrem-se naquilo que os cidadãos-clientes desejam, em oposição ao que os tomadores de decisões acham que eles querem.
Segundo Schmidt & Strickland (1999, p. 97), “o objetivo último das pesquisas de satisfação de usuários é identificar as lacunas de serviço entre o que os usuários esperam ou necessitam da organização (expectativas) e o nível de serviço que eles realmente percebem (percepção do serviço).” A satisfação do cliente é alcançada quando a qualidade do serviço recebido equipara-se ou ultrapassa suas expectativas. Uma vez que a organização descobriu as lacunas de serviços, poderá reduzi-las, seja melhorando a prestação dos serviços, seja administrando as expectativas dos clientes quando essas ultrapassarem as limitações da organização.
Basicamente há duas maneiras de acompanhar a satisfação geral dos clientes: ao longo do tempo e em comparação com outras instituições que prestam serviços similares. Medir o próprio desempenho ao longo do tempo é um requisito fundamental para a melhoria contínua; medir seu
desempenho comparando-o a outros também é aconselhável. Sem a análise comparativa, pode ser difícil determinar quão positiva é uma avaliação com o conceito “bom”, por exemplo. Uma nota 70 é boa, média ou ruim? Na ausência de um ponto fixo de referência para fazer comparações, é difícil atribuir significado real a tais resultados.
Deve-se atentar também para o fato de que uma dada avaliação pode ser considerada boa para um tipo de serviço, mas ruim para outro. Quaisquer que sejam os motivos que os cidadãos tenham para avaliar certos serviços acima de outros, o fato é que eles o fazem, e, a fim de gerar parâmetros válidos, apenas organizações semelhantes devem ser comparadas entre si. Mesmo assim, nem sempre essas organizações usam o mesmo instrumento de coleta de dados, têm as mesmas escalas de pontuação ou realizam avaliações visando os mesmos objetivos, o que representam fatores adicionais que dificultam a comparação de resultados.
É importante lembrar, no entanto, que a utilidade da avaliação de satisfação deve ser entendida como um processo necessário para a melhoria da qualidade do serviço. Seus resultados não devem ser utilizados para a hierarquização de organizações segundo o nível de avaliação de satisfação que atingirem. Para Dinsdale & Marson (1999), três abordagens parecem facilitar, em diferentes graus, comparações confiáveis entre serviços similares e o desenvolvimento de parâmetros normativos:
Conversão de pesquisas de serviços similares em uma métrica comum; Adoção de um índice padrão de satisfação de usuários;
Utilização de um instrumento padrão de pesquisa.
2.3.5.2.1 Conversão de pesquisas de serviços similares em uma métrica comum
A primeira abordagem para comparação de desempenho envolve a utilização de metodologias de conversão de escala. Dinsdale & Marson (1999) fornecem um exemplo específico: a escala do Percent to Maximum — PTM (Percentual ao Máximo) de Miller e Miller. Com esse método, as respostas indicadas em escalas de diferentes tamanhos e conceitos, em pesquisas diversas, são calculadas pela média e então convertidas em uma escala padrão de 0 a 100.
Na opinião de Dinsdale & Marson (1999), apesar de a conversão não poder levar em conta todas as diferenças, ela, ainda assim, se mostrou consistente nos testes realizados com 261
pesquisas de satisfação de cidadãos administradas em 40 estados americanos. “Talvez a questão não seja tanto a conversão dos resultados de uma escala para outra, mas até que ponto o enunciado da pergunta pode influenciar as respostas negativa ou positivamente” (Dinsdale & Marson, 1999, p. 43).
2.3.5.2.2 Índice de satisfação de usuários
Os índices podem ser utilizados para comparar a satisfação dos usuários entre organizações diferentes, ou de uma mesma organização ao longo do tempo, possibilitando monitorar a sua evolução. Entretanto, devem servir a comparações de ordem mais relativa que absoluta, pois não oferecem informações sobre como os usuários avaliam a importância de determinados serviços ou o que consideram como sendo prioritário para melhoria.
O American Customer Satisfaction Index (ACSI), por exemplo, elaborado pela parceria entre a University of Michigan Business School, Arthur Andersen, Claes Fornell International (CFI) Group e
American Society for Quality, é um indicador nacional da qualidade dos bens e serviços disponíveis
nos Estados Unidos da América (EUA). Utilizado desde 1994 para medir a satisfação do usuário com serviços prestados pelo setor privado, a partir de 1999, esse instrumento foi adotado pelo setor público para avaliar o padrão de qualidade de seus serviços. O ACSI é calculado com base em informações coletadas junto aos usuários, por meio de entrevistas via telefone, a respeito de suas expectativas e satisfação com bens e serviços fornecidos por agências governamentais e empresas. Na pesquisa de 2002, pela primeira vez, o ACSI incluiu a avaliação de portais web do governo eletrônico americano.
O European Customer Satisfacion Index (ECSI), por sua vez, desenvolvido em 1998 como projeto conjunto da European Organization for Quality (EOQ), European Foundation for Quality
Management (EFQM) e Customer Satisfaction Index (CSI) University Network, com apoio da
Comissão Européia, é adotado em 12 países europeus (Instituto Português da Qualidade): Bélgica, Dinamarca, Espanha, Finlândia, França, Grécia, Islândia, Itália, Portugal, Reino Unido, Suécia e Suíça. O ECSI difere do ACSI apenas por acrescentar a variável “Imagem” como mais uma variável antecedente ou determinante da satisfação do cliente. Essa variável pretende integrar todas as associações que os clientes fazem ao nome da marca ou da empresa.
Além do ACSI e do ECSI, existem outros índices, tais como o Barômetro Sueco de Satisfação do Cliente, desenvolvido em 1989, e o Deutsche Kundenbarometer, índice alemão introduzido em 1992. De acordo com Urdan & Rodrigues (1999), outros países, como Nova Zelândia e Formosa, estão desenvolvendo índices semelhantes.
2.3.5.2.3 Instrumento padrão de pesquisa
Um exemplo de instrumento padrão de pesquisa é a ferramenta de medida padronizada (Common Measurements Tool - CMT), desenvolvida pelo governo canadense para aferir a satisfação de seus clientes. Tal instrumento fornece, às agências públicas canadenses, um conjunto extenso de questões e escalas de medida padronizadas que poderão ser escolhidas de acordo com as necessidades de informação específicas de cada organização. O uso de questões padronizadas permite a comparação do progresso do grau de satisfação dos clientes com os serviços prestados pela instituição ao longo do tempo e com outras instituições da mesma linha de atuação ou negócios. Os elementos-chave da CMT são: expectativas dos clientes, percepções dos clientes sobre sua experiência ao solicitar e receber o serviço, níveis de satisfação dos clientes, graus de importância e prioridades para melhoria definidos pelos clientes.
A experiência de alguns poucos países, como Canadá e EUA, na avaliação da satisfação dos usuários de serviços públicos, apesar de recente, encontra-se em patamar mais definido e consolidado do que no Brasil. Nessas sociedades, os usuários dos serviços públicos conhecem seus direitos e deveres, e sabem exigi-los (Brasil – MP, 2000).
2.3.5.2.4 Experiência brasileira
No âmbito do Programa de Qualidade no Serviço Público brasileiro, foi realizada a 1ª Pesquisa Nacional de Satisfação do Usuário dos Serviços Públicos, em 1999; editado o decreto nº 3.507, de 13 de junho de 2000, definindo diretrizes normativas para o estabelecimento de padrões de qualidade ao atendimento prestado por órgãos e entidades da Administração Pública Federal; e criado o Sistema Nacional de Avaliação da Satisfação do Usuário dos Serviços Públicos, composto de entidades da Administração Pública Federal direta, indireta e fundacional que atendem diretamente aos cidadãos. A 1ª pesquisa nacional de satisfação abordou os serviços de educação, previdência e saúde em uma amostra de 8.000 domicílios. Para Angelim (2002), o efeito mais relevante ao final da pesquisa não foi, propriamente, a aferição dos índices de satisfação, mas sim, a
inserção, na pauta do gestor público, da avaliação da percepção do cidadão a respeito da qualidade do serviço público prestado.
À época dessa pesquisa, foi desenvolvido o Instrumento Padrão de Pesquisa de Satisfação (IPPS), questionário de pesquisa de opinião padronizado que investiga o nível de satisfação dos usuários de um serviço público, e que pode se adequar a qualquer organização pública. Tal instrumento combina, com as devidas adaptações às necessidades e especificidades brasileiras, elementos das principais metodologias internacionais de medição da satisfação do usuário: American
Customer Satisfaction Index, da Universidade de Michigan; Common Measurements Tool, do Centro
Canadense de Gestão; e SERVQUAL, desenvolvido por Zeithaml, Parasuraman e Berry. O módulo geral do IPPS mede cinco dimensões genéricas para qualquer tipo de prestação de serviço: confiabilidade, responsividade (sic), garantia, empatia e aspectos tangíveis (Brasil – MP, 2001). Tal módulo contém ainda três medições independentes: a expectativa em relação ao serviço, a avaliação propriamente dita do serviço e o valor/importância de cada dimensão do serviço. Os elementos mais prioritários são identificados a partir do cálculo de um índice, denominado Gap/i.
Para possibilitar a implementação da avaliação de satisfação com baixo custo sem prescindir de conhecimento técnico apurado na área de pesquisa social e estatística, foi desenvolvido, também, um software de auxílio ao processo de pesquisa e análise dos resultados do IPPS. Esse software tem, como propósitos, facilitar a adaptação do questionário do IPPS às necessidades de cada organização brasileira, ajudar a calcular a amostra e a planejar o trabalho de campo, auxiliar a entrada de dados, evitando os erros mais comuns dessa fase, e facilitar a análise dos resultados.
2.4 Avaliação de programas de governo
A avaliação de programas analisa a relação programa/necessidade social, medindo o grau e, se possível, a profundidade em que seus fins são alcançados e, portanto, as necessidades satisfeitas e os problemas solucionados. Para Aguilar & Ander-Egg (1995, p. 31),
A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar, de maneira válida e confiável, dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa (tanto na fase de diagnóstico, programação ou execução), ou de um conjunto de atividades
específicas que se realizam, foram realizadas ou se realizarão, com o propósito de produzir efeitos e resultados concretos; comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou ao fracasso de seus resultados.
Para Weiss (1992), o propósito da avaliação de programas é medir os efeitos de um programa em relação a seus objetivos, como uma maneira de contribuir para a subseqüente tomada de decisão sobre o programa e melhorar o processo de planejamento de programas futuros. Os efeitos relacionam-se com a satisfação dos beneficiários individuais e a comparação dos benefícios com os objetivos do programa (W. K. Kellogg Foundation, 2001), podendo ser de curto (1 a 3 anos) ou longo (4 a 6 anos) prazos. De acordo com a Intosai – Auditing Standards Committee (2004, p. 23):
Avaliações de programa são estudos sistemáticos individuais conduzidos para verificar se um programa está funcionando adequadamente. Avaliações de programa tipicamente examinam uma gama maior de informações sobre o desempenho do programa e o contexto do que é viável monitorar em bases correntes. Assim, uma avaliação de programa permite fazer uma ampla verificação do funcionamento do programa e do que pode ser feito para melhorar os seus resultados.
A avaliação também é um meio de comunicação entre os responsáveis por um projeto, seus patrocinadores e as pessoas por ele afetadas. É possível reportar à linha gerencial superior os resultados de seus investimentos. A avaliação de programas, como prática profissional, tem como origem a constatação de que não há verba suficiente para realizar tudo que é necessário à sociedade. Sendo assim, é preciso decidir o que vale a pena ser feito. O propósito da avaliação de programas é, portanto, subsidiar os tomadores de decisão de informações suficientes para essa escolha.
Há que se fazer a distinção entre duas atividades da avaliação de programas: uma delas é a avaliação propriamente dita e a outra é o monitoramento. Enquanto o monitoramento é a coleta sistemática de informações com o objetivo de fornecer indicativos sobre como um programa ou serviço é executado, a avaliação diz respeito à formulação de questões sobre o desempenho (por exemplo, sobre efetividade e eficiência), de modo a obter respostas que auxiliem os gestores a melhor gerenciar e aperfeiçoar a prestação de serviços e promover a responsabilização por resultado
(Australia - ANAO, 2003/2004). Monitoramento, portanto, está relacionado a ciclos mais curtos e a problemas mais imediatos (erros no acesso, dificuldades de navegação, impossibilidade de tirar dúvidas, mensuração da quantidade de acessos), enquanto que a avaliação ocorre em ciclos mais longos e é mais abrangente, podendo utilizar os resultados do monitoramento sistemático.