A primeira questão que deve ser levantada em relação à pergunta “a pla-
taforma <consumidor.gov.br> opera de maneira eficiente?” pode ser assim colocada: a forma como os resultados obtidos é quantificada e categoriza- da apresenta contradições internas, que compromete a clareza e, no limite, a coerência com que os dados coletados são interpretados.
Nesse contexto, cabe ressaltar que a eficiência alocativa pode ser de- finida como uma medida de maximização produtiva (PORTO, 2016). Nesse sentido, uma situação que promove a alocação eficiente de um grupo de recursos é aquela em que não é possível produzir maior quantidade com o mesmo número de insumo, nem a mesma quantidade de determinado produto com quantidade menor de insumo.
Este problema origina-se da interação de dois elementos da consulta realizada pela plataforma: a avaliação sobre se a reclamação realizada foi resolvida ou não, e a atribuição de uma nota, de 1 (atendimento ruim) a 5 (atendimento ótimo), sobre como o fornecedor acionado reagiu e colabo- rou com a informação resolvida.
A situação pode ser mais facilmente esquematizada no gráfico a se- guir:
O gráfico de barras discrimina a distribuição de notas atribuídas pelos consumidores autores da reclamação para o desempenho do fornecedor acionado tanto para reclamações avaliadas pelo consumidor como “Re- solvida” ou “Não resolvida”. Essa configuração permite comparar tanto distribuições de reclamações resolvidas para uma mesma avaliação quan- to analisar a evolução de notas diferentes para uma mesma categoria de reclamação (“Resolvida” ou “Não resolvida”).
Um olhar preliminar sobre o gráfico permite traçar algumas obser- vações relativamente intuitivas: enquanto as distribuições de notas para reclamações julgadas como “Resolvida” se concentram na parcela supe- rior da distribuição (21,26% das reclamações nesta categoria classificadas como nota 4, e 53,97% com nota 5), as reclamações não resolvidas apre- sentam distribuição de notas mais concentrada na parcela inferior do es- pectro de notas (8,6% das reclamações classificadas com nota 2, e 77,55% com nota 1).
Isso revela uma tendência previsível na coleta e análise de dados do <consumidor.gov.br>: que reclamações em que a situação relatada pelo consumidor foi efetivamente remediada pelo fornecedor acionado sejam avaliadas com uma nota alta, e que reclamações não solucionadas sejam reputadas com avaliações mais desfavoráveis. Ainda assim, a existência de duas categorias diferentes de avaliação – reclamações resolvidas e não resolvidas, e a atribuição de uma nota a cada procedimento – deve ser jus- tificada, sob risco de haver uma sobreposição de critérios avaliativos que, na prática, produzam resultados semelhantes.
Nesse contexto, a forma como cada critério é formulado permite inferir qual o objetivo específico perseguido por cada um: enquanto a clas- sificação binária entre “Resolvida” e “Não resolvida” oferece uma pers-
pectiva objetiva sobre a efetividade com que determinada reclamação foi respondida e solucionada, a atribuição de notas busca aprofundar esta perspectiva, no sentido em que viabiliza que o usuário caracterize, com considerável grau de subjetividade, como o problema por ele ou ela comu- nicado foi recebido e enfrentado pelo fornecedor acionado.
No entanto, na prática, como apontam os dados, os resultados de cada um dos critérios de avaliação apresentam elevado grau de seme- lhança. Se considerados como favoráveis as notas 4 e 5, que provavel- mente serão atribuídas ao fornecedor por consumidores cuja reclamação foi solucionada, e desfavoráveis as notas 1 e 2, mais comumente utilizadas para denotar o desempenho de fornecedores que não foram capazes de solucionar o problema comunicado, então 87,95% do total de reclamações terá sido avaliada com notas claramente favoráveis ou desfavoráveis. Em outras palavras, apenas 12,05% dos consumidores terá utilizado valores in- termediários - a nota 3 - para descrever como sua reclamação foi recebida e retornada pelo fornecedor.
Isso permite identificar uma situação problemática com relação à for- ma como os dados relativos aos procedimentos do <consumidor.org.br > são extraídos dos consumidores: se o que diferencia um critério A de outro critério B é o fato de que o primeiro é binário e o outro assimila a possibilida- de de gradação de respostas, mas na prática apresenta baixo grau de gra- dação das avaliações, então na prática o critério B torna-se idêntico ao A. Esse comportamento pode ser constatado na elevada identidade entre a categoria Reclamação resolvida vs. Reclamação não resolvida e Nota, uma vez que nesta última, a probabilidade de reclamações resolvidas recebe- rem avaliações extremamente favoráveis e de reclamações não resolvidas receberem avaliações extremamente desfavoráveis é alta.
Nessa sobreposição de resultados observáveis pode ser constatada uma situação de ineficiência alocativa, uma vez que mecanismos distintos de análise produzem observações semelhantes, que poderiam ser alcança- das caso somente um meio de análise fosse empregado.
Esse problema diz respeito principalmente à forma como as ferra- mentas de análise são dispostas para o usuário da plataforma. Uma das possíveis explicações para esse fato é que a classificação do desempenho do fornecedor acionado por meio de um número demanda certo grau de julgamento por parte do consumidor reclamante, que precisa estabele- cer parâmetros a partir dos quais poderá realizar uma avaliação do de- sempenho do fornecedor em questão. Em outras palavras, será necessário estabelecer uma correlação entre determinados traços da conduta do for- necedor e os números apresentados pela plataforma como notas possíveis para avaliar a resposta à reclamação.
É nessa área de subjetividade que a avaliação por notas pode tornar- -se problemática em termos da qualidade dos dados coletados. Atribuir a indivíduos diferentes a prerrogativa de decidir como serão atribuídos pesos às possíveis notas (1 a 5). Desta forma, cada procedimento distinto poderá levar a um resultado agregado diferente do que se o procedimento de atribuição de notas fosse feito através de critérios mais rígidos do que números cujo significado dependerá do entendimento subjetivo de cada consumidor.
O nível reduzido de gradação entre as notas atribuídas é indicativo desta falha. Se considerado o fato de que o raciocínio humano está sujei- to a vieses de julgamento, a baixa frequência de notas intermediárias no espectro de avaliação pode ser associada à falta de exatidão com que os critérios de avaliação são expostos aos consumidores que utilizam a pla- taforma.
Um desses vieses, conhecido pelo termo inglês “availability bias”, consiste em uma tendência do indivíduo de superestimar seu julgamento sobre determinadas decisões na direção da opção em que se encontram as informações mais imediatamente disponíveis (KAHNEMAN, 2012). Esse viés seria especificamente relevante em proporcionar explicações para os diminutos níveis de gradação constatado na distribuição entre notas.
Isso porque procedimentos com reclamações resolvidas naturalmen- te tenderão a trazer um maior número de evidências incentivadoras de uma avaliação positiva do que reclamações não resolvidas – e a mesma correlação positiva tenderá a ocorrer com reclamações não solucionadas e notas baixas. Sem um procedimento específico para traduzir elementos do diálogo entre consumidor e fornecedor em parâmetros de avaliação do desempenho deste, o usuário estará vulnerável à operação de heurísticas de disponibilidade, que poderão resultar na supervalorização da nota atri- buída. O resultado, como se permite observar do gráfico, é a concentração da distribuição em valores extremados do espectro, com uma correspon- dente redução das frequências relativas a valores intermediários.
Há duas formas de amenizar este problema. A primeira alternativa, embora não solucione o problema, fomenta uma redução da concentração de resultados nos dois polos de notas possíveis. Trata-se de aumentar o número de notas possíveis que podem ser atribuídas ao fornecedor pelo usuário da plataforma. A título de exemplo, caso se opere uma duplicação do espectro de notas possíveis, o consumidor é automaticamente encora- jado a atentar às nuances de seu julgamento, uma vez que a subcategori- zação entre notas favoráveis, intermediárias e desfavoráveis torna-se mais complexa.
A segunda alternativa de solução envolve alterar mais profundamente o procedimento de definição da nota do fornecedor pelo desempenho de-
monstrado de modo que o consumidor tenha menor ingerência em como determinados elementos da realidade constatados durante o procedimen- to serão traduzidos em valores numéricos. Em outras palavras, esta pers- pectiva de solução envolve alterar a forma como o dado é coletado da percepção do consumidor.
Uma possível alteração no sentido de diminuir o espaço a ser preen- chido pelo consumidor entre um conjunto de elementos do procedimento e a atribuição de uma valoração numérica para o desempenho do fornece- dor neste procedimento é alterar a aplicação de valores numéricos ao pro- cedimento pelo usuário para palavras-chave relacionadas a determinados valores numéricos. Assim, ao invés de precisar escolher entre a diferença entre um 4 e um 5 para avaliar o desempenho do fornecedor acionado, ao consumidor caberá a tarefa consideravelmente mais palatável de decidir entre “muito bom” e “excelente”, ou “abaixo da média” e “péssimo”.