Inicialmente, realizou-se busca bibliográfica relativa aos indicadores de coleta seletiva utilizados nos diversos programas de coleta seletiva existentes no país, bem como por instituições de referência que trabalham com o tema, o que resultou em listagem com vinte e cinco indicadores.
Neste ensejo, foram realizadas visitas técnicas aos municípios de São Bernardo do Campo – SP, Santo André – SP, Florianópolis – SC e Porto Alegre – RS, municípios esses que possuem Programas de Coleta Seletiva Municipal implantados e operando há algum tempo, para conhecimento de seus aspectos operacionais e da participação da população.
O objetivo maior dessa etapa quantitativa da pesquisa foi estabelecer um grupo de indicadores de referência em coleta seletiva (Fase 1), de fácil entendimento e aplicação prática, e aplicar os mesmos junto aos Programas de Coleta Seletiva implantados no município de Vitória (Fase 2).
Com base na orientação de profissional de estatística, partiu-se para a etapa de validação de grupo de indicadores, dentre os vinte e cinco identificados, que fosse mais representativo, utilizando-se de métodos estatísticos. Para tanto foram utilizados instrumentos de pesquisa quantitativa, associado a diversas técnicas de tratamento estatístico dos dados, conforme apresentado a seguir:
Análise Descritiva - partindo-se do levantamento dos indicadores utilizados nos diversos programas de coleta seletiva implantados no país, foram selecionados vinte e cinco indicadores mais representativos desse rol. Os vinte e cinco indicadores, com suas respectivas unidades de medida, compuseram um formulário, no qual deveria ser atribuída nota, numa escala de 1 a 10, a cada um desses
indicadores, como forma de se avaliar sua importância. O formulário deveria ser preenchido por profissionais e especialistas, de diversas partes do país, que atuam, direta ou indiretamente, com a questão da coleta seletiva de resíduos sólidos urbanos. Antes da aplicação do formulário pelos especialistas foi realizado pré-teste, para avaliar sua adequação. O questionário utilizado no pré-teste, os resultados do pré- teste e a versão final do questionário Pesquisa sobre Indicadores de Coleta Seletiva
de Lixo, encontram-se no Anexo 2.
A partir do resultado do pré-teste e após ajustes finais, o instrumento foi repassado a cerca de cem profissionais e entidades, principalmente através da internet e por meio de contatos pessoais.
Como retorno da consulta, obteve-se a resposta de cinqüenta e sete formulários, oriundos de diversas partes do país e de entidades públicas e privadas, sendo que a maioria dos especialistas participantes possuía mestrado e experiência relacionada à coleta seletiva superior a dois anos.
Para essa amostra foi realizada análise descritiva dos dados, sendo utilizado o programa estatístico Statistical Package for the Social Sciences, SPSS (2003), versão 8.0.
Análise Multivariada Fatorial – partindo-se dos resultados da análise
descritiva, onde foi avaliado o grau de importância de cada indicador, esses foram agrupados em fatores para se chegar às suas dimensões.
Em seguida foi realizada a Análise Multivariada Fatorial, com auxílio do aplicativo SPSS, versão 8.0, com o objetivo de agrupar variáveis que apresentassem padrão de correlação dentro do conjunto analisado.
Após esse tratamento, que reflete a avaliação dos profissionais, foi obtido o perfil do grupo de indicadores a ser estabelecido. Este grupo obtido, ainda, não representava os indicadores de referência para o planejamento e a avaliação de desempenho de Programas de Coleta Seletiva, sendo necessário efetuar, também, análise qualitativa, realizada a partir da Técnica Delphi;
Técnica Delphi – foi utilizada com o objetivo de incorporar a experiência da equipe técnica da prefeitura de Vitória quanto à coleta seletiva, para a avaliação qualitativa do grupo de vinte e cinco indicadores inicialmente selecionados.
Na técnica Delphi um grupo de especialistas, cujas opiniões se deseja considerar, é consultado a respeito de determinado evento até que se obtenha convergência nas respostas (MASSUKATO e ZANTA 2004).
Assim, testou-se o grupo de indicadores em análise por critérios de qualidade, utilizando a experiência dos profissionais do município de Vitória. Para balizar o trabalho dos profissionais, adotou-se os critérios propostos por PEREIRA (1995). Para aplicação da técnica Delphi, elaborou-se um segundo formulário (Anexo 3), apresentando os mesmos vinte e cinco indicadores com suas respectivas definições e unidades de medida, apresentados na mesma ordem do formulário anterior, aos quais deveriam ser atribuídas notas variando de 1 a 10, nos quesitos abaixo:
Validade - refere-se à adequação do indicador para medir ou representar, sinteticamente, o fenômeno estudado;
Confiabilidade (reprodutibilidade ou fidedignidade) – refere-se à garantia de obtenção de resultados semelhantes, quando a mensuração é repetida;
Representatividade (cobertura) – refere-se à cobertura alcançada pelo indicador em relação ao evento ou fenômeno estudado; e,
Oportunidade, simplicidade, facilidade de obtenção e custo compatível – refere- se ao fato de que a obtenção dos dados deve causar o mínimo de perturbação ou inconvenientes, ou seja, não deve interferir nas condições habituais de funcionamento dos serviços, além de ter custos compatíveis.
Na técnica Delphi são realizadas rodadas sucessivas de preenchimento do formulário, até se chegar a um consenso. Nesse caso, a técnica foi aplicada a sete profissionais, sendo necessário realizar duas rodadas, nas quais os profissionais foram reunidos para apresentação dos formulários e critérios de preenchimento. Estes profissionais compõem o grupo de técnicos da prefeitura de Vitória envolvidos com o gerenciamento do programa de coleta seletiva e já haviam respondido ao primeiro questionário (Análise Descritiva e Análise Multivariada Fatorial).
Na primeira rodada, após uma explanação ao grupo sobre o objetivo da pesquisa, cada participante respondeu ao questionário individualmente.
Após tabulação dos resultados da primeira rodada, utilizando-se o programa estatístico SPSS versão 8.0, verificou-se que as notas atribuídas pelos profissionais para nove dos vinte e cinco indicadores apresentavam grande variabilidade (desvio padrão).
Para a segunda rodada, como se buscava o consenso, discutiu-se, em conjunto com os profissionais, cada um dos nove indicadores com avaliação discrepante e, em seguida, o questionário foi, novamente, respondido individualmente.
A conjugação de técnicas estatísticas foi adotada para validar o grupo de indicadores por entender que a análise descritiva não seria suficiente para embasar o desenvolvimento da pesquisa.
A partir da avaliação conjunta dos resultados das três técnicas empregadas, foi obtido grupo de indicadores de referência para o planejamento e a avaliação de desempenho de Programas de Coleta Seletiva.
O grupo de indicadores definido foi aplicado aos dados resultantes do programa de coleta seletiva do município de Vitória (Fase 2), como estudo de caso, permitindo verificar a hipótese 1.
Paralelamente à atividade de identificação do grupo de indicadores de referência e aplicação desses ao programa de coleta seletiva, foi realizado diagnóstico da situação dos diferentes tipos de coleta seletiva empregados no município de Vitória.
A coleta de dados, junto à Prefeitura, foi realizada de modo a não interferir nos procedimentos de rotina do Sistema de Limpeza Urbana, sendo que somente foi possível obter dados consistentes relativos ao período de 2001 a 2003, os quais integram essa pesquisa.