Basic Concepts in Ecotoxicology

Na avaliação do impacto (ou eficácia pública) da ação social da Xerox na Mangueira, o que pretendemos é identificar a relação de causalidade entre os projetos sociais apoiados pela empresa (no caso, o Projeto Olímpico e o CAMP) e as transformações sociais daí advindas na comunidade da Mangueira.

Ainda que, como vimos, nestes projetos não haja clareza de definição quanto à população-alvo a ser atendida, adotaremos, neste estudo de caso, o foco da avaliação na comunidade da Mangueira.

A partir dos objetivos levantados na subseção anterior, podemos deduzir que a expectativa quanto a estes dois projetos sociais é a de que promovam melhorias nas condições de vida das crianças / adolescentes (participantes) da Mangueira no que se refere a (1) saúde, (2) lazer, (3) freqüência à escola, (4) rendimento escolar, (5) educação complementar, (6) inserção no mercado de trabalho, (7) auto-estima, (8) sociabilidade, (9) construção da cidadania, e (10) redução da criminalidade69.

Portanto, no que se refere à avaliação do impacto desses projetos, as questões centrais podem ser assim sintetizadas: participar dos referidos projetos vem resultando mesmo em melhoria nas condições de vida sob todos estes aspectos mencionados? como estas mudanças vêm se dando, e com que intensidade?

A partir dessas questões centrais e seguindo o modelo de inferência causal proposto por King, Keohane e Verba (1994), podemos explicitar a seguinte hipótese causal para testar o impacto dos projetos sociais (Projeto Olímpico e CAMP) na comunidade da Mangueira – ver quadro 21.

Quadro 21 – Modelo de inferência causal aplicado à avaliação da eficácia pública dos projetos sociais da Xerox na Mangueira – Projeto Olímpico e Projeto CAMP – versão inicial

Modelo geral de inferência causal (King, Keohane e Verba, 1994): E(Yi) = βiXi

Modelo aplicado aos projetos sociais da Xerox na Mangueira: E(Y1, Y2, ... Y10) = f (ββββ*1X1 , ββββ*2X2 , ββββ*3X3 , ββββ*4X4) onde....

Variáveis dependentes:

Y1 = saúde (definida como grau de bem-estar físico)

Y2 = lazer (definido como grau de satisfação com a ocupação do tempo livre) Y3 = freqüência à escola

Y4 = rendimento escolar (definido como as notas obtidas nas provas)

Y5 = educação complementar (definida como a sensação de estar sendo capacitado para o mercado de trabalho)

69 _{Os aspectos (5) e (6) estão relacionados apenas aos adolescentes / jovens com 14 anos ou mais de idade,} associados ao Projeto CAMP.

Y6 = inserção no mercado de trabalho (definida como a situação do entrevistado de estar trabalhando e satisfeito com o seu trabalho)

Y7 = auto-estima (definida como o grau de confiança em si mesmo)

Y8 = sociabilidade (definida como o grau de relacionamento com as outras pessoas) Y9 = construção de cidadania (definida como a sensação de ser uma pessoa com o direito à educação respeitado)

Y10 = criminalidade (definida como a percepção de que o projeto social está contribuindo para reduzir a criminalidade – tráfico de drogas, furtos e roubos – no Morro da Mangueira)

Variável explicativa-chave (ou variável causal):

X1 = Condição de participação nos projetos sociais da Xerox (Projeto Olímpico ou CAMP)

Categorias:

! Participante ! Não-participante

β*1 = Efeito causal médio de X1 em respectivamente Y1, ..., Y10 onde * = 1,2, ..., 10

Variáveis explicativas de controle: X2 = Idade

X3 = Sexo

X4 = local de residência como proxy da situação sócio-econômica

Fonte: Elaboração própria.

A hipótese causal, que pretendemos testar, é se estes dois projetos sociais (Olímpico e CAMP) estão realmente promovendo as melhorias anunciadas nas condições de vida das crianças e adolescentes da comunidade da Mangueira. De acordo com esta hipótese, o que pretendemos é identificar (1) se as VARIAÇÕES positivas nestes indicadores selecionados de condições de vida foram significativamente maiores nas crianças / adolescentes que participaram dos projetos vis-à-vis àqueles que não participaram; e (2) se estes projetos estão realmente atendendo à grande maioria das crianças / adolescentes da comunidade da Mangueira, sobretudo aquelas em situação de risco social.

Para testar essa hipótese de causalidade, o nosso desafio consiste justamente em aplicar a lógica experimental, que é típica das avaliações de impacto, só que utilizando dados

qualitativos – e não quantitativos, como vem sendo usual até o momento. Pois, como colocou Weiss (1998) de modo bastante instigante, “eu nunca vi um estudo como este, mas posso imaginá-lo”, referindo-se à combinação de lógica experimental com dados qualitativos.

Na lógica experimental, comparam-se os resultados observados para o “grupo do experimento” – que, no nosso caso, foi o grupo dos participantes dos projetos sociais – com os resultados obtidos para o “grupo de controle” – em nosso caso, o grupo de não- participantes, de modo a identificar se aqueles primeiros resultados são significativamente melhores do que estes últimos. Quando se utilizam dados quantitativos, os testes estatísticos geram as possíveis soluções, com suas respectivas probabilidades, para este dilema. Mas, quando os dados são qualitativos, estes testes não podem obviamente ser aplicados.

E aqui introduzimos a relevante contribuição de King, Keohane e Verba (1994), analisada anteriormente: mesmo que, na pesquisa qualitativa, os testes estatísticos não possam ser aplicados, ainda assim o rigor científico do método deve ser o mesmo daquele adotado na pesquisa quantitativa para a inferência causal.

Tendo em vista essa orientação de King, Keohane e Verba (1994), passamos, a seguir, a descrever os cuidados metodológicos que foram tomados, em nossa pesquisa de avaliação de impacto, de modo a garantir que os resultados encontrados pudessem ser considerados válidos. Assim, procuramos obedecer aos (dois) pressupostos básicos de inferência causal, aos critérios para o desenho da amostra e à explicitação das estimativas de incerteza.

Antes, porém, de descrevermos estes cuidados metodológicos aqui assumidos, cabe um esclarecimento: que tipo de dado qualitativo utilizamos em nossa pesquisa?

Inicialmente, pensávamos em trabalhar as entrevistas feitas com os moradores da Mangueira (participantes e não-participantes dos projetos sociais) de duas maneiras, isto é, a partir (1) das falas dos entrevistados e (2) de dados apurados segundo a métrica ordinal. E, com efeito, no tópico-guia que preparamos para as entrevistas (ver anexo 2), estava previsto que as mudanças ocorridas na vida das pessoas (ou seja, as variações nas variáveis dependentes (Yi)) seriam levantadas sob a forma de questões abertas (Parte I / Tema 3) e de questões estruturadas (Parte II). No que se refere às questões estruturadas, pensávamos em poder analisá-las com base em testes estatísticos não-paramétricos, geralmente indicados para amostras pequenas e não associadas a uma população com distribuição específica (distribution-free).

No entanto, no decorrer das entrevistas, percebemos que as marcações feitas nas questões estruturadas careciam de sentido relevante para os próprios entrevistados. Muito mais rico de sentido era a argumentação deles ao voltarem a refletir sobre as mudanças recentes em suas vidas – o que, de certa forma, já haviam feito anteriormente, nas questões em aberto. Por essa razão, optamos em trabalhar as falas dos entrevistados, como se estivessem exclusivamente sob o formato de questões em aberto: elas é que foram os dados qualitativos aqui considerados. Ou seja, não levamos em consideração as marcações da Parte II do tópico-guia.

Voltando aos cuidados metodológicos necessários para uma inferência causal válida, comecemos por seus pressupostos básicos, o da unidade homogênea de análise e o da independência condicional, e o desenho da amostra.

Como vimos, em se tratando do pressuposto da unidade homogênea de análise, a preocupação central do avaliador deve ser a de fazer com que as características dos componentes do grupo de controle sejam bastante semelhantes às características dos membros do grupo do experimento, salvo no que se refere à variável explicativa-chave. No caso específico do nosso modelo de avaliação, procuramos atender a este pressuposto ao utilizarmos as variáveis de controle “idade”, “sexo” e “local de residência”70 para a seleção dos componentes do grupo de controle na amostra. E como isto foi feito?

Aqui vale lembrar que, para este modelo de avaliação que estamos propondo, optamos pelo desenho experimental do tipo “grupos de controle construídos equivalentes, caso a caso”, apresentado na tipologia de Rossi, Freeman e Lipsey (1999). Assim, seguindo este desenho de pesquisa, os componentes da amostra do grupo do experimento foram selecionados aleatoriamente no âmbito dos estratos (projetos / modalidades esportivas), a partir do universo (cadastro) dos participantes dos projetos sociais. Ao final da entrevista com cada um destes participantes selecionados, ele era solicitado a indicar um não-participante que tivesse idade próxima à sua, que fosse do mesmo sexo e que morasse perto de sua casa.

Ao usarmos esta estratégia para composição da amostra, estávamos indo também ao encontro do pressuposto da independência condicional. E por quê? Sobretudo porque a seleção dos casos para compor a nossa amostra estava sendo feita com base exclusivamente na variável-explicativa chave, isto é, a condição de ser participante ou não ser participante do

70 _{O pressuposto aqui é o de que a variável “local de residência” traduz as condições sócio-econômicas do} entrevistado. Nas nossas entrevistas na comunidade, percebemos que, quando a situação financeira da família

projeto social é que definiu a inclusão do caso na amostra. E, portanto, no momento dessa seleção, não tínhamos qualquer informação, ao nível de cada caso selecionado, dos resultados para as variáveis dependentes, que foram sendo encontrados no desenrolar das entrevistas. Dessa forma, procuramos garantir o pressuposto de incondicionalidade das variáveis dependentes vis-à-vis à variável causal, evitando o viés de seleção (do caso) de 2ª ordem.

Quanto ao tamanho da amostra, decidimos inicialmente trabalhar com a possibilidade de 60 casos, sendo 30 casos no grupo do experimento e 30 casos no grupo de controle. Importante salientar o caráter preliminar deste tamanho de amostra inicialmente definido, que poderia vir a ser ampliado ou reduzido se, no decorrer da pesquisa de campo, percebéssemos que ele se mostrara insuficiente ou desenecessariamente elevado para a compreensão do fenômeno estudado, ou seja, o impacto dos projetos na comunidade.

E, como relataremos a seguir, tivemos que interromper a pesquisa de campo na comunidade da Mangueira, ao completarmos 35 casos no total. Porém, ao analisarmos mais detidamente os resultados encontrados até aquele momento, e tomando por base o critério da saturação teórica, proposto por Gaskell (2002) e Bauer e Aarts (2002), concluímos que este tamanho de amostra se mostrou satisfatório para entendermos os impactos dos Projetos Olímpico e CAMP na comunidade da Mangueira.

Ainda no que se refere ao rigor metodológico a ser seguido nos modelos de inferência causal, elucidamos, a seguir, as fontes geradoras de incerteza, que estão associadas a essa versão inicial do modelo de avaliação de impacto que estamos propondo.

Primeiro, no que se refere aos fatores estranhos e confundidores do impacto, podemos aqui mencionar os efeitos das características pessoais dos componentes do grupo do experimento e do grupo de controle. E, de fato, como pudemos perceber ao longo das entrevistas, as pessoas pertencentes àquele primeiro grupo tendiam a ter um background estimulador de suas famílias e a serem, elas mesmas, mais centradas em seus objetivos de vida e mais motivadas a agir no seu próprio desenvolvimento. Isto, por si só, já engendraria mudanças mais positivas em suas vidas no período analisado (viés de seleção de primeira ordem), independente da ação do projeto social analisado. Em outras palavras, o constructo “características pessoais” representou, em nosso modelo, um fator confundidor, e sobre a qual não tivemos controle ao compor a amostra, uma vez que as características pessoais só foram sendo identificadas ao longo das entrevistas.

melhora, um dos seus sonhos de consumo é mudar de casa, ou seja, passar de uma casa localizada no alto do Morro para uma casa mais embaixo no Morro.

Na versão redefinida do modelo de avaliação de impacto que acabamos adotando (ver item III.3.5.2), o constructo “características pessoais”, operacionalizado nas variáveis X5 e X6, acabou sendo incorporado na condição de fator explicativo de X1.

Outro fator confundidor do impacto dos projetos sociais foram as mudanças ocorridas simultaneamente aos projetos sociais. E aqui estamos nos referindo às mudanças advindas (1) do processo natural de amadurecimento da criança / jovem e (2) de outras iniciativas sociais que tiveram lugar no período em questão, como os cursos da FAETEC (Fundação de Apoio à Escola Técnica do Estado do Rio) e o programa de urbanização do Favela-Bairro. O que percebemos é que estes fatores foram citados, por si só, como causas de mudanças positivas ocorridas na vida das pessoas entrevistadas no período considerado, dificultando, pois, isolar os efeitos dos projetos sociais em questão.

E segundo, ainda no que se refere às fontes geradoras de incerteza, King, Keohane e Verba (1994) destacam os fatores de desenho da pesquisa. No caso específico da nossa pesquisa de avaliação, há que se reconhecer que o fato das entrevistas terem sido conduzidas por apenas um único entrevistador representou um importante fator de confiabilidade. A principal razão é que, quando há um único entrevistador, existe razoável grau de garantia de que, em praticamente todas as entrevistas, não há variação no modo de formular as questões, de explicar os conceitos e até no grau de simpatia do entrevistador.

Por outro lado, porém, como não tínhamos um diagnóstico da situação inicial “antes do projeto”, era solicitado ao entrevistado que, recorrendo à sua memória, mencionasse as VARIAÇÕES ocorridas em sua vida durante o período considerado, sobretudo aquelas relacionadas aos indicadores / constructos que havíamos selecionado. Ou seja, ele deveria lembrar como a sua vida era antes e como ficou depois de transcorrido aquele período. E, como sabemos, os fenômenos psicológicos ligados à memória, como percepção e cognição, podem ter como conseqüência uma variação de critérios com os quais a pessoa julga os fatos passados e presentes.

Como “período considerado”, foi aqui levado em conta o período iniciado no ano em que o participante entrou para o Projeto Olímpico ou cursou o Projeto CAMP, se estendendo até a data da entrevista. No caso do não-participante, o período considerado foi o mesmo que valeu para o participante do seu par (ou trio) de comparação (ver anexo 3).