A despeito das diferentes metodologias adotadas, o objetivo dos artigos expostos no tópico anterior era avaliar os efeitos resultantes da participação de crianças e adolescentes em programas de bolsa escola sobre a forma como as famílias decidem alocar o tempo disponível de seus filhos entre trabalho e estudo. Para levar a cabo tal objetivo, tais artigos deveriam ser capazes de comparar os resultados alcançados pelas crianças e adolescentes ao participarem dos programas de bolsa escola com os resultados que poderiam ser obtidos caso as mesmas crianças e adolescentes não participassem do programa. Segundo Caliendo e Kopeinig (2005),
“todo estudo de avaliação microeconométrica tem que resolver o problema fundamental da avaliação e considerar a possível ocorrência de viés de
116
seleção. O primeiro problema surge porque desejamos a diferença entre os resultados dos participantes com e sem tratamento. Claramente, nós não podemos observar ambos os resultados para o mesmo indivíduo ao mesmo tempo. (...) [Outro] problema é conhecido como viés de seleção e um bom exemplo é o caso em que indivíduos motivados têm uma maior probabilidade de ingressar em programas de treinamento e também uma alta probabilidade de encontrar emprego” (CALIENDO & KOPEINIG, 2005, p. 1).8
Para um indivíduo i, o efeito da participação no programa (D) é dado pela diferença entre o resultado alcançado quando ele participa do programa - 𝑌𝑖 1 - e o resultado obtido quando ele não participa do programa - 𝑌𝑖(0).
𝝉𝒊=𝐘𝐢 𝟏 − 𝐘𝐢(𝟎) (8)
O problema fundamental da avaliação empírica de políticas públicas reside no fato de que o termo Yi(0) da equação 8 acima não é observável e que, por isto, a metodologia dos estudos de impacto tende a centrar seus esforços sobre os efeitos médios populacionais do tratamento (CALIENDO & KOPEINIG, 2005). O parâmetro que interessa, neste sentido, para a avaliação de políticas públicas é o efeito médio do tratamento sobre o tratado (Average
Treatment Effect on Treated – ATT), definido tal como descreve a equação 9 abaixo.
𝝉𝑨𝑻𝑻=𝑬 𝝉 𝑫 = 𝟏 = 𝑬 𝒀 𝟏 |𝑫 = 𝟏 − 𝑬 𝒀 𝟎 |𝑫 = 𝟏 (9) O primeiro termo do lado esquerdo da equação 9 acima, 𝐸[𝑌(1)|𝐷 = 1], representa a média dos resultados para as observações do grupo de tratamento, dada a existência do tratamento (D = 1). Já o segundo termo representa o efeito contrafactual médio, ou seja, os possíveis resultados factíveis de serem alcançados quando estes mesmos indivíduos não participam do tratamento, dado que o tratamento existe. A diferença entre ambas as médias representa o efeito médio do tratamento sobre o tratado (ATT).
Contudo, o segundo termo da equação, o resultado contrafactual médio, freqüentemente não está disponível em levantamentos empíricos utilizados em estudos não experimentais.
8 Every microeconometric evaluation study has to overcome the fundamental evaluation problem and address the possible occurrence of selection bias. The first problem arises because we would like to know the difference between the participants' outcome with and without treatment. Clearly, we cannot observe both outcomes for the same individual at the same time. (…) [Other] problem is known as selection bias and a good example is the case, where motivated individuals have a higher probability of entering a training programme and have also a higher probability of finding a job.
117 Embora pareça factível comparar diretamente os resultados médios observados para os tratados e não tratados, os resultados médios observados para os indivíduos não tratados 𝐸[𝑌(0)|𝐷 = 0] podem não consistir em uma boa aproximação para o resultado contrafactual médio porque a adesão ao tratamento nem sempre é aleatória e freqüentemente depende de um conjunto de características dos participantes. Assim, a comparação entre os resultados médios para os indivíduos tratados e não tratados quando a seleção ao tratamento não é aleatória pode resultar em uma forma de viés conhecida por viés de auto-seleção, ou viés de seleção (equação 10).
𝑬 𝒀 𝟏 𝑫 = 𝟏 − 𝑬 𝒀 𝟎 𝑫 = 𝟎 = 𝝉𝑨𝑻𝑻+𝑬 𝒀 𝟎 𝑫 = 𝟏 − 𝑬[𝒀(𝟎)|𝑫 = 𝟎] (10) No caso do Programa Bolsa Família (PBF), o viés de seleção resultante de estudos empíricos sobre seu efeito sobre variáveis de interesse estaria relacionado ao fato de a participação estar condicionada ao atendimento dos critérios de elegibilidade e a disponibilidade de recursos orçamentários para a concessão de novos benefícios. Os critérios de elegibilidade do programa (renda per capita e filhos em idade escolar) têm o objetivo de direcionar os recursos disponíveis para atender aos estratos de menor renda familiar da população brasileira. Este fato torna as chances de famílias menos abastadas participarem do PBF superiores às chances de famílias em melhores condições econômicas participarem, favorecendo a presença de viés de seleção sobre o estimador de interesse dado pela equação 9 acima (CALIENDO & KOPEINIG, 2005, p. 3).
Para resolver o viés gerado pela auto-seleção da amostra em pesquisas não experimentais e cuja adesão ao tratamento não é aleatória, é necessário que algumas condições sejam satisfeitas para que a condição de perfeita identificação possa se estabelecer. A primeira condição a ser satisfeita é a hipótese de independência condicional (Conditional Independence
Assumption – CIA). Dado um vetor de características individuais observáveis X não afetadas
pelo tratamento, os resultados potenciais devem ser independentes do tratamento, dadas as características individuais. Em outras palavras, a seleção ao tratamento baseia-se apenas em características que são observáveis pelo pesquisador (equação 11).
118 Segundo Caliendo e Kopeinig (2005, p. 4),
“se os resultados potenciais são independentes do tratamento, condicional às covariáveis X, eles também serão independentes do tratamento, condicional ao escore de balanceamento b(X). O escore de propensão 𝑃 𝐷 = 1 𝑋 = 𝑃(𝑋), i.e. a probabilidade para um indivíduo participar em um tratamento dada suas covariáveis observadas X, é um possível escore de balanceamento9”.
Tratando os escores de propensão como escores de balanceamento, a suposição de independência condicional descrita em 11 pode ser reescrita tal como segue:
𝒀 𝟎 , 𝒀(𝟏)∐𝑫|𝑷 𝑿 , ∀𝑿 (12)
Outra condição importante é a sobreposição entre os grupos de tratamento e controle. Esta suposição garante que observações com as mesmas composições em termos dos vetores de características individuais X apresentem probabilidades positivas de aderirem ao tratamento ou não (equação 13).
𝑺𝒐𝒃𝒓𝒆𝒑𝒐𝒔𝒊çã𝒐 𝟎 < 𝑃 𝑫 = 𝟏 𝑿 < 1 (13)
Dado que a hipótese de independência condicional (CIA) se sustenta e que há sobreposição entre os grupos de tratamento e de controle, o estimador para o efeito médio do tratamento sobre o tratado (ATT) corresponde à “... diferença média nos resultados sobrepostos, apropriadamente ponderados pela distribuição dos escores de propensão dos participantes10” (CALIENDO & KOPEINIG, 2005, p. 4). Com base nestas considerações, a estratégia empírica para a estimação do ATT levando em conta o escore de propensão como o escore de balanceamento sob a hipótese de sobreposição (overlap) é descrita pela equação 14 abaixo:
𝝉𝑨𝑻𝑻𝑷𝑺𝑴 =𝑬𝑷 𝑿 |𝑫=𝟏 𝑬 𝒀 𝟏 |𝑫 = 𝟏, 𝑷(𝑿) − 𝑬 𝒀 𝟎 |𝑫 = 𝟎, 𝑷(𝑿) (14)
9 “... if potential outcomes are independent of treatment conditional on covariates X, they are also independent of treatment conditional on a balancing score b(X). The propensity score P(D = 1|X) = P(X), i.e. the probability for an individual to participate in a treatment given his observed covariates X, is one possible balancing score”. 10 “... mean difference in outcomes over common support, appropriately weighted by the propensity score distribution of participants”.
119 Satisfeitas a Hipótese de Independência Condicional11 e de Sobreposição, diz-se que o estimador do efeito médio do tratamento sobre o tratado é identificado. Em outras palavras, com a satisfação de ambas as hipóteses, podemos nos certificar que o resultado médio das diferenças entre o grupo de tratamento e o de controle, dadas as características que influenciam na participação do programa, consiste, de fato, no efeito médio do tratamento. A satisfação destas hipóteses oferece garantias suficientes de que o método do Pareamento pelo Escore de Propensão (PEP) oferecerá resultados não viesados. No próximo tópico, apresentaremos os diferentes métodos de pareamento e seus respectivos algoritmos