Measures to Increase the Norwegian Entrepreneurial Activity

A) Método de avaliação

Uma das primeiras etapas a ser considerada na avaliação de impacto é definir o método a ser utilizado no trabalho de avaliação. No método de avaliação quantitativa a variável independente considerada é o programa de intervenção e a variável dependente é o efeito ou variável de impacto. A relação entre as duas variáveis pode ser positiva ou negativa. Na avaliação de impacto existem diferentes metodologias para se utilizar, as quais dependem dos tipos de experimentos ou desenhos metodológicos para estimar o impacto e que variam na forma e os critérios que se utilizam para construir o contrafactual.

B) Identificação dos efeitos do programa

Depois de ter definido o desenho de avaliação, a tarefa seguinte é identificar os diferentes efeitos do programa que serão avaliados. Esta identificação é importante porque, por meio desta, minimiza-se o risco de não considerar na avaliação algum efeito relevante do programa. Entre os principais recursos disponíveis para determinar os efeitos do programa destacam-se, o conhecimento dos objetivos e teoria do programa e o diagnóstico do problema.

Na avaliação dos programas o diagnóstico é a descrição da situação atual do problema que se deseja avaliar, fornecendo informação referente a quatro aspectos básicos: (1) a magnitude e severidade do problema, (2) efeitos sobre os diferentes grupos da população interveniente, (3) possíveis causas e (4) as conseqüências deste (NAVARRO, 2005). O insumo principal na elaboração do diagnóstico dos problemas sociais é a informação sobre as condições de vida dos beneficiários; que pode ser quantitativa ou qualitativa. Tanto os métodos quantitativos como qualitativos têm vantagens e desvantagens e, sua aplicação depende, entre outros, do tipo de problema que se analisa, do custo e da disponibilidade da informação. Assim, quando os programas sociais estão orientados à diminuição da

pobreza, o consenso mais amplo acerca das vantagens é combinar informação quantitativa e qualitativa nos diagnósticos da pobreza (RAVALLION, 2002; WHITE; 2002).

C) Seleção das variáveis de impacto.

Quando se precisa avaliar os efeitos dos programas sociais, estes devem ter um significado claro e serem operacionalizados por meio de variáveis ou indicadores que permitam sua valorização. Estas características são de especial importância nos programas de redução da pobreza, nos quais se definem os possíveis efeitos das intervenções através de conceitos abstratos que podem ter mais de um significado, dependendo da perspectiva teórica e o contexto em que são utilizados.

Vaus (1986) propõe os seguintes passos para converter conceitos abstratos e de difícil compreensão a um conjunto de variáveis e indicadores que permitam avaliar os efeitos da intervenção do programa: primeiro, formulam-se os possíveis efeitos do programa; segundo, são identificados os diferentes aspectos ou dimensões que conformam o efeito a avaliar; e terceiro, selecionam-se as variáveis de impacto para as dimensões que serão avaliadas.

Após identificar as dimensões dos possíveis efeitos do programa, o passo final é a seleção de variáveis que permitem a mensuração de impacto da intervenção. Como a pobreza apresenta várias dimensões, o impacto tem que ser analisado através de distintas variáveis: níveis de renda e consumo dos domicílios, indicadores sociais e indicadores de vulnerabilidade (BANCO MUNDIAL, 2003b). Igualmente, a partir destas variáveis e indicadores, constroem-se um conjunto de índices de pobreza com dois propósitos: a) definir quando um domicílio é pobre e obter uma medida agregada que indique a magnitude da pobreza em um determinado grupo de indivíduos ou domicílios e b) comparar diferentes dimensões da pobreza.

D) Coleta de informação.

Esta é uma etapa relacionada estreitamente com a qualidade dos resultados que se espera encontrar. Nas avaliações dos programas sociais que estão relacionados com a pobreza, esta atividade é particularmente mais complexa, pelas diversas características que os beneficiários apresentam. Além disso, muitas das avaliações deparam com restrições de tempo e orçamento, fatores que influenciam no planejamento da coleta da informação.

Outra característica importante nas avaliações de impacto é que estas requerem que se coletem o mesmo tipo de informação para os beneficiários e não beneficiários (grupos de tratamento e comparação). Assim, os instrumentos de coleta devem ser instrumentos padronizados e que permitam pré-estabelecer categorias da classificação (WEISS, 1998). Estes instrumentos de coleta de informação podem ser entrevistas estruturadas, questionários, registros administrativos, entre outros. A informação coletada através destes meios permite, e facilita, a transformação numérica da informação. No entanto, inconvenientes encontrados na avaliação de impato, referem-se principalmente as limitações de uma baixa qualidade da informação, a qual pode ser compensado com um adequado planejamente na coleta dos dados

Uma das fontes de informação mais utilizadas na avaliação de impacto são as pesquisas domiciliares. O objetivo destas pesquisas é coletar informação sobre as características demográficas e socioeconômicas dos domicílios e pessoas. No entanto, é importante destacar que, utilizar registros administrativos ou fontes de informação secundária podem ser úteis para conferir e avaliar as classificações dos domicílios alvos, segundo critérios de elegibilidades entre os beneficiários e não beneficiários de determinado programa social (COADY et al., 2004).

A importância na seleção de variáveis e na coleta de informação, para medir adequadamente o impacto do programas sociais e a focalização destes, induziu alguns países de América Latina a desenvolverem seus próprios índices de pobreza, principalmente com o objetivo de focalizar, apropriadamente, as intervenções sociais. Por exemplo, na Colômbia índice SISBEN13 e no México um índice de elegibilidade multidimensional. Estes índices são muito importantes na avaliação de impacto do programa porque, através destes, podem-se ordenar as famílias ou domicílios alvos, permitindo a pré-classificação de beneficiários e não beneficiários. O resultado destes gera um cadastro para a seleção de beneficiários que possa ser atualizado, considerando que algumas variáveis podem perder o poder de prever a pobreza ou de discriminar beneficiário e não beneficiário (COADY et al., 2004).

13 SISBEN é utilizado para a seleção de beneficiários de subsídios de gasto social na saúde, educação, moradia, bem-estar familiar, entre outros (ver seção 3.4).

Neste sentido, para o presente trabalho o relacionamento da base de dados da pesquisa de campo AIBF e dos registros administrativo do CadÚnico, torna-se importante, devido ao fato de que a pesquisa de campo não utilizou o cadastro de famílias do programa14 para conferir e avaliar as famílias dentre dos grupos de beneficiários e não beneficiários. O relacionamento de dados permitirá recuperar a variável que classifica ou aloca as famílias entrevistadas na pesquisa de campo nos grupos de beneficiários e não beneficiários segundo os registros administrativos do órgão responsável pelo monitoramento das famílias beneficiárias do Programa Bolsa Família. Desta forma, poderá avaliar a robustez dos resultados obtidos com os grupos alocados segundo a pesquisa de campo e segundo o registro administrativo.

E) Análise da informação

A informação coletada no método de avaliação quantitativo se expressa numericamente, e devem ser utilizadas ferramentas estatísticas para a sua análise. O objetivo de utilizar estas ferramentas é estimar o impacto médio do programa e o seu nível de significância. Na seção seguinte discute-se sobre os métodos de analises de informação a ser utilizada na avaliação de impacto dos programas sociais.