Behovet for vern og betydningen av formålet

Como descrito anteriormente, nesta seção é caracterizado o processo de construção do modelo empírico de avaliação do curso de DRS no nível de resultados. Nesse sentido, a primeira etapa concluída referiu-se à obtenção dos registros de indicadores de efetividade do curso assinalados no modelo lógico, que, ao lado das dificuldades de se estabelecer relações causais precisas entre desempenhos individuais, de grupos e organizacionais, pode representar obstáculo ao desenvolvimento sistemático de conhecimentos sobre avaliações de TD&E no nível de resultados. Como assinala Wholey (2004), a obtenção, a um custo relativamente razoável, de dados relevantes sobre o desempenho do programa enfocado constitui um dos critérios utilizados na determinação da avaliabilidade da avaliação do próprio programa.

Justificada, então, a pertinência da avaliação da efetividade do curso de DRS, como descrito na seção anterior, passou-se à obtenção dos registros de indicadores de resultados e das variáveis contextuais identificados na elaboração do modelo lógico. Com exceção das características sócio-demográficas e econômicas dos municípios atendidos, extraídos de bases de dados de domínio

público, todos os demais dados deveriam ser fornecidos pela própria Gerência Nacional de DRS do Banco do Brasil, unidade responsável pelo desenvolvimento, implementação e monitoramento da estratégia negocial em questão.

No tocante aos indicadores de efetividade do curso de DRS, todas as variáveis integrantes da versão validada do modelo lógico puderam ser empregadas na pesquisa conduzida no Estudo 2. Sobre o registro das variáveis contextuais identificadas, as seguintes, por motivos alheios à pesquisa em análise, não puderam ser obtidas: organização do trabalho nas agências habilitadas, apoio dos gestores estaduais e regionais e nível de organização das atividades produtivas selecionadas. Essas variáveis representavam importantes hipóteses alternativas a serem consideradas na proposição do modelo de pesquisa.

É preciso destacar que o registro dos indicadores de efetividade do curso somente foi iniciado após o início da implementação, pelas agências habilitadas, da metodologia de DRS junto aos municípios participantes. Esta limitação, associada à impertinência na utilização de outros indicadores mais distalmente relacionados aos resultados pretendidos pela estratégia (e.g. números de novos clientes das agências habilitadas), reduziram as possibilidades de desenho do modelo de avaliação do curso de DRS. Neste sentido, delineamentos quase- experimentais que fizessem uso de pré-testes, bem como séries temporais interrompidas, devido à inviabilidade de obtenção de mais de um pós-teste, não puderam ser aplicados nesta pesquisa.

De fato, a única opção que restou, entre os desenhos possibilitados pelo método quase-experimental aplicáveis em estudos de avaliação de ações de TD&E, tal como discutido na revisão de literatura integrante desta pesquisa, envolvia o uso de grupos de comparação e de pós-testes. Conforme destacam Shadish, Cook e Campbell (2002), desenhos que façam uso destes elementos, apesar de mais robustos do que aqueles que se valem de apenas um grupo, ainda são muito pouco resistentes às ameaças à validade interna, devendo somente ser usados quando o programa é implementado sem a ciência do avaliador. Não por coincidência, esta foi a situação com que se deparou a pesquisa em análise.

Como discutido pelos autores supracitados, em desenhos quase- experimentais que façam uso de grupos de comparação, a validade interna do estudo pode ser seriamente comprometida pelo fato de, diferentemente do que acontece em estudos experimentais, os grupos de comparação não serem constituídos aleatoriamente. A solução encontrada para tornar o desenho de pesquisa mais resistente a essa ameaça consistiu na utilização das variáveis contextuais cujo acesso foi viabilizado como variáveis de controle estatístico em análises de comparação de diferenças entre grupos. Isso não implica que as demais variáveis, cujos indicadores não puderam ser acessados, foram descartadas. Apenas elas não foram utilizadas nas análises quantitativas empreendidas.

Decididas que as variáveis contextuais seriam utilizadas como mecanismo de controle de ameaças à validade interna do Estudo 2, foi preciso, ainda, proceder à constituição de grupos de comparação que permitissem, se pertinente, atribuir os efeitos observados nas variáveis dependentes ao curso de DRS realizado. Vale lembrar que 772 agências integravam o arquivo de dados inicialmente desenvolvido. Ante a inconstância do número de funcionários treinados, por agência, para atuar com foco em DRS - apenas o limite mínimo de 2 funcionários treinados para a habilitação das agências era estabelecido, mas não o máximo - optou-se pelo uso desta variável na demarcação dos grupos de comparação.

Analisada a freqüência do número de funcionários treinados por agência, percebeu-se, então, que 400 agências (51,81%) contavam com exatamente 2 funcionários capacitados, o mínimo para a efetivação da habilitação. As demais agências possuíam mais de 2 funcionários capacitados, sendo que 59,7% contavam com 3 (n = 222), 30,4% com 4 (n = 113) e o restante (n = 37), com mais de 5 funcionários treinados. Esta constatação culminou com a proposição, então, de 2 grupos de comparação, um formado por agências com exatamente com 2 funcionários capacitados para atuar com foco em DRS e outro, integrado por agências com 3 ou mais funcionários treinados.

Tomadas essas decisões, restava apenas selecionar, entre duas alternativas, a estratégia de análise de dados a ser empregada na consecução do objetivo do

Estudo 2. A possibilidade de realizar análises de covariância univariadas ou multivariadas foi então estudada. Neste ínterim, a alternativa multivariada teve de ser descartada, visto os moderados e significativos índices de correlação obtidos entre as variáveis dependentes identificadas no modelo lógico. Como ilustrado na Tabela 15, com exceção da variável dependente relacionada ao número de parceiros obtidos, as demais - número de famílias e de produtores obtidos e volume de crédito previsto - estavam correlacionadas umas com as outras.

Tabela 15. Correlações entre as Variáveis Dependentes.

Famílias Envolvidas Produtores Envolvidos Parceiros Envolvidos Volume de Crédito Previsto Famílias Produtores 0,86** Parceiros 0,08* 0,07* Crédito 0,34** 0,41** 0,08*

* correlação significativa no nível de 0.05 (2-tailed) ** correlação significativa ao nível de 0.01 (2-tailed)

Desta forma, análises de covariância foram realizadas separadamente para cada uma das variáveis dependentes associadas à efetividade do curso de DRS. Bastava apenas decidir, entre as variáveis contextuais acessadas, aquelas que seriam utilizadas, em cada uma das análises realizadas, como covariáveis. Conforme ressaltam Tabachnick e Fidel (2001), recomenda-se o uso de um número reduzido de covariáveis, todas correlacionadas com a variável dependente e não correlacionadas entre si. Apesar de tal regra ser passível de investigação mediante análises estatísticas, a seleção das covariáveis para fins de composição de modelos de pesquisa, segundo as autoras, consiste mais em um exercício lógico do que estatístico. Considerado o fato de que a elaboração do modelo lógico permitiu justificar a inclusão prévia das variáveis contextuais no modelo empírico de avaliação, apenas se fez necessário selecionar, mediante o cálculo de coeficientes de correlação bivariadas (coeficiente Pearson), aquelas que integrariam o modelo final de avaliação. A Tabela 16 apresenta os coeficientes de correlação significativos entre as variáveis estudadas.

Tabela 16. Correlações entre as Variáveis Dependentes e Contextuais.

Variáveis

Contextuais Variáveis Dependentes

Dimensões Indicadores _EnvolvidasFamílias Produtores _{Envolvidos Envolvidos} Parceiros Volume de _Crédito IDH-Municipal

IDH-Renda IDH-Escolaridade IDH-Longevidade

Mortalidade -0,07*

Sobrevivência até 40 anos 0,08*

Sobrevivência até 60 anos Índice Gini Intensidade da pobreza -0,08* Freqüência à escola -0,09* -0,11** -0,08* Características sociais Taxa de alfabetização PIB PIB-Indústria PIB-Serviço PIB-Agropecuária PEA -0,09* 0,13** Renda Renda trabalho Renda governo -0,08* Ocupação comércio Ocupação serviços Ocupação indústria Número de agências Aplicações Despesa municipal Características econômicas Receita municipal -0,14** População urbana Características

demográficas População rural 0,14** 0,09** -0,11**

Tamanho Potencial de negócio

Características

das agências _{Tempo de existência}

Características das atividades

produtivas Tipo

-0,09*

* correlação significativa no nível de 0.05 (2-tailed) ** correlação significativa ao nível de 0.01 (2-tailed)

Como observado, apesar de teoricamente relacionadas com os indicadores de efetividade do curso de DRS acessados, nem todas as variáveis contextuais, foram utilizadas nas análises de covariância realizadas no Estudo 2 como variáveis de controle estatístico. Com exceção do volume de crédito previsto para o desenvolvimento dos trabalhos de DRS, o número de variáveis contextuais relacionadas com os demais indicadores de efetividade variou entre 1 (famílias beneficiadas) e 3 (parceiros envolvidos).

Selecionadas as variáveis contextuais, a partir dos coeficientes de correlação apresentados anteriormente, que comporiam os modelos empíricos de avaliação para testagem das diferenças entre as médias dos grupos de comparação constituídos em cada uma das variáveis dependentes, passou-se, então, à investigação dos índices de correlação entre essas variáveis contextuais. Mais, uma vez, segundo Tabachnick e Fidel (2001), além de correlacionadas com as variáveis dependentes, as covariáveis não devem estar relacionadas entre si.

No caso das variáveis dependentes cujo número de covariáveis sugerido variou entre 1 e 3 - número de famílias beneficiadas e número de produtores, parceiros e associações envolvidas -, o maior índice de correlação obtido foi observado entre a taxa de freqüência à escola e o tamanho da população rural. De qualquer forma, a magnitude desta relação (r = -0,14, p < 0,01) justificou a decisão de utilizar as duas variáveis contextuais quando ambas se associavam também com alguma das variáveis dependentes. Essa foi a situação quando da utilização do número de famílias beneficiadas como variável dependente.

Quando a variável dependente referia-se ao volume de crédito previsto para as atividades de DRS, o número considerável de covariáveis potenciais exigiu uma investigação mais cautelosa das associações observadas. Desta forma, das 8 variáveis contextuais que poderiam atuar como covariáveis no Estudo 2, devido aos níveis de correlações estabelecidos com a variável dependente mencionada, apenas uma precisou ser eliminada do modelo final de avaliação. O índice de correlação entre os indicadores sociais taxa de mortalidade até o primeiro ano de vida e probabilidade de sobrevivência até os 40 anos de idade alcançou o valor de r = -0,95 (p < 0,01). Visto que pretendem mensurar o mesmo fenômeno particular, a longevidade, decidiu-se pelo uso daquela mais fortemente associada com a variável dependente referida. Desta forma, manteve-se a probabilidade de sobrevivência até os 40 anos como covariável no estudo seguinte. A Tabela 17 ilustra os índices correlação entre as variáveis contextuais associadas com o volume de crédito previsto.

Tabela 17. Correlações entre as Variáveis Contextuais Associadas com o Volume de Crédito Previsto.

Variáveis Contextuais Sob. _{40 escola} Freq. PEA _governo Renda _municipalReceita População _rural Tipo ativ. _produtiva Sobrevivência 40 anos Freqüência à escola 0,18** PEA 0,01 -0,03 Renda governo -0,37** 0,01 0,01 Receita municipal 0,11** 0,34** 0,01 -0,14** População rural -0,12** -0,12** 0,16** -0,01 -0,13**

Tipo ativ. produtiva 0,04 0,10** 0,00 -0,04 0,17** -0,05

* correlação significativa no nível de 0.05 (2-tailed) ** correlação significativa ao nível de 0.01 (2-tailed)

Concluídas as análises de correlação, as análises de covariância anteriormente mencionadas puderam, então, ser realizadas. Em suma, estas análises buscaram responder a única questão de pesquisa, definida somente após consideração dos resultados ora apresentados. A efetividade do curso de DRS, controlada a influência de algumas das características dos municípios atendidos, das agências habilitadas e das atividades produtivas enfocadas - a Tabela 18 apresenta as variáveis contextuais utilizadas como controle estatístico nas análises de covariância realizadas para cada uma das variáveis dependentes - foi maior nas agências com 3 ou mais funcionários treinados do que naquelas que possuíam apenas 2 funcionários capacitados? A resposta a essa pergunta é apresentada na seção seguinte.

Tabela 18. Covariáveis Utilizadas no Estudo 2.

Variáveis Dependentes Famílias

Envolvidas Produtores Envolvidos Envolvidos Parceiros Previsto Crédito

Sobrevivência até 40 anos - - - Sim

Índice de Pobreza - - Sim -

Freqüência à escola Sim Sim - Sim

PEA Sim - - Sim

Renda oriunda do governo - - - Sim

Receita municipal - - - Sim

População rural Sim Sim - Sim