5. SPRÅKLIGE VARIABLER
6.3 Status som svensk i Norge
A avaliação da implementação é uma subárea da pesquisa avaliativa de política, em que representa a avaliação de processo cuja compreensão pode ser concebida de duas formas: a primeira se inicia desde a formulação da política, implicando a formação da agenda governamental, a definição do campo de interesses e a identificação das alternativas. Já a segunda diz respeito à explicitação dos programas, desde a definição das estratégias, metas e a utilização dos recursos. O estudo de Pressman e Wildavsky realizado nos EUA em 1960 sobre a implementação de um programa na cidade de Oakland (Califórnia) foi o trabalho pioneiro na área de avaliação de implementação, destacando-se por sua contribuição em constatar que o que se pensava em nível de governo central nem sempre se conseguia implantar e conseguir resultados em nível local (PEREZ, 2007).
Perez (2007) destaca que pesquisas avaliativas de implementação proporcionam algumas contribuições, tais como:
a) Enquanto pesquisa orientada, pode dar suporte a correções de rumo nos programas, especialmente, no contexto dos decisores;
b) Podem possibilitar a ampliação da efetividade das decisões dos programas; c) Podem contribuir para a transparência das ações governamentais; e
d)Possibilitam maior grau de interação entre os distintos corpos da política (administrativo, política e comunidade).
Para Lobo (2007) em se tratando de processos, a avaliação estrutura-se de forma que se privilegiem análises qualitativas. A ideia de processo supõe variações político- institucionais num continuum de tempo e espaço, devendo o avaliador tratar essa construção como uma atividade complexa, que pode envolver variáveis desde os atores envolvidos diretamente ou indiretamente com o programa governamental estudado, passando pelos mecanismos que impulsionam ou refreiam a execução da ação governamental, bem como discutindo elementos da cultura organizacional das agências públicas envolvidas. Neste mesmo itinerário, observam-se algumas características que podem interferir em uma avaliação de implementação, dentre elas: a descontinuidade político administrativa; (in) capacidade institucional dos agentes governamentais; a inexistência de um monitoramento desenhando desde o início do programa, que pode levar a perdas incalculáveis na qualidade da avaliação; por fim, a busca por perfeição por parte dos avaliadores (acadêmicos).
Na visão de Subirats (1994), no caso do interesse se concentrar na fase de implementação, o tipo de informação que se precisa é distinto. Neste caso, será importante conhecer como foi produzida a implementação, e decidir, qual é o grau de operatividade do programa, as dificuldades de aplicação que se tem produzido em distintos momentos ou lugares, qual havia sido a relação dos atores envolvidos, que erros ou abusos haviam sido produzidos. Também será importante, neste sentido, conhecer como é o funcionamento da gestão ou direção do programa, tanto a gestão de recursos humanos como a distribuição de recursos. Assim mesmo, será decisivo conhecer qual é o grau de impacto que tem um programa sobre o problema levantado, avaliando como variar ou inclusive eliminar o programa analisado.
A pesquisa de avaliação da implementação é um estudo sistemático das atividades colocadas em prática pelos implementadores, com a finalidade de identificar os fatores que explicam o processo de transformação dos programas públicos em resultados (SUBIRATS, 1994).
Draibe (2001, p. 30), relata que as avaliações de processo, “buscam identificar os
fatores facilitadores e os obstáculos que operam ao longo da implementação e que condicionam positivamente ou negativamente, o cumprimento das metas e objetivos”. Tais
fatores podem ser entendidos como condições institucionais e sociais dos resultados”
(DRAIBE, 2001, p. 30).
Neste contexto, observa-se o que se denomina de anatomia do processo geral de
implementação, momento o qual a autora passa a descrever que a avaliação da implementação
pode ser operacionalizada metodologicamente através de identificações de subprocessos da implementação (aqui denominados de dimensões), que na proposta construída é dotada de seis dimensões, que podem ser visualizadas no Quadro 19:
Quadro 19 - Dimensões de avaliação da implementação de uma política pública
Dimensões de análise do processo da política pública
Características-alvo da interlocução do avaliador.
Subsistema gerencial e decisório
Competências dos gerentes do programa; capacidade de desenhar e intervir através de decisões; graus de centralização ou descentralização da gestão.
Processo de divulgação e informação (comunicação)
Diversificação dos canais de comunicação com os beneficiários do programa; qualidade das mensagens; percentual do público atingido.
Processo de seleção Qualidade da sistemática de aferição do mérito; adequação do grupo de beneficiários selecionados aos objetivos do programa. Processo de capacitação Competências dos técnicos na execução; duração e qualidade da operacionalização do programa; avaliação dos técnicos do
governo pelos agentes beneficiados Subsistema logístico e
operacional
Financiamento e gastos; provisão de recursos materiais; suficiência dos recursos; qualidade da infraestrutura e material de apoio (prospecção e atendimento e evolução do beneficiário).
Processo de monitoramento e Avaliação interna
Regularidade da ação governamental; abrangência; agilidade na identificação dos desvios e incorreções; capacidade/agilidade em recomendar retificações nos processos quando necessários.
Graus de participação e comprometimento dos atores (beneficiários e parceiros) para propor e recomendar aperfeiçoamentos, promover aprendizagem institucional coletiva.
Fonte: Desenvolvido a partir de Draibe (2001).
O modelo de Draibe (2001) pode ser abstraído para compor uma análise do processo de implementação de um programa governamental, tendo como retrato constitutivo como os arranjos institucionais (burocracia) estão dimensionados, possibilitando a gestão/avaliador mensurar as disfunções, caso existam. Flexor e Leite (2007, p.10) afirmam que
A implementação representa um processo pelo qual as decisões acomodam-se à realidade, ajustam-se ao campo de aplicação, se inscrevem nas rotinas dos agentes que implementam a política. Implementar consiste em aplicar um programa de ação a um problema. Isso significa que existem perturbações e modificações entre os objetivos perseguidos e as ações efetivas. É nessa fase que o papel dos gestores e o desenho institucional da política se tornam críticos. Com efeito, em função dos atores envolvidos (os agentes que implementam a política e o público-alvo do programa), dos instrumentos estabelecidos e do grau de centralização dos processos (existência de um órgão específico ou não, mecanismos de supervisão, especialização das organizações,etc.), a distância entre os objetivos perseguidos e as ações efetivas pode ser mais ou menos importante.
A ação da implementação passa obrigatoriamente pelo desenho institucional. A burocracia deve ser tratada dentro do que Abrúcio e Loureiro (1998) chamam de despolitização da burocracia, pois esta deve ser neutra de influências políticas que, muitas vezes, fomentam o desvirtuamento dos programas governamentais, ou seja, acabaria afastando os enters públicos dos seus objetivos finalísticos que são os interesses públicos. De outro lado, aquela deveria ter uma postura de eficiência frente ao sistema político.
A avaliação de processo visa acompanhar e avaliar a execução dos procedimentos de implantação dos programas e políticas e diferencia-se em avaliação de eficácia e de eficiência. O objeto central dessa modalidade é avaliar a adequação dos meios e recursos utilizados perante os resultados parciais ou finais, referenciados aos objetivos e metas propostos pela política ou programa. Observa-se, contudo, que avaliar processo não pode se confundir com a
atividade de monitoramento de programas, pois esta é uma ferramenta de gerenciamento (CARVALHO, 2003).
Rodrigues (2008) discute uma nova forma de avaliação de políticas públicas, em que sai da superficialidade para uma que considera todos os contextos e por meio de um olhar multidimensional. Assim sendo, a avaliação torna-se uma pesquisa que não coloca como centro de investigação os instrumentos de coleta de dados, o que faz emergir uma nova forma de avaliar políticas, que trate de maneira profunda, não como uma atividade de medida, mas sim como um constructo cuja base essencial é a compreensão. A autora avança e elenca quatro pontos básicos que devem nortear uma avaliação profunda de uma política pública, ei- los:
a) Análise do conteúdo do programa em três aspectos: formulação (critérios, objetivos, dinâmica de implementação, acompanhamento e avaliação), bases conceituais (paradigmas orientadores e as concepções e valores que os informam, bem como os conceitos e noções centrais que sustentam essas políticas) e coerência interna (não-contradição entre as bases conceituais que informam o programa, a formulação de sua implementação e os itens priorizados para seu acompanhamento, monitoramento e avaliação).
b) Análise do contexto da formulação da política: estudo detalhado do momento político, econômico, social em que a política nasceu, tentando identificar as inter-relações entre as instâncias governamentais. Atenção ao marco legal, bem como a identificação da existência de políticas semelhantes.
c) Trajetória institucional de um programa: a finalidade nesta instância de análise é a de averiguar como um programa vem passando pelas instituições, identificando as coerências ou não, as mudanças de curso dentre outros elementos, desde a sua base (órgão executor) até um olhar junto aos beneficiários.
d) Espectro temporal e territorial: por meio desta dimensão analítica, procura-se apreender a configuração temporal e territorial do percurso da política estudada de forma a confrontar as propostas/objetivos gerais da política com as especificidades locais e sua historicidade. A apreensão dessa configuração coloca algumas questões em destaque: a) as possibilidades de articular, na avaliação, as perspectivas e objetivos de propostas generalizantes às particularidades locais; b) as possibilidades de implementação de políticas, de forma localizada, que levem em conta seu percurso temporal e territorial.
A proposta de Rodrigues (2008) pode ser incorporada na busca por uma reflexão na compreensão da pesquisa de avaliação de implementação de políticas públicas, pois para a autora, no processo da pesquisa, pode emergir categorias analíticas que estejam latentes ou
que sejam percebidas como importantes pelo pesquisador, além de uma proposta que está teoricamente distante dos modelos positivistas, apresenta um senso agregador da compreensão através da construção contextual desde a formulação da política até o seu processo de execução.
Para que se processe uma avaliação da implementação de uma determinada política deve-se identificar os componentes que a compõe. Para Costa e Castanhar (2003) os componentes são definidos como: as estratégias, atividades, comportamentos, formas de comunicação e tecnologias necessárias para a implementação do programa, bem como a especificação dos beneficiários e as situações em que se dá a implementação.
Os autores ainda observam que,
A adequada e precisa identificação dos componentes do programa permitirá que se avalie quais aspectos do programa foram implementados como previsto, quais não foram e quais fatores influenciaram eventuais discrepâncias na implementação. Um outro aspecto que a correta especificação dos componentes permite avaliar diz respeito à medida que o escopo do programa (beneficiários pretendidos) foi observado. Além disso, possibilitará conjecturar sobre os elos entre os resultados da implementação e os resultados do programa propriamente dito (em termos de produção, resultados intermediários, impactos etc.) (COSTA; CASTANHAR, 2003, p. 98).
Toda e qualquer proposta de metodologia de avaliação da implementação de uma política pública não deve se perder no universo de conclusões sobre fracasso ou sucesso de uma política, em especial, pelo fato de que diversas alterações processuais acontecem por variáveis externas aos implementadores. Assim a pesquisa avaliativa que tenha como foco o timing entre o ex-ante e o ex-post no objeto de estudo deve pontuar os diversos estrangulamentos alheios à vontade do gestor que implicaram o não alcance das metas planejadas e ou impediram os objetivos iniciais do programa de terem sido atingidos, possibilitando assim um melhor rendimento político administrativo do sistema (ARRETCHE, 2001; SUBIRATS 1994).
Ander-Egg e Aguilar (1994) discutem que a avaliação de implementação, pode ser constituída de uma leitura de quatro dimensões básicas: avaliação de cobertura, avaliação de implementação (aspectos técnicos), Avaliação do ambiente organizacional e Avaliação do rendimento pessoal. Para visualizar os elementos envolvidos em cada dimensão analítica, ver Quadro 20, a seguir:
Dimensão Elementos observacionais
Cobertura
O programa chega a sua população-objeto?
O programa chega realmente ao segmento ou grupo da população que se tem em vista com seu destinatário?
Qual o grau de utilização dos serviços e perfil do usuário? Existem coberturas deficitárias ou supercobertura ? Por quê?
Existe conhecimento, acessibilidade, aceitação do programa por parte dos usuários potenciais e reais?
Qual o grau de participação das pessoas no programa?
Implementação
O programa é implementado como estava previsto no plano?
Foram postos em prática os esforços de intervenção na forma indicada pelo plano do programa? As atividades e tarefas são executadas do modo previsto?
Foram cumpridas as tarefas de preparação e motivação necessárias para criar um clima favorável à implantação do Programa?
Qual a disponibilidade real de recursos para a execução e implementação do programa? Existe adequado sistema de controle operacionais sobre o andamento do Programa? Existe adequado sistema de informação para o acompanhamento do programa? Quais os custos de funcionamento do Programa? Os recursos estão sendo utilizados adequadamente? Os procedimentos utilizados são apropriados aos objetivos em vista? Facilitam a execução desses objetivos? Os procedimentos utilizados são oportunos do ponto de vista político, econômico, social, cultural e/ou institucional?
Ambiente organizacional
A estrutura organizacional da instituição contribui ou prejudica o desenvolvimento do programa?
O tipo de direção a e os mecanismos de tomada de decisão são coerentes com os objetivos do programa? São os mais adequados para alcançar os objetivos do programa?
A natureza e o conteúdo das comunicações internas do programa se adaptam às necessidades de gestão do mesmo? São excessivas ou escassas?
Qual o clima e nível de satisfação existente no seio da organização? Que relação existe com o rendimento pessoal?
A organização de recursos humanos, técnicos e materiais é adequada e útil para a prestação dos serviços que se tem em vista? O sistema de supervisão de pessoal é adequado? As modalidades de coordenação permitem articular adequadamente as atividades das diferentes pessoas implicadas na realização do programa?
Rendimento pessoal
Qual a aptidão e habilidade do pessoal envolvido na aplicação de técnicas e procedimentos às tarefas e atividades próprias do Programa?
Quais são as atitudes e motivações para fazer responsavelmente o trabalho? O que fazem os responsáveis pela direção, os quadros médios e os executores do programa corresponde ao estabelecido na análise dos postos, manual da organização e/ou manual de procedimentos?
A competência profissional do Programa se ajusta ao padrão de qualidade exigido?
Qual a capacidade do pessoal em gerar soluções?
O pessoal possui os conhecimentos e habilidades necessários para o correto desempenho das funções do seu cargo?E as aptidões?
Qual o nível de satisfação do pessoal envolvido com o Programa?Existem incentivos para o pessoal? De que tipo? Quais os efeitos?
O pessoal consegue gerenciar o tempo e as atividades em tempo oportuno? Fonte: Criado a partir de Aguilar e Ander-Egg (1994, p.53-54).
Wildavsky e Majone (1978 apud PRESSMAN e WILDVASKY,1998) discutem a separação que alguns fazem entre a implementação e a formulação no processo de avaliação,
uma vez que para os mesmos essas etapas são entrelaçadas. Assim, o ponto de partida para a avaliação é a ação governamental. Para poder compreender a implementação os autores passam a discutir a implementação sob as seguintes vertentes:
a) Implementação como controle: Propõe a implementação a partir de um planejamento, no qual se sabe previamente a melhor maneira de se implementar um programa. Dentro da lógica do planejamento, os estudiosos observam que a dificuldade aqui é explicar a função produção dentro do universo dos insumos e objetivos predefinidos,
identificando o porquê das mudanças “extraplanejamento”. Assim, conduz-se a implementação fugindo de “becos sem saídas”, hipóteses descartadas, fatos incertos e optando
por uma fórmula conhecida que consiste em classificar os objetivos, considerar as alternativas e uma norma para selecioná-las.
b) Implementação como interação: Esse modelo de análise de implementação reduz ao mínimo a importância das metas e planos. O que se deve materializar é um conjunto de negociações inter implementadores. Assim, as normas de um programa são meras palavras que devem ser comunicadas aos executores. Os analistas dessa teoria separam nitidamente o plano da implementação da própria implementação do programa, ou seja, o sucesso ou fracasso da implementação independe do plano desenhado. O processo se constitui como uma busca de consenso entre os implementadores quanto às metas, autonomia individual e um compromisso com que irá executar o referido programa.
c) Implementação como política definida: A implementação sobre essa perspectiva partilha da mutabilidade dos objetivos do programa durante sua implementação, em especial, por geralmente destoar o que se formula e o que de fato se consegue alcançar. Para os autores a ideia de política está fundada na correlação entre recursos, seus usos e os objetivos do programa governamental implementado. Tendo em vista a condição de moldar o comportamento dos atores a partir das restrições dos recursos disponibilizados, a busca é pela identificação. Com isso, para melhor explicar os fracassos das implementações se faz necessário a indagação pela teoria, pois as que existem são qualificadas como insuficientes.
Aparentemente, a formulação e a implementação de políticas ou programas são vistas como fases distintas, pois entendidas, respectivamente, como diagnóstico de problemas e propostas para sua solução e como execução de passos previamente definidos e organizados, em realidade, elas não se distinguem tão facilmente. A própria implementação de ações é, e de fato assim ocorre, um constante (re) definir das decisões, recomendadas pela política em momentos anteriores de seu processo (CARVALHO, 2003).
Silva (2001) faz uma discussão entre a avaliação de processo de implementação e avaliação de impactos. Tal separação conceitual traz à tona ao leitor um melhor esclarecimento sobre os elementos que envolvem uma pesquisa avaliativa de processo de implementação de uma política pública. A avaliação de processo é um modelo de avaliação em que se enfoca na análise entre os meios investidos e as metas propostas e como a gestão do programa administra a adequação dos recursos (de maneira geral) para a execução do que se foi pensando no momento da formulação da política, tendo assim esse tipo de avaliação para Silva (2001, p. 82) os seguintes objetivos:
Identificar fatores determinantes dos êxitos e fracassos do processo de implementação. Analisar os determinantes institucionais e socioculturais que podem explicar o sucesso e fracasso da implementação. Oferecer aos responsáveis pelo programa sugestões, e recomendações de procedimentos alternativos para corrigir ou impedir distorções ou obstáculos na consecução das metas e objetivos. Coletar e sistematizar informações sobre o programa.
Os autores Hill e Hupe (2002) apresentam uma discussão entre a implementação e pesquisa avaliativa destacando que a implementação passa por um estudo de como colocar aquilo que é preciso para as pessoas beneficiárias, já a avaliação está preocupada em como elas percebem esse recebimento. Para visualizar melhor ver Quadro 21, em que é traçada uma comparação entre a implementação e a pesquisa de avaliação no que concerne aos objetos de atenção e as ações da pesquisa.
Quadro 21 – Implementação e pesquisa avaliativa
Objeto de atenção Ação da pesquisa
Implementação Processo/Comportamento Resultados Saídas Conexões causais Descrição Explicação Construção de teoria Julgamentos analíticos Avaliação Valores ligados aos produtos Emissão de juízos de valor Fonte: Hill e Hupe (2002, p. 12).
Para Hill e Hupe (2002) a análise da implementação de um programa governamental se aproxima da pesquisa avaliativa da implementação, na medida em que os resultados da avaliação servem de informes e indicativos para os implementadores. Assim, para os autores a pesquisa avaliativa de implementação procura apoio nas ciências políticas e na administração pública. Avançando nesse contexto Silva (2001) traz um conjunto de
discussões sobre as dimensões analíticas que compõem a avaliação de processo. Para visualizar ver Quadro 22.
Quadro 22 – Dimensões analíticas na avaliação de processo
Dimensão Avaliação de processo
Concepção É um procedimento de verificação e correção do funcionamento de um programa. Objeto
Aferição da adequação entre meios e fins, observando o contexto organizacional, institucional, social, econômico e político, no qual se desenvolve a implementação de um programa.
Objetivos
Aferir a eficiência e a eficácia de um programa, oferecendo descrição adequada dos serviços e verificando se a população alvo está sendo atingida. Corrigir o curso de ação durante a implementação. Permitir a escolha racional entre as alternativas que aumentam a eficiência do programa. Oportunizar melhor alocação dos recursos, permitindo aos administradores a otimização entre insumo/produto e aos técnicos, o conhecimento dos aspectos operativos do programa na sua implementação.
Momento Realiza-se durante a implementação do programa, olhando para frente para