Cohen e Franco (2008) definem que a avaliação de implementação ou avaliação de processo determina em que medida as atividades executadas contribuem ou não para os resultados projetados pelo programa. Esse é um tipo de avaliação que deve ocorrer continuamente, somente assim conseguir-se-á identificar os pontos que necessitam de ajuste em tempo oportuno. Também, segundo eles, “a avaliação de processos permite corrigir tanto o modelo causal como a implementação do projeto para reorientá-la em função dos objetivos buscados.” (Cohen e Franco, 2008, p. 82).
Champagne et al (2011) conceituam a avaliação de implementação como a análise das barreiras e dos facilitadores durante o processo de execução do programa. Eles põem em relevo a necessidade de se estudar, nesse tipo de avaliação, o contexto em que se insere o programa.
Dentre as muitas classificações trazidas por Jannuzzi (2016), uma é de especial interesse para esta pesquisa: a avaliação de implementação. Para ele, esse tipo de avaliação visa a identificar as barreiras para a implementação por meio da investigação dos processos e das operações executadas.
Para Silva (2013), a avaliação de implementação – denominada pela autora como avaliação de processos – visa identificar a eficácia do programa. Não se trata aqui da eficácia pura e simples. Não se trata apenas de informar se o programa está alcançando os objetivos propostos em seu planejamento, mas esse tipo de avaliação também se preocupa em responder em que medida esses resultados estão sendo alcançados conforme os mecanismos preconizados em sua política. Por isso, os objetivos de uma avaliação de processos consistem no seguinte:
Essa concepção permite apontar como objetivos da avaliação de processos: identificar fatores determinantes dos êxitos e fracassos do processo de implementação de um programa; analisar os determinantes institucionais e socioculturais que podem explicar o sucesso ou o fracasso da implementação; oferecer aos responsáveis pelo programa sugestões e recomendações de procedimentos alternativos para corrigir ou impedir distorções ou obstáculos na consecução de metas e objetivos; coletar e sistematizar informações sobre o programa. (Silva, 2013, p. 82).
38
No que diz respeito à avaliação de processo, a autora traz também as características de seis dimensões associadas a ela. As dimensões são concepção, objeto, objetivos, momento, horizonte e usuário. Quanto à concepção, a autora a caracteriza pela correção da condução de um determinado programa. O objeto dessa avaliação consiste em verificar se meios e fins se encontram adequados, levando-se em conta os vários contextos – “organizacional, institucional, social, econômico e político” (Silva, 2013, p. 81) – em que se encontra imerso o programa. Os objetivos voltam-se para a aferição da eficiência e da eficácia do programa, o que, em última instância, objetiva à otimização do uso dos recursos públicos. O outro objetivo colocado por ela se trata de um reflexo da própria concepção trazida por ela, pois ressalta o intuito de a avaliação alterar ações durante o processo de implementação do programa. Outro objetivo colocado pela autora se volta à produção de conhecimento gerada pela avaliação para aqueles que devem operar a implementação do programa. Quanto ao momento, por tudo o que já foi mencionado, percebe-se que essa avaliação deve se dar durante a implementação do programa, esse é o momento oportuno para a correção das ações necessárias de modo a proporcionar a melhor relação insumo-produto. O horizonte de ação se volta para decisões cotidianas e operativas. Finalmente, o usuário dessa avaliação são as pessoas diretamente envolvidas implementação do programa e as que o administram também.
Silva (2013) aponta que é fundamental para o adequado aproveitamento de uma avaliação de processos o envolvimento de todos os atores responsáveis pela implementação do programa, devido ao fato de esse tipo de avaliação indicar alterações necessárias nas atividades relacionadas à execução da política, atividades essas executadas por um conjunto amplo de pessoas. Apenas se essas pessoas compreenderem o impacto de pequenos procedimentos do cotidiano, a avaliação de processos logrará êxito em corrigir os rumos de uma política. Isso parece bastante óbvio quando se teoriza sobre avaliação de políticas públicas, mas talvez não seja essa a realidade vivenciada nas organizações.
Nesse contexto teórico, insere-se o objeto de estudo desta pesquisa que pretende realizar uma avaliação de implementação. A avaliação de implementação permite que se supere o modelo da “caixa preta” (Denis; Champagne, 1997), possibilitando que se revelem as operações conduzidas no âmbito da RC em nível federal, em nível distrital e, finalmente, pelos próprios profissionais de saúde nas regiões de saúde do DF. Mais do que isso, essa avaliação de implementação permitirá a elaboração de uma proposta metodológica para verificar como os dados de ouvidoria podem ser processados ao longo dos diferentes níveis da gestão de um programa governamental.
39
Em vista do exposto, propõe-se a seguir um desenho de pesquisa elaborado a partir de método indutivo (Magee, 1979), que se baseia na observação e experimentação do caso particular para o alcance do conhecimento evidente. Sendo assim, foi realizada pesquisa de campo exploratória que determinou os procedimentos metodológicos e conformou a avaliação de implementação de um programa governamental, detalhados a seguir.
3 – Método
Este capítulo se destina a apresentar a maneira pela qual se desenvolveu a pesquisa de modo a viabilizar a sua reprodutibilidade. Tal detalhamento visa atender dois objetivos simultâneos: aumentar a confiabilidade da comunidade científica nos resultados desta dissertação e possibilitar que outros estudos abranjam as maternidades não estudadas neste momento ou outras Unidades Federativas para que seja complementada a avaliação de implementação de um Programa tão caro à saúde pública do país.
Para tal, o capítulo se encontra dividido em três seções: caracterização da pesquisa; coleta dos dados e análise dos dados. Ao longo do capítulo também serão apresentados cinco quadros: o primeiro apresenta como a administração em saúde da Unidade Federativa está estruturada, o segundo apresenta os critérios de seleção para as entrevistas dos profissionais de saúde, o terceiro contêm as ações da Rede Cegonha (RC) que esta pesquisa irá analisar, o quarto apresenta a interface entre o resultado da pesquisa avaliativa da Ouvidoria com as ações propostas pelo PAR da Unidade Federativa, o quinto contêm os procedimentos metodológicos para o alcance de cada um dos objetivos específicos.
A Unidade Federativa objeto de análise não será especificada para manter o sigilo da informação. Isso não compromete a pesquisa, já que o objeto de estudo se refere à Ouvidoria-Geral do SUS, situada no Ministério da Saúde. Um ente subnacional foi utilizado apenas como um recurso para que se averiguasse se o dado da Ouvidoria afetou a implementação de uma política de saúde induzida pelo MS – a RC.