A literatura americana acerca da avaliação de políticas e programas educacionais é bastante vasta, apesar de ser recente no âmbito brasileiro, surgindo principalmente nos anos de 1980. Contudo, avaliações na área de saúde ainda são um desafio para a tradição avaliativa no Brasil, sendo necessário adaptar os tipos de avaliação encontrados para uma perspectiva de avaliação de programas no campo da saúde pública. Ao falar especificamente sobre a avaliação de programas em saúde, Novaes (2000) comenta que esta área passa por um processo de expansão e diversificação conceitual e metodológica, bem como por uma crescente demanda para se constituir como instrumento de apoio às decisões necessárias à dinâmica dos sistemas e serviços de saúde e na implementação das políticas de saúde.
73 As questões sanitárias no Brasil ocorrem em uma realidade complexa caracterizada pela grande extensão geográfica do território brasileiro, pela diversidade cultural, pelas desigualdades sócioeconômicas, de urbanização e de condições de saúde agravadas pela ineficiência da estrutura pública de serviços (Pestana, 2006, p. 62). Conclui- se, portanto, que o planejamento e a avaliação tornam-se fundamentais uma vez que as instituições públicas, de maneira geral, não sabem precisamente onde estão, outras não sabem exatamente onde querem ou devem ir, e quase todas não sabem de que alternativas dispõem para sair de onde estão e chegar ao objeto pretendido (Pestana, 2006, p. 62). Por conseguinte, pesquisas de caráter avaliativo são essenciais para a compreensão da realidade sanitária do país.
As avaliações de programas em saúde têm como foco de análise os programas sociais da área de saúde tomados como processos complexos de organização de práticas voltadas para objetivos específicos, sendo considerados programas tanto as propostas voltadas para a realização de um macro objetivo (Programa Agentes Comunitários de Saúde PACS e Estratégia Saúde da Família ESF, por exemplo), quanto à implantação de reformas de atenção a populações específicas (como a atenção domiciliar a idosos e a vacinação de crianças) e que envolvem instituições, serviços e profissionais diversos, como as atividades desenvolvidas em serviços de saúde, que têm por objetivo prestar um determinado tipo de atendimento para uma dada clientela. No entanto, estas pesquisas devem possuir um delineamento que considere a gama de variáveis interferentes e intervenientes que podem estar associadas ao programa para evitar conclusões errôneas acerca de sua eficácia e efetividade.
Em 2000, o Ministério da Saúde juntamente com as Secretarias de Saúde do Estado e dos Municípios realizaram uma Avaliação da Implantação e Funcionamento do Programa de Saúde da Família PSF em 1.870 municípios nas 27 unidades federais. Os dados obtidos apontam para o predomínio da atuação das Equipes de Saúde da Família
74 (EqSF) na zona urbana, sendo a zona rural beneficiada com 37,1% da atuação. Entre todos os 27 estados brasileiros, apenas um utilizou o critério de população inferior a 15 mil habitantes para a implantação das ESF.
Todavia, a pesquisa relatada possui alguns vieses que poderiam ser controlados se fossem adotados métodos de abordagens mais rigorosos. Por exemplo, a avaliação do PSF (Brasil, 2000), tal como era denominada a ESF, constitui-se mais como um levantamento das condições de implantação e funcionamento dos PSF no país, caracterizando uma avaliação de implementação ou processo sem maiores informações acerca da eficácia do programa. Além disso, a metodologia adotada na pesquisa foi a técnica de Delphi que consiste em enviar questionários pelos correios para que sejam respondidos pelos gestores e devolvidos ao Ministério da Saúde, segundo Cozby (2003) o que aumenta o erro amostral devido a baixa taxa de retorno destes questionários comprometendo a fidedignidade dos resultados.
Ressalta-se que foi mantida a sigla PSF na citação de alguns estudos durante esta tese para manter o caráter político e temporal da época em que estas pesquisas foram realizadas.
Outro estudo que buscou avaliar o Programa Saúde da Família (PSF) foi realizado por Trad, Bastos, Santana e Nunes (2002). Os autores intentaram averiguar a satisfação do usuário do PSF em cinco municípios da Bahia encontrando uma visão bastante positiva na avaliação do PSF nos cinco municípios. Isto pode ser explicado pelo fato de que em todos os municípios estudados, seguindo uma tendência estadual e nacional, o PSF foi implantado nas áreas onde se concentram as populações mais pobres e com as piores condições de infra- estrutura básica. Estes dados são corroborados por Senna (2002) que aponta para o impacto positivo do PSF em áreas de grande déficit de serviços básicos de saúde, principalmente na região Nordeste do país.
Em contrapartida, os profissionais da equipe de saúde da família levaram mais em consideração a lógica do atendimento e menos a da necessidade enfatizando o caráter
75 preventivo e educativo do trabalho em PSF. Mas, apesar das dificuldades encontradas (dificuldade de refrear a demanda espontânea nas áreas atendidas, sobrecarga excessiva de trabalho, o sistema de referência e contra-referência deficitário; além de problemas de infra- estrutura, material e equipamentos) os profissionais da equipe expressaram sentimentos de satisfação com um trabalho pautado em ideais de justiça social.
Este estudo apontou para a importância dos profissionais de saúde conhecerem o contexto (comunidade) em que irão atuar, tendo acesso às percepções dos pacientes relativas à saúde (crenças, valores, atitudes). Deste modo, os profissionais de saúde poderiam desenvolver estratégias de modificação de comportamento dos usuários dos serviços da rede de atenção básica das localidades onde iriam atuar.
Assim, diante da diversidade de taxionomias de avaliação de programas presentes na literatura (ver Oliveira, 2006; Hartz, 2005; Hartz &Silva, 2008), buscou-se nesta tese associar desenhos avaliativos que mais se adequassem ao seu objeto de estudo (avaliação da ESF a partir das crenças da EqSF). Isto implica na utilização de dois tipos básicos de avaliação que orientam o trabalho em questão: a pesquisa avaliativa e a pesquisa participativa, a saber.
Na pesquisa de avaliação o objetivo principal é a produção de um conhecimento que seja reconhecido como tal pela comunidade científica. De acordo com Novaes (2000), essas pesquisas geralmente são desenvolvidas sob a coordenação de instituições acadêmicas, por iniciativa própria ou a partir de solicitações de instâncias públicas com elevado poder sobre a implementação ou reorientação de macro políticas (Ministérios ou Secretarias Estaduais, Legislativo e outros órgãos), nos quais, torna-se necessária a distância dos avaliadores para garantir máxima objetividade à investigação.
Cano (2004) aborda esta questão do caráter externo ou interno da avaliação. As avaliações internas são desenvolvidas por pessoas ou equipes que pertencem ao programa. As avaliações externas são desenvolvidas por consultores ou instituições que não fazem parte do
76 programa e que são chamados especificamente para esta finalidade. Arretche (2006) e Lobo (2006) argumentam que como as avaliações são processos regulatórios de controle sobre as ações públicas, tanto no que se refere aos cidadãos regulando o governo quanto a autorregulação governamental acerca de suas próprias ações, espera-se que estas sejam realizadas por órgãos independentes.
As avaliações realizadas pelas equipes governamentais consistem em relatórios de acompanhamento nos quais se descrevem as ações desenvolvidas no curso de implementação do programa. Contudo, elas podem estar enviesadas, já que diversas questões levam os avaliadores internos a buscar evidenciar os pontos positivos do programa em detrimento dos aspectos negativos (a manutenção de seus empregos, o medo de revelar a incipiência dos resultados de um programa, entre outros). Assim, frequentemente as informações indesejáveis são camufladas e ainda que sejam utilizados bons instrumentos de pesquisa para o estudo, elas carecem de um verdadeiro caráter avaliativo, pois a veracidade das informações é questionável.
Isto posto, Arretche (2006) sugere que instituições independentes possuem melhores condições de realizar estudos avaliativos mais confiáveis, com base em critérios explícitos e externos que possam demonstrar a relação entre as políticas públicas implementadas, seus processos e resultados, com o intuito de orientar as ações do Estado para a melhoria da prestação de serviços do Governo à população.
Não obstante, as principais questões que orientam as pesquisas de avaliação dizem respeito à identificação de impactos obtidos pelas ações a serem avaliadas, sendo formuladas de maneira a encontrar relações de causalidade entre variáveis. A metodologia dominante neste tipo de pesquisa ainda é de natureza quantitativa, mas com crescente participação das formas qualitativas, ambas orientadas para a busca da objetividade e de uma possibilidade de generalização dos resultados observados.
77 Ressalta-se, contudo, que no tocante à metodologia utilizada, as situações avaliadas no campo da saúde irão exigir a adoção de múltiplas abordagens, para que não se perca a capacidade de explicação e compreensão da situação sanitária em que se encontra a localidade sob análise. Isto implica dizer que tanto perspectivas quantitativas como qualitativas serão pertinentes, a depender da pergunta avaliativa.
A informação resultante da avaliação deverá ser confrontada com os pressupostos iniciais (hipóteses) que orientam a pesquisa e o juízo formulado deverá ser coerente com estes pressupostos. Segundo Neves (2000), as pesquisas de avaliação são geralmente pontuais podendo ser eventualmente replicadas, temporal ou espacialmente, para efeito comparativo.
De modo geral, a pesquisa de avaliação em saúde desenvolve-se mais quando se deseja medir o impacto de um programa através dos resultados observados sobre condições específicas da população (mortalidade, morbidade, indicadores de qualidade de vida, entre outras), selecionados a partir de relações de causalidade identificadas entre condições de saúde e formas de intervenção. No entanto, outros tipos de impactos têm sido medidos pelas avaliações de programas, tais como o impacto de profundidade e o impacto de amplitude do programa. O impacto de profundidade representa o resultado do programa na vida de um beneficiário, enquanto o impacto de amplitude é o resultado que o programa causou na população-alvo.
A outra perspectiva teórico-metodológica norteadora desta tese é a avaliação participativa. Este tipo de avaliação contrapõe-se à visão atual da avaliação que está associada a auditorias ou ao controle externo de um programa. Carvalho (2006) argumenta que estas práticas de avaliação (auditorias) caracterizam-se por serem tecno-burocráticas voltadas à prestação de contas dos resultados dos programas às chefias de governo, à comunidade em geral e aos usuários, em particular. Numa outra perspectiva, a avaliação participativa adota uma concepção totalizante da avaliação que busca apreender a ação desde a sua formulação até seus impactos.
78 Este tipo de pesquisa consiste em inserir no processo de avaliação os agentes (prestadores de serviços) e beneficiários (usuários) envolvidos no programa permitindo-lhes refletir e socializar suas crenças, opiniões, valores, expectativas e representações acerca das ações e serviços que estão sendo prestados à comunidade. Envolver estes atores (usuários, funcionários, gestores, entre outros) no processo avaliativo tem sido considerado importante por diversos pesquisadores (Arretche, 2006; Carvalho, 2006; Contrandioupolus, 2000; Lobo, 2006), pois, a partir deles, pode-se apreender os múltiplos fatores, processos e resultados da ação pública avaliada. Ou seja, este tipo de avaliação se compromete a dar vez e voz ao pluralismo social que estes interlocutores expressam (Carvalho, 2006). Esta característica de participação dos envolvidos na ação garante à avaliação uma maior densidade.
O fundamental neste tipo de pesquisa, de acordo com Carvalho (2006), é avaliar a capacidade de respostas do programa às demandas dos grupos beneficiados, sendo fundamental a participação dos operadores e usuários do programa. Neste tipo de atividade o avaliador não se encontra na posição solitária de único agente valorativo, mas assume a postura de mediador de debates para que surjam os consensos ou dissensos acerca do serviço avaliado. Assim, ele permite (e até estimula) que aflorem as verdades acerca do programa na visão de diversos segmentos nele envolvidos para, a partir delas, detectar precocemente falhas ou estratégias inadequadas com o intuito de alterá-las objetivando a melhora da eficácia do programa.
Para a realização do debate reflexivo acerca do programa, diversas estratégias podem ser utilizadas, tais como, definição de indicadores, aplicação de questionários, realização de entrevistas, observação participante. Desta forma, não se perde a coerência nem se releva o rigor metodológico neste tipo de pesquisa. O que se almeja é se apropriar das visões de mundo das diversas classes implicadas nas ações públicas para contrapô-las e buscar compreender a melhor forma de ajudar no incremento das atuações do governo.
79 Alguns estudos avaliativos norteados pela perspectiva participativa vêm sendo desenvolvidos pelo Núcleo de Estudos em Desenvolvimento Rural e Avaliação de Programas Sociais da Universidade Federal da Paraíba desde 2004 (Martins, 2008; Melo, 2007; Melo, 2009, Neves, 2008, Oliveira, 2006).
Um exemplo de avaliação participativa foi um estudo realizado com os profissionais da Equipe de Saúde da Família (EqSF) e com os usuários da ESF para compreender como estes atores avaliavam a estratégia em suas múltiplas facetas (infra- estrutura de atendimento, organização da USF, política de recursos humanos, vínculo profissional-comunidade, capacitação profissional, sistema de referência e contra-referência, entre outras), tal como realizado por Oliveira (2006).
Neste estudo, a autora avaliou o PSF (como era denominado na época da realização da pesquisa) no município de João Pessoa, Paraíba, a partir das crenças de usuários e não-usuários daquele programa, bem como de profissionais da EqSF. Os resultados demonstraram que os usuários avaliavam positivamente o PSF no que se refere ao atendimento humano e diferente (prevenção e promoção da saúde) dos profissionais da EqSF, além da proximidade de casa e da distribuição de remédios gratuitamente. Em contrapartida, a pequena quantidade de profissionais (que implica em poucos atendimentos), o agendamento das consultas e a demora no encaminhamento para o médico especialista se constituem como aspectos negativos na avaliação dos usuários acerca do PSF.
Foi observado também que os profissionais da equipe avaliaram negativamente o PSF no tocante às condições de trabalho fornecidas pelos gestores, ao deficitário sistema de referência e contra-referência, à falta e/ou insuficiência de capacitações, a sobrecarga de trabalho e à falta de compreensão da população sobre o programa (Oliveira, 2006; Oliveira & Albuquerque, 2008). Não obstante, avaliavam positivamente o PSF principalmente no que se refere ao aumento do vínculo com a população e ao trabalho pautado em ideais de equidade e justiça social, que através de uma equipe multiprofissional desenvolvem estratégias
80 preventivas e promocionais. A autora afirma também que a observação da realidade sanitária das Unidades de Saúde da Família (USF) corroborou o discurso dos profissionais das ESF quanto às precárias condições de trabalho do PSF.
Oliveira (2006) ressaltou ainda que apesar de todos os entraves apontados na pesquisa, o PSF obteve um impacto positivo na saúde da população assistida, principalmente pelo fato desta estratégia de saúde ter sido implementada em áreas sem qualquer serviço voltado para a saúde da população. Contudo, ela alerta para a questão da eficácia do programa ser bastante minimizada pelo fato do PSF ser utilizado de maneira inadequada, tendo que suprir a deficiência da atenção básica de saúde municipal.
Um estudo atual realizado por Ronzani e Silva (2008) também versa na mesma direção dos estudos anteriormente citados: avaliar o Programa Saúde da Família segundo a percepção dos profissionais de saúde, gestores e usuários do programa. Os resultados mostraram que os profissionais da equipe de saúde demonstram insatisfação com a organização do PSF, que os gestores apontam para a educação, prevenção e assistência junto às famílias como os maiores benefícios do programa e que os usuários não veem o PSF como atendendo às suas necessidades. Os autores concluem, tal como Trad, Bastos, Nunes e Santana (2002), que os atores envolvidos na proposta do PSF (gestores, profissionais de saúde e beneficiários, neste caso) têm expectativas diferentes, o que pode afetar negativamente a efetividade do serviço.
A dissertação de Martins (2008) também segue neste mesmo delineamento de pesquisa. No intuito de acessar as crenças dos gestores municipais de saúde acerca do Sistema Único de Saúde (SUS) e de sua efetivação, a autora acessou as crenças de 21 gestores e 24 conselheiros municipais de cidades com características rurais da Paraíba. Apesar dos gestores entrevistados demonstrarem uma avaliação mais positiva do SUS que os conselheiros municipais; suas crenças referiam-se a uma assistência à saúde voltada para os pobres e que se limitava aos serviços de atenção básica. Estas crenças são incongruentes com os princípios
81 que regem o SUS e implica dizer que os gestores possuem crenças que não são condizentes com o que é preconizado pelo sistema de saúde brasileiro.
Desta forma, Martins (2008) sugeriu que as crenças dos gestores municipais de saúde entrevistados parecem contribuir para os entraves na operacionalização da saúde nas cidades de pequeno porte e, além disso, refletem na descontinuidade dos serviços de atenção à saúde nos quais não há articulação entre ESF e os demais níveis de assistência (média e alta complexidade). Para complicar a situação gerencial da saúde nestes municípios, a autora ainda encontrou que, nas cidades pesquisadas, a gestão do SUS está intimamente ligada a interesses pessoais e políticos de seus governantes em detrimento dos interesses e necessidades da população.
Diversos autores (Arretche, 2006; Carvalho, 2006; Contrandioupolus, 2000; Lobo, 2006) alertam para a necessidade de se inserir nas avaliações os atores que estão direta e indiretamente ligados aos programas sociais (beneficiários, prestadores de serviço, gestores), pois as variações de suas percepções podem ter influência relevante na consecução e aceitação do programa, assumindo desta forma um caráter metodológico que não pode ser negligenciado.
No caso desta tese, considerar os profissionais de saúde é de suma importância, pois suas crenças, seus valores e atitudes se constituem como formas de compreensão de sua realidade e podem desencadear reações comportamentais (positivas ou negativas) direcionadas à comunidade usuária, comprometendo a qualidade dos serviços de saúde.
Considera-se, neste momento, que a equipe que constitui a ESF é um dos pontos fortes que influenciam no êxito ou fracasso de uma estratégia deste naipe. Suas crenças sobre saúde preventiva, atitudes sobre a população, e os meios que dispõem para efetivar o seu trabalho, constitui-se de variáveis fundamentais para embasar a estruturação de uma estratégia que visa atender a população carente de modo preventivo.
82