Para seleção dos casos, cabe inicialmente delimitar o objeto a ser estudado nesta pesquisa, ou seja, as avaliações de programas governamentais no Brasil.
No âmbito da administração pública federal, a denominação programa − como instrumento de organização das ações de governo − é restrita aos programas integrantes do Plano Plurianual, conforme estabelecido no Decreto n. 4.052 de 13/12/2001.
Desta forma, os casos a serem selecionadas dizem respeito exclusivamente às avaliações de programas governamentais realizadas ou que estejam sob a responsabilidade dos órgãos públicos federais, cuja unidade de estudo tenha sido os programas de governo, conforme estabelecido pelo Decreto n. 4.042/2001 e definido nos normativos que orientam a elaboração dos orçamentos públicos federais.
Assim, após a realização do levantamento de informações na base de legislação, nos sítios eletrônicos do Ministério do Planejamento Orçamento e Gestão, dos órgãos de controle – CGU e TCU -, e do IPEA, constatou-se que esses órgãos realizam avaliações de programas de forma sistemática, sendo que:
a Secretaria Federal de Controle Interno/CGU as executa por intermédio das fiscalizações e auditorias;
97 o TCU, mediante as auditorias operacionais;
a Secretaria de Planejamento e Investimentos Estratégicos/MPOG, em cumprimento às normas legais que impõem a avaliação anual dos programas do Plano Plurianual;
a Secretaria de Avaliação e Gestão da Informação/MDS, em atenção à política de monitoramento e avaliação daquele Ministério;
o IPEA, em cumprimento as suas competências legais.
Tais ações referem-se a avaliações externas, executadas por avaliadores que não integram as organizações responsáveis pela implementação dos programas, mesmo no caso do MDS, cujas avaliações são realizadas por entidades contratadas para esse fim.
Desta forma, considerando o tempo disponível para a realização desta pesquisa, que não permitiria aprofundar o estudo de todas as avaliações identificadas, optou-se por selecionar, inicialmente, as avaliações realizadas pela SPI/MPOG, SEPROG/TCU, SFC/CGU e SAGI/MDS, considerando que já haviam informações disponíveis, nos próprios sítios eletrônicos, sobre as sistemáticas adotadas para realização desses trabalhos, favorecendo a solicitação dos dados e informações necessários ao desenvolvimento desta pesquisa.
Em atenção às solicitações formuladas a esses órgãos foram disponibilizados os dados primários das avaliações de programas realizadas por intermédio dos questionários aplicados pela SPI nos exercícios de 2004 a 2007, além dos relatórios de avaliação, manuais de avaliação e demais orientações que se encontram disponíveis no sítio eletrônico do Ministério do Planejamento Orçamento e Gestão. Também foram disponibilizadas as avaliações e toda a documentação disponível em meio magnético relativa aos trabalhos realizados pela SEPROG/TCU, no mesmo período (2004-2007), bem como os manuais e demais documentos técnicos que dispõem sobre a estratégica metodológica utilizada para a realização dos estudos avaliativos.
Quanto aos dados e informações das avaliações realizadas pela SFC/CGU e pela SAGI/MDS, em que pese o interesse desses órgãos em colaborar com este trabalho, os dados e a documentação relativos às avaliações por eles realizadas não foram apresentados em tempo para análise, considerando, ainda, a limitação do prazo para conclusão desta pesquisa, que inviabilizou a reiteração das solicitações formuladas.
98 Desta forma, os casos foram selecionados entre as avaliações de programas realizadas pelo Tribunal de Contas da União e as avaliações dos programas do PPA 2004- 2007 realizadas pelo Ministério do Planejamento Orçamento e Gestão.
Assim, as avaliações de programas foram definidas como unidade de análise para realização dos estudos de casos múltiplos e os padrões de avaliação como subunidades de análise a serem testadas com vistas à replicação dos casos.
Sobreleva mencionar, no entanto, que a lógica da análise dos casos múltiplos será realizada considerando, apenas, a replicação dos casos por órgão (PPA/SPI e TCU). Não será realizada análise transcaso das avaliações selecionadas para estudo, em razão da limitação de prazo para conclusão dos trabalhos.
3.3.1 – Da Seleção das Avaliações do TCU
No período 2004-2007, foram realizados 36 trabalhos de auditoria operacional, na modalidade avaliação de programas, coordenadas ou com a participação da Secretaria de Fiscalização e Avaliação de Programas do TCU (QUADRO 29).
Inicialmente, foram intencionalmente selecionadas 12 avaliações dentre as 36 realizadas (QUADRO 18), de forma a possibilitar a consulta ao maior número de avaliações conduzidas por diferentes coordenadores, auditores seniores, no período examinado, o que favoreceria a análise da qualidade e credibilidade das avaliações do TCU conduzidas por diferentes profissionais desse órgão.
Os coordenadores das auditorias são responsáveis pela condução do processo de avaliação, orientando, com o apoio do supervisor, todas as atividades desenvolvidas ao longo do planejamento, execução e elaboração dos relatórios das auditorias operacionais.
99
Exercício Programas Selecionados
2004 Ação Assistência Financeira para Aquisição e Distribuição de Medicamentos Excepcionais Programa Combate ao Abuso e Exploração Sexual de Crianças e Adolescentes
2005
Programa Segurança Fitozoossanitária de Produtos Agropecuários Programa Segundo Tempo
Ações de Fiscalização e de Acompanhamento de Ingressos de Terras Indígenas Programa Nacional de Erradicação da Hanseníase
Programa Doação Captação e Transplante de Órgãos e Tecidos Programa Manutenção de Hidrovias
Programa Governo Eletrônico
2006 Programa Desenvolvimento Sustentável da Aquicultura
Ação Levantamentos Hidrogeológicos do Programa Geologia do Brasil 2007 Auditoria Operacional na Funasa (Coordenada pela Seprog em parceria) QUADRO 18 - AVALIAÇÕES DE PROGRAMAS SELECIONADAS – TCU
Para definir os casos a serem estudados, foi encaminhado, em meio eletrônico, para os 12 coordenadores, convite para que participassem desta pesquisa, respondendo ao questionário elaborado para avaliação da observância dos padrões de avaliação definidos pelo Joint Committee on Standards for Educational Evaluation, constante do Apêndice. No entanto, só foram obtidas respostas ao convite para 7 avaliações. Desta forma, os casos selecionados do TCU para o desenvolvimento deste estudo foram as 7 avaliações relacionadas no QUADRO 19.
Avaliações Pesquisadas Respondentes
Ação Assistência Financeira para Aquisição e Distribuição de Medicamentos
Excepcionais Coordenador e Supervisor
Programa Combate ao Abuso e Exploração Sexual de Crianças e Adolescentes Coordenador Ações de Fiscalização e de Acompanhamento de Ingressos em Terras Indígenas Coordenador Programa Doação Captação e Transplante de Órgãos e Tecidos Coordenador
Programa Manutenção de Hidrovias Coordenador
Programa Desenvolvimento Sustentável da Aqüicultura Coordenador e Supervisor Ação Levantamentos Hidrogeológicos do Programa Geologia do Brasil Coordenador QUADRO 19 - RELAÇÃO DAS AVALIAÇÕES EXAMINADAS E RESPECTIVOS RESPONDENTES
3.3.2 – Da Seleção das Avaliações de Programas do PPA/SPI/MPOG
No que diz respeito às avaliações dos programas do PPA 2004-2007, preliminarmente, procedeu-se a análise das avaliações dos programas constantes do Plano, mediante a identificação e quantificação dos programas avaliados no período selecionado para exame, tendo sido identificados 419 programas. Desse total, foram selecionados os programas avaliados durante os quatro exercícios, tendo-se identificado 232 programas. Desse conjunto,
100 selecionou-se uma amostra não estatística de programas, cujo exame das avaliações permitisse verificar, por intermédio da evolução do desempenho e dos resultados, as melhorias e aperfeiçoamentos que poderiam indicar a utilização das avaliações para o alcance dos objetivos originalmente estabelecidos. Adotou-se como critério para escolha desses programas, o programa de maior materialidade por órgão, desde que houvesse mais de um programa sob a responsabilidade de um mesmo órgão. Como resultado, foram selecionados os 26 programas relacionados no QUADRO 20.
Órgão Responsável Programas PPA 2004-2007 Selecionados
PR Democratização do Acesso à Informação Jornalística, Educacional e Cultural SEDH Direitos Humanos, Direitos de Todos
SPM Prevenção/Combate à Violência Contra as Mulheres MAPA Abastecimento Agroalimentar
MCT Nacional de Atividades Nucleares
MF Desenvolvimento do Sistema Financeiro Nacional MEC Universidade do Século XXI
MDIC Desenvolvimento do Comércio Exterior/ e da cultura Exportadora
MJ Combate à Criminalidade
MME Atuação Internacional na Área de Petróleo MPS Previdência Social Básica
MRE Relações do Brasil com Estados Estrangeiros
MS Atenção Hospitalar e Ambulatorial no Sistema Único de Saúde TEM Integração das Políticas Públicas de Emprego, Trabalho e Renda MT Manutenção da Malha Rodoviária Federal
MC Aprimoramento dos Serviços Postais
MinC Engenho das Artes
MMA Recursos Pesqueiros Sustentáveis MPOG Recenseamentos Gerais
MDA Agricultura Familiar - PRONAF ME Esporte e Lazer na Cidade
MD Serviço de Saúde das Forças Armadas MIN Pro-água Infraestrutura
MTur Turismo no Brasil: Uma Viagem para Todos MDS Transferência de Renda com Condicionalidades
Mcidades Descentralização dos Sistemas de Transporte Ferroviário Urbano de Passageiros QUADRO 20 - PROGRAMAS SELECIONADOS DO PPA 2004-2007 PARA EXAME DAS AVALIAÇÕES