O público da avaliação foi claramente identificado (Questão 1) conforme matriz de planejamento e relatório final. Verificou-se a consulta e utilização de fonte de informação como relatórios de instituições federais; por exemplo, o Ministério do Trabalho e Emprego – MTE, Relatórios internos do Prodetur/NE; Associação Brasileira da Indústria de Hotelaria – ABIH; Pesquisa Nacional por Amostra de Domicílio – PNAD; estudos desenvolvidos pelo Banco Nacional de Desenvolvimento Econômico e Social - BNDES; Banco Interamericano de Desenvolvimento - BID, Instituto de Pesquisa Econômica Aplicada - IPEA; Universidade Federal do Ceará – UFCE; Planos de Desenvolvimento Integrado de Turismo Sustentável da 1ª e 2ª fase do Prodetur/NE. O público consultado foram os gestores das Unidades Executoras Estaduais e os Conselheiros dos Pólos de Turismo por meio de questionários. Nesse sentido, Woodside e Sakai (2001) destacam a necessidade de programas de marketing e turismo federais coletarem dados diretamente com consumidores, clientes, competidores, fornecedores, empresas de marketing e públicos do turismo. Sugerem também o mapeamento dos demais Stakeholders envolvidos (mercados, indústria, clientes e competidores), o que pode permanecer como sugestão para futuras auditorias da organização nessa área.
Considerando-se todos os resultados da ANOP e pontuações nos demais critérios do
Joint Committee, a equipe de auditoria não possuía treinamento adequado suficiente para realizar a auditoria (Questão 2).
Na fase de planejamento da auditoria houve participação de consultores externos (Questão 3), foram consultados técnicos e dirigentes do Ministério do Turismo, IPEA, Centro de Excelência em Turismo da Universidade de Brasília (CET/UnB), Secretaria Federal de Controle Interno (SFCI), Secretaria de Assuntos Internacionais (SEAIN), Ministério do Planejamento, Orçamento e Gestão (MPOG) e Banco do Brasil (BB) na fase de planejamento da auditoria e um especialista na área de ocupação produtiva e renda (Brasil, 2003b).
Quanto à Questão 4, as informações coletadas possuíam alcance suficiente para entender o funcionamento do programa. Porém, as informações coletadas foram parcialmente suficientes para refletir os objetivos da avaliação (Questão 5). De acordo com Brasil (2003b, p. 14), a auditoria teve como objetivos investigar as seguintes questões:
a) Os investimentos do Prodetur/NE I contribuíram para a melhoria dos indicadores socioeconômicos da região?
b) O Prodetur/NE II contempla ações com vistas a mitigar os impactos ambientais observados no Prodetur I e evitar a ocorrência de novos?
c) A estrutura organizacional, nos três níveis de governo, e a atuação dos conselhos de turismo são adequadas para a implantação do Programa?
d) Os custos financeiros a que estão sujeitos os submutuários são adequados? O Prodetur/NE (1ª fase) investiu 5% do valor de suas despesas em estudos (Brasil, 2003b; porém, não produziu estudos sobre impactos ambientais do programa e indicadores. Conforme informações da auditoria, “Os trabalhos de auditoria sofreram restrições impostas pela inexistência de indicadores ambientais de desempenho e inexistência, ou baixa confiabilidade das informações ambientais dos PDITS, Planos de Desenvolvimento Integrado de Turismo Sustentável (Brasil, 2003b, p. 16). Mesmo utilizando o delineamento de séries temporais para o estudo do Prodetur/NE, a auditoria esteve sujeita a ausência de dados para responder de forma válida as questões (a) e (b) das perguntas de auditoria. Na tentativa de resposta ao impacto socioeconômico, buscou-se informação de fontes secundárias, dados intersetoriais, “uma vez que o turismo possui elevada relação com outros setores da economia” (Brasil, 2004a, p. 28), e da utilização da matriz de insumo-produto, com dados sobre emprego e renda. “Esse modelo fundamenta-se no equilíbrio entre oferta e demanda agregadas e leva em conta a importância das atividades econômicas dentro de um espaço econômico definido (país, região ou estado)”. A auditoria utilizou também um trabalho
acadêmico patrocinado pela Embratur, dados da Relação Anual de Informações Sociais – RAIS e Pesquisa Nacional por Amostra de Domicílio – PNAD, a partir dos quais fez algumas projeções que se mostraram favoráveis à elevação dos níveis de emprego e renda no período do Programa. Entretanto, conforme reconhecido pela própria auditoria “qualquer transposição dos seus resultados para o Nordeste seria temerária” (Brasil, 2003b, p. 30). Nesse sentido, é interessante a observação de Woodside e Sakai (2001), de que raramente as auditorias são planejadas e implementadas de forma que não confirmem as crenças positivas existentes sobre o programa.
As técnicas de análise de dados foram explicitadas claramente (Questão 6) e anexadas no relatório de planejamento.
O programa foi descrito claramente (Questão 7), a equipe de auditoria o descreveu por meio de normas, documentos internos e legislação. A descrição foi detalhada o suficiente para facilitar a compreensão do programa.
O relatório descreveu parcialmente o contexto do programa (Questão 8). Uma vez que o contexto do atual programa de turismo não foi totalmente investigado, embora, tenha sido citado em Brasil (2004a, p. 27) que:
[...] os agentes econômicos (hotéis, restaurantes, bares, agências de turismo, empresas de transporte rodoviário e aéreo, empreendimentos recreativos) passam a perceber que a infra-estrutura posta à disposição do turista melhorou e assim sentem-se estimulados a investir na região, ampliando a oferta turística, tanto de bens e serviços específicos quanto dos relacionados.
Verificou-se que não foram coletadas informações diretamente junto a esses agentes econômicos. De acordo com Woodside e Sakai (2001), a auditoria pode incluir métodos objetivos e subjetivos para identificar diferentes visões da realidade e do contexto. As estratégias avançadas de marketing turístico incluem uso e manutenção de banco de dados com endereços, nomes, telefones dos clientes, sistemas on line com informações para realizar os cruzamentos das preferências dos clientes com ofertas turísticas. Os autores destacam que os programas federais de marketing e turismo raramente utilizam firmemente essas estratégias.
O relatório descreveu claramente os objetivos do programa (Questão 9), que foram apresentados tanto no relatório de planejamento quanto no relatório de auditoria. Os objetivos do Prodetur/NE 1ª e 2ª fase foram:
Prodetur/NE I
Reforçar a capacidade da Região Nordeste em manter e expandir sua crescente indústria turística, contribuindo para o desenvolvimento socioeconômico regional. O Programa pretende prover de infra-estrutura básica e serviços públicos a áreas atualmente de expansão turística e onde a capacidade do Estado não acompanha a demanda por tais serviços; os investimentos beneficiarão principalmente a população de baixa renda das áreas selecionadas. Com a melhoria das condições das áreas turísticas, busca-se também atrair atividades turísticas privadas adicionais e de melhor padrão, gerando assim oportunidades de emprego e aumento dos níveis de renda e das receitas públicas (Brasil, 2003b, p. 2).
Prodetur/NE II
A sustentabilidade dos investimentos realizados na primeira fase do programa, de forma a prioriza ações complementares aos projetos já financiados, segundo três componentes fundamentais: fortalecimento da capacidade municipal para a gestão do turismo; planejamento estratégico, treinamento e infra-estrutura para o crescimento turístico; e promoção de investimento do setor privado (Brasil, 2003b, p. 2).
O relatório descreveu parcialmente os procedimentos metodológicos da auditoria (Questão 10); uma vez que foi citado em Brasil (2003b, p. 17):
[...] os dados coletados foram analisados por meio dos seguintes métodos: análise de séries temporal, análise qualitativa de dados, análise de conteúdo das entrevistas e grupos focais, Benchmarking, análise comparativa, e tabulação de questionários e entrevistas estruturadas (Brasil, 2003b, p. 17).
Nesse sentido, são necessárias três observações. Primeiro, na revisão de literatura de Woodside e Sakai (2001), não foi encontrada aplicação nos delineamentos das auditorias, de grupos de controle e grupos de pessoas expostas ao programa, para comparar o grupo de tratamento ao grupo de controle. Confirmou-se, dessa forma, que tais pesquisas avaliativas carecem de evidências válidas sobre os programas. Não se tomou nenhum cuidado para evitar erros. Segundo, a referência à análise de série temporal, foi realizada para demonstrar o crescimento médio da população ocupada no turismo no Nordeste e no Brasil não no Nordeste, no período de 1992 a 2001, com dados do IBGE/IPEA, ou seja, fonte de dados
secundários e sem cruzamento com dados produzidos pelo próprio Programa. E, terceiro, não há referências diretas com citações, aos resultados das entrevistas, por meio da análise de conteúdo.
O relatório descreveu claramente os resultados da auditoria (Questão 11). Pode-se verificar tais resultados através da apresentação de textos, análises estatísticas descritivas (percentuais, totais) dos indicadores de desempenho e gráfico de barras da série temporal de crescimento médio da população ocupada no turismo. Embora não seja uma pergunta direta da auditoria, foram analisados dados em relação à questão do gênero dos trabalhadores na área do turismo, com base nos dados da PNAD, embora “Assim, como nas análises anteriores, não se pode atribuir esse comportamento ao Prodetur” (Brasil, 2003b, p. 35).
O relatório descreveu parcialmente as conclusões da auditoria (Questão 12). Nas conclusões houve ênfase na afirmação que os impactos socioeconômicos não poderiam ser atribuídos ao Prodetur/NE I, o que foi explicitado pela ausência de dados que deveriam ser produzidos pelo programa no período.
Entretanto, há um aspecto que não foi esclarecido: ao contrário do que foi afirmado na segunda pergunta de auditoria no relatório de planejamento: “O Prodetur/NE II contempla ações com vistas a mitigar os impactos ambientais observados no Prodetur I e evitar a ocorrência de novo?” (Brasil, 2003b, p. 14). Tem-se como resposta no relatório final: “Constata-se que o Prodetur/NE I não provocou impactos ambientais significativos” (Brasil, 2004a, p. 39) e mais adiante no mesmo relatório, nas conclusões se lê,
Verifica-se, ainda, que o passivo ambiental contemporâneo ao programa não pode ser atribuído exclusivamente ao Prodetur/NE I. Nesse sentido, os PDITS dos pólos de turismo e a opinião dos conselheiros convergem no sentido de que o passivo ambiental relevante da região foi provocado pela dinâmica socioeconômica local
(Brasil, 2004a, p. 61).
Não pareceu claro se o programa, na primeira fase, produziu impacto ambiental ou não. A conclusão se tornou dúbia, à medida que foi formada a partir da opinião dos conselheiros, conforme demonstrado em Brasil (2004a, p. 40), no gráfico de “Modalidades de passivo ambiental gerados nas áreas de investimento do Prodetur/NE I”, com base nos questionários respondidos pelos Conselheiros de turismo e não com base em um estudo de impactos ambientais. Apesar dessa inconsistência, as demais descrições de conclusões foram claras e cuidadosas. Por exemplo, no aspecto polêmico da inexistência da avaliação de impacto
ambiental por parte do Ministério do Turismo e que impossibilitou a verificação desse aspecto na auditoria, lê-se:
Constata-se, entretanto, que, apesar da exigência contratual, o Ministério do Turismo não demonstra disposição para realizar avaliação ambiental estratégica para a região, em razão da complexidade, do elevado custo financeiro, da grande dimensão da região, da ausência de consultoria especializada no assunto e do longo tempo demandado para a realização (Brasil, 2004a, p. 61).
Quanto à justificativa das recomendações a serem adotadas pelo programa (Questão 13), verificou-se que foram apresentadas de forma clara no relatório final.
A auditoria identificou as posturas dos diferentes grupos de interesse no programa (Questão 14), mas não considerou como participantes da pesquisa, conforme comentado na questão 1.
Os recursos da avaliação (tempo, dinheiro e funcionários) foram adequados para a realização das atividades previstas (Questão 15), pois não foram descritas limitações pela equipe de auditora nesse sentido. No relatório de planejamento, encontram-se descritos o plano de visitas em sete Estados, custo do planejamento da auditoria, execução e relatório. Ressaltou–se ainda que “[...] o custo da auditoria (R$271 mil) representa 0,03% (três centésimos por cento) do valor total do Programa (3 milhões)”, (Brasil, 2003b, p. 18).
Os procedimentos de coleta de informação foram descritos com clareza (Questão 16). Os instrumentos (questionários enviados para unidades executoras estaduais UEEs, Conselheiros de Pólos de Turismo e roteiro de entrevista com UEEs) encontravam-se nos apêndices do relatório de planejamento.
Os instrumentos e procedimentos para a coleta de informações foram parcialmente válidos (Questão 17), já que foram elaborados com base em conhecimentos sobre o programa e auxílio de técnicos do Ministério do Turismo. Entretanto, não há indicação de uso de instrumentos similares utilizados na área, como o instrumento de Porter, sugerido por Woodside e Sakai (2001), ou outro, mesmo considerando que a auditoria consultou literatura acadêmica sobre o assunto.
Adotaram-se parcialmente medidas para assegurar o mínimo de erros na coleta de dados (Questão 18), uma vez que, dos 411 questionários enviados, retornaram 218 e não foi relatada a existência de dados nulos ou extremos na amostra, ou descrição da análise estatística realizada que permita conhecer a margem de erro da análise.
Quanto às Questões 19 e 20 sobre análise quantitativa e qualitativa, foi realizada parcialmente; principalmente em relação à análise de conteúdo não transparece claramente nos textos do relatório final. Por fim, os benefícios do Prodetur/NE I foram demonstrados por meio de fonte de dados secundários, com apresentação de gráficos de barras, gráfico de pizza e tabela.
5. Programa de Desenvolvimento Sustentável de Recursos Hídricos para o Semi-Árido