Não pretendemos aqui nos estender em contextualizações histórico-sociais ou na explicação detalhadas de diferentes métodos, mas enfatizar a importância da escolha do método na avaliação de políticas públicas. Em verdade, reservamos este espaço do trabalho para compartilhar as dificuldades e possibilidades de superação a partir da escolha das estratégias, técnicas e instrumentos utilizados durante a pesquisa.
Nessa perspectiva decidimos por um método avaliativo que fosse aplicável a realidade do PRONASCI/Protejo, aos objetivos da pesquisa, mas sempre pensando nas novas tendências de avaliação em profundidade, discorridas por Carvalho (2008), que consideram a análise de conteúdo, o contexto do programa, a trajetória institucional e também o espectro temporal e territorial de análise. Isso aumentou a nossa responsabilidade de compreender o objeto de estudo, principalmente por entender que a avaliação de políticas e programas
“é uma prática coletiva cujos resultados devem servir para a mudança em programas em desenvolvimento e a introdução de novos programas sociais que, articulados a uma política macroeconômica de desenvolvimento sustentável, com produção e distribuição de renda, possa contribuir para a construção de uma sociedade mais justa e mais igualitária.” (SILVA E SILVA, 2008, p. 92).
Pensamos, então, em considerar nesta pesquisa avaliativa o Método Crítico Dialético uma vez que ele permite tanto articular diferentes procedimentos de investigação para desvendar a essência dos fenômenos como também se destaca pelo realce nas informações prestadas pelos diferentes sujeitos envolvidos no processo, privilegiando os usuários enquanto os maiores interessados (SILVA e SILVA, 2008, p.159-160).
Esta vertente avaliativa, segundo Maria Ozanira da Silva e Silva:
“...valoriza a análise crítica da política ou programa, busca os princípios e fundamentos teóricos-conceituais da política ou programa, considera os sujeitos e interesses envolvidos no processo; fundamenta-se em valorizar
78
as concepções sobre a realidade social partilhadas pelos sujeitos da avaliação (...); contrapõe a idéia de neutralidade, não percorrendo um caminho único, sendo o resultado da avaliação considerados parciais e questionáveis.” (SILVA e SILVA, 2008, p.159-160).
Assim como Silva e Silva (2008, p.161) pensamos que “toda avaliação é um ato político, mas também técnico”, e por isso tivemos alguns cuidados metodológicos para a aproximação do Método de avaliação crítico-dialético, a saber: a definição de referencial teórico conforme a temática do programa, identificação e consideração de variáveis contextuais, definição do foco do objeto da avaliação e compromisso com a publicização dos resultados da avaliação.
Quanto à publicização dos resultados da avaliação, nos comprometemos em encaminhar uma cópia da dissertação para a gestão municipal, Secretaria Nacional de Segurança Pública, e uma cópia para cada núcleo pesquisado, bem como nos disponibilizamos a divulgar a pesquisa em reunião com a Gestão Municipal do PRONASCI.
Por fim, reconhecemos nossos limites para desenvolver uma pesquisa mais ampliada e integrada com os outros projetos do PRONASCI em Fortaleza que iniciaram no mesmo período experimental do Protejo (2009/2010), e que, com certeza, trariam concepções diversificadas sobre o Programa, inclusive envolvendo uma parte de jovens com recortes específicos de gênero, como por exemplo, no Projeto Mulheres da Paz.
No entanto, acreditamos que conseguimos explorar com fidelidade os dados coletados dentro de nosso limite de recursos humanos, financeiro e de tempo. Reconhecemos ainda que há muito que explorar e que esta pesquisa avalia apenas um período de experimentação do PRONASCI/Protejo, dentro de um território específico, com um grupo de atores envolvidos em um determinado momento.
De todo modo, esperamos que seja útil para as partes interessadas em avaliação de programas e projetos sociais, lembrando que essa é apenas uma das possibilidades metodológicas, e que sempre se faz necessário algum tipo de ajuste.
Para melhor compreendermos o Método Avaliativo adotado nesta pesquisa, o sintetizamos no próximo quadro e o descrevemos em seguida.
79
QUADRO 7 – Método Avaliativo Adotado na Pesquisa
ASPECTO
AVALIATIVO ABORDAGEM TÉCNICAS E INSTRUMENTOS METODOLÓGICO REFERENCIAL
CONCEPÇÃO Qualitativa
PESQUISA DOCUMENTAL: Leis, Documentos e Guias do Ministério da Justiça. ANÁLISE: Análise de Conteúdo AVALIAÇÃO: Método Crítico-Dialético Ministério da Justiça GONDIM ROCHA e DEUSDARÁ SILVA E SILVA IMPLEMENTAÇÃO Quantitativa e Qualitativa ANÁLISE QUANTITATIVA: Dados Secundários - dados estatísticos dispostos nos relatórios de gestão
ANÁLISE QUALITATIVA:
Dos dados obtidos na observação de campo, entrevista, e grupos focais AVALIAÇÃO: Método Crítico-Dialético SHEIRER COSTA e CASTANHAR SILVA E SILVA RESULTADOS Qualitativa PESQUISA DE CAMPO: Grupo Focal ANÁLISE: Matriz FOFA AVALIAÇÃO: Método Crítico-Dialético GONDIM BRASILIANO SILVA E SILVA
Sobre a Avaliação da Concepção do PRONASCI/Protejo –
A avaliação de concepção veio como estratégia de averiguação dos pressupostos teóricos (conceitos chave) do desenho original de orientação para aplicação do PRONASCI/Protejo pela gestão municipal, verificando sua compreensão da intervenção estatal sobre a realidade dos jovens envolvidos com a violência. Para isso, utilizamos técnica como análise de conteúdo, que facilitou no comparativo crítico entre o conteúdo desenhado, a prática da gestão e as informações de pesquisa obtidas com os jovens.
Para a avaliação de concepção foi necessário, primeiramente, fazer uma revisão dos documentos oficiais disponibilizados pelo Ministério da Justiça (legislação, relatórios locais do PRONASCI/Protejo), para deste modo identificarmos os principais conceitos adotados nesses textos e, portanto, compreender a construção e repercussão dessa política pública. Neste processo destacamos os seguintes conceitos: “segurança pública”, “território de paz”, “violência e juventude”, “enfrentamento a violência”, “envolvimento comunitário” e “Prevenção a Violência”.
80
Este procedimento, com base na técnica análise de conteúdo, nos permitiu em seguida relacionar e/ou confrontar os conceitos dispostos nos documentos oficiais da política do PRONASCI/Protejo com o entendimento e aceitação da população-alvo (jovens) e da equipe de gestão.
A escolha da técnica análise de conteúdo se deu porque pensamos alcançar uma significação mais aprofundada sobre o Programa em questão, na busca por um sentido mais estável, numa análise de diferentes temas e suas modalidades de aparição, percebendo a reprodução e disseminação desse conteúdo na prática, na realidade (ROCHA e DEUSDARÁ, 2005).
Avaliar a concepção do PRONASCI/Protejo pela técnica de análise de conteúdo nos proporcionou compreender melhor a complexidade de significações presentes por trás do conteúdo organizacional, oriundos de produções de sentidos articulados e relacionados a interesses diversos: individuais, setoriais e institucionais.
Sobre a Avaliação de Implementação do PRONASCI/Protejo –
A avaliação da implementação teve como perspectiva analisar o processo de consecução do PRONASCI/Protejo em consonância com as diretrizes legais e os guias que o orientam. Nesta etapa, nos limitamos a avaliar os processos de desenvolvimento do PRONASCI/Projeto a partir dos seus componentes: “as estratégias, atividades, comportamentos, formas de comunicação [divulgação] e tecnologias necessárias para implementação do Programa, bem como a especificação dos beneficiários em que se dá a implementação” (COSTA e CASTANHAR, 2003, p.983).
Conforme orientações de Scheirer (apud COSTA e CASTANHAR, 2003, pp.983- 984), a avaliação de implementação se deu a partir de três componentes: (a) beneficiários pretendidos, (b) contexto institucional e (c) forma de execução.
Sobre os „beneficiários pretendidos’ avaliamos as características sócio- demográficas estruturadas a partir dos focos etários e territoriais desenhados pelo o PRONASCI/Protejo. Desse modo, o perfil dos jovens foi traçado a partir da faixa etária, nível de renda, gênero, área específica do território, complementando com o nível de escolaridade e a noção de inserção destes jovens no mundo do trabalho. Outro item avaliado neste componente se refere aos requisitos de elegibilidade, ou seja, critérios de acesso ao Programa como vulnerabilidade e risco social, vínculo institucional com/ou egresso da medida socioeducativa.
81
Quanto ao componente „contexto institucional’ avaliamos o tipo de relação com as instituições/organizações envolvidas na execução do PRONASCI/Protejo com enfoque na infraestrutura, bem como a identificação de vínculos com as organizações sociais comunitárias disponíveis no Território do Grande Bom Jardim (setor privado, organizações comunitárias e equipamentos públicos).
Na perspectiva de avaliação do componente „forma de execução’, nos detivemos no processo de estruturação, nos mecanismos e instrumentos utilizados quanto: ao planejamento, à capacitação oferecida, e avaliação e monitoramento realizados pela equipe. Nesse primeiro ano de experiência do PRONASCI/Protejo em Fortaleza também registramos os sucessos, os problemas, limites e desafios da implementação a partir da hierarquização de resultados obtidos. Para isso foram elencados os fatores positivos e negativos organizacionais e processuais que nos permitiram construir a Avaliação de Resultados.
Sobre a Avaliação de Resultados do PRONASCI/Protejo –
Para adentrarmos no processo de Avaliação de Resultados preferimos utilizar a “matriz fofa”, uma ferramenta capaz de identificar os fatores de risco, bem como os fatores facilitadores do projeto. A Matriz FOFA20, comumente empregada no meio empresarial, é
uma ferramenta gerencial utilizada pelos gestores estratégicos para identificar os pontos fracos, fortes, oportunidades e ameaças do contexto empresarial. Hoje, ela é também se mostra adequada à realidade do terceiro setor e setor público. Segundo Brasiliano (2008), sua função inicial é de identificar os fatores de risco e os facilitadores mais comuns, os mais perigosos e os que possuem mais influência dentro de um contexto de um determinado Projeto ou Programa.
Nesta pesquisa, a utilização da Metodologia FOFA não teve a pretensão de definir o grau - enquanto nível - da eficácia no PRONASCI/Projeto, mas sim, uma avaliação da eficácia para servir como um instrumento que facilita a estruturação do pensamento, da análise e avaliação dos resultados da pesquisa. Ela tem a funcionalidade de possibilitar ao gestor a necessidade de rever caminhos, remodelar situações, indicando quais os fatores que necessitam ser tratados com melhor atenção no processo de desenvolvimento de um Programa/Projeto (BRASILIANO, 2008).
82
Quadro 8: Matriz FOFA.
Fonte: Brasiliano e Associados. In http://www.brasiliano.com.br/blog/?p=377
Após a identificação dos gargalos e dos sucessos, retratamos de forma sintética a situação em que se encontra o PRONASCI/Projeto, nos seus aspectos positivos internos (Fortalezas), negativos internos (Fraquezas), limites externos (Ameaças) e possibilidades externas (Oportunidades).