2 Festivals and tourism – a symbiotic relationship?
2.3 Festivalisation categories
“Avaliar é fixar o valor de uma coisa; para ser feita, se requer um procedimento
mediante o qual se compara aquilo a ser avaliado com um critério ou padrão
determinado”. (FRANCO, 1971 P. 03).
Após expor e discutir o objeto, os objetivos e a metodologia do Projeto Rio 2016, pretendo neste capítulo, entender como o processo de avaliação é planejado e conduzido pela equipe. A intenção é compreender até que ponto o processo avaliativo é valorizado nesta política, verificando os instrumentos de avaliação definidos, a periodicidade da avaliação, os tipos de avaliação e, principalmente, o que é avaliado.
Em Projetos Sociais a avaliação deve apresentar percentual seguro de confiabilidade, sua validade exigirá que os instrumentos utilizados meçam realmente o que se tentará medir.
Para entender esta etapa da política em análise, utilizarei como fonte de informação e coleta de dados a PT e os relatórios de avaliação produzidos entre fevereiro de 2011 e maio de 2012.
5.1- Da Teoria à Prática: o que diz e o que faz o projeto a respeito da avaliação
Para iniciar a análise a respeito dos procedimentos de avaliação adotados pelo Projeto entendo que, inicialmente, faz-se necessário compreender como este enxerga e organiza esta etapa em seu documento normativo.
Nesta seção, pretendo expor a metodologia de avaliação adotada pelo Projeto, conforme explica a PT e então, confrontar esta metodologia com a aplicação dos procedimentos avaliativos utilizados na prática, para assim verificar se, primeiramente, a avaliação vem sendo feita como se julgou, no momento da elaboração do Projeto, apropriada
e, se a forma como o processo vem sendo executado tem de fato contribuído para a adequação e manutenção da metodologia do Projeto.
De acordo com a PT (2012, p. 54), a avaliação do Projeto deve se dar de forma conexa com o resto do Projeto, não devendo ser concebida como atividade isolada e autossuficiente.
“Estará fazendo parte do processo de planejamento e desenvolvimento do projeto, gerando
uma retroalimentação que permitirá possibilidades de retificar ações e reorientá-las.”
Desta forma, a avaliação do projeto Rio 2016 se compõe de duas etapas: avaliação de processo e avaliação de resultados.
Utilizando-se dos conceitos de Marino (2003) para fundamentar os dois modelos de avaliação escolhidos, a PT (2012, p. 54) explica que a avaliação de processo compreende “o monitoramento contínuo das atividades e a reflexão frequente sobre as dinâmicas interna e externa da equipe responsável, isto é, as relações entre os membros da equipe e sua interação com o público beneficiário.” Enquanto que a avaliação de resultados “é a análise dos benefícios proporcionados aos participantes durante ou após a implementação do projeto”.
A PT informa que a avaliação processual se dará mensalmente, a fim de se acompanhar seu desenvolvimento na linha do tempo, atribuindo à equipe de supervisão a função protagonista do processo, visto que os coloca como responsáveis pela coleta dos dados desta ação.
Já avaliação de resultados deve se realizar a cada semestre, visando investigar se os objetivos traçados estão sendo alcançados e o quão relevante tem sido os impactos na vida do público beneficiário. Esta etapa relaciona-se diretamente com os indicadores estabelecidos para medir os objetivos.
O Projeto entende que, para esta fase da avaliação, “é muito importante que toda a equipe colabore e seja ativa para que os resultados coletados sejam fidedignos e provenientes
de observações técnicas e ao mesmo tempo contextualizadas” (PT, 2012 p. 55).
Para a avaliação processual a PT (2012, p. 56), orienta os procedimentos obedecendo ao seguinte fluxo:
O primeiro passo, a coleta de dados pelos supervisores, deve ocorrer mensalmente. Estes dados devem ser fornecidos aos supervisores pelos integradores de núcleo, nas reuniões mensais, através do preenchimento e entrega das fichas de inscrição, de chamada e de alunos por faixa etária e sexo, assim como a grade de horários do núcleo e o plano de curso do professor. Algumas informações também são coletadas a partir dos questionários aplicados pelos supervisores durante as visitas aos núcleos e a partir do Relatório Geral de Visitas, que descreve o funcionamento do núcleo no momento de cada visita.
Os dados então são passados ao Coordenador de Supervisão, que consolida as informações dos questionários e as encaminha para o Coordenador de Avaliação e Controle, que, junto à sua equipe, analisa as informações gerando relatório analítico com parecer técnico.
O relatório e parecer são entregues então ao Coordenador Geral, que, precisa validá- los e entregá-los aos responsáveis oficiais pelo Projeto – gestores da SEEL. Havendo a aprovação de ambos pelos gestores, a Coordenação pode providenciar as intervenções necessárias nos núcleos, procurando ajustar a metodologia e orientar as ações vindouras, e as informações obtidas no relatório podem ser divulgadas na mídia em geral.
Também foi gerado um fluxograma para orientar o processo de avaliação de resultados (PT, 2012, p. 57):
A consolidação dos resultados se daria a partir da revisão dos relatórios do semestre. Os dados devem ser analisados pelo Coordenador de Avaliação e Controle e equipe e organizados em um único documento a ser entregue à Coordenação Geral que deve validá-lo e encaminhá-lo aos responsáveis pelo Projeto. A partir da aprovação do relatório, as informações podem ser divulgadas.
Em capítulos anteriores foi explicado que o Projeto possui déficits em seu quadro de pessoal, ou seja, alguns cargos previstos pelo organograma da PT não são ocupados. O cargo de Coordenador de Avaliação e Controle é um deles e, no caso dos Supervisores de Núcleos, não se tem a quantidade necessária para o número de núcleos implantados.
Isto gera problemas para a execução da avaliação de processo e de resultados. Tratando inicialmente da avaliação processual, já no primeiro passo, a falta de supervisores para todos os núcleos faz com que procedimentos diferentes sejam adotados para coletar e tratar os dados.
No caso dos núcleos não supervisionados, os integradores devem entregar as fichas direto à equipe de Coordenação, em reunião mensal realizada com a mesma. Os dados destas fichas, que deveriam ser tratados pelos supervisores, são tratados pela equipe de monitoramento e controle. Isto provoca um imenso acúmulo de trabalho, gerando atraso na elaboração do relatório, já que, enquanto cada supervisor precisa tratar os dados de
aproximadamente 14 núcleos, a equipe de monitoramento e controle, que deveria receber as informações já tratadas e apenas unificá-las, precisa tratar os dados de mais de 200 núcleos e depois unificá-los aos dados dos demais núcleos do Projeto já tratados pelos supervisores.
A inexistência do Coordenador de Avaliação e Controle compromete a fase de análise dos dados e elaboração do parecer. Assim, após a consolidação das informações fornecidas pelos instrumentos de avaliação do Projeto, o Coordenador de Supervisão as entrega à Assessoria Técnica que organiza estruturalmente o relatório em um único documento. A análise técnica e a emissão do parecer são realizados pelo Coordenador Geral.
No caso da avaliação semestral, aquela que mede os resultados, a consolidação dos dados é feita pela equipe de monitoramento e controle sob a coordenação do Assessor Técnico, que organiza os dados em um relatório único. Também neste caso é o Coordenador Geral quem acaba realizando a análise e emissão do parecer técnico.
A PT também informa quais os critérios adotados para ambas as avaliações, designando os indicadores de avaliação e a periodicidade da análise.
Os quadros abaixo, retirados da PT (2012, p. 57 e 58), arrolam tais critérios:
Quadro 43 - Indicadores de avaliação de processo
Comparando os indicadores selecionados pela PT para a avaliação de processo e os relatórios mensais do Projeto, tem-se que todos os indicadores, exceto o percentual de frequência, o número de talentos identificados e o número de alunos por modalidade, são medidos. Os indicadores que deveriam ser verificados a cada três meses o são mensalmente e, alguns outros indicadores não expostos no quadro acima, são mensurados.
A não verificação de alguns indicadores se dá pela dificuldade de tratamento e coleta de determinadas informações. Ocorre que, a equipe disponível para tratar os dados é proporcionalmente insignificante se considerada a quantidade de informação obtida. Neste caso, o percentual de frequência, por exemplo, torna-se impossível de mensurar.
Já quanto à adição de indicadores, à variação de indicadores já existentes e à modificação na frequência da análise, estes são procedimentos naturais no processo de avaliação dos Projetos e não constituem problemas ou falhas. A conduta avaliativa deve se ajustar às necessidades geradas pela rotina do Projeto.
Os indicadores avaliados a mais são:
Número de municípios contemplados pelo Projeto;
Número de núcleos por mesorregiões recomendados x número de núcleos por
mesorregião implementados;
Investimento mensal53 ;
Modalidades oferecidas por núcleo;
Quantidade de modalidades olímpicas, não olímpicas e paralímpicas oferecidas; Percentual de núcleos para Pessoas com Deficiência;
Percentual de frequência dos integradores em reunião geral e por mesorregião; Percentual de entrega dos instrumentos de avaliação por núcleo;
Número de núcleos implementados em comunidades pacificadas;
Número de alunos por sexo e faixa etária em núcleos implantados em comunidades
pacificadas;
Modalidades oferecidas por núcleos implementados em comunidades pacificadas; Número de núcleos implementados em Complexos Esportivos sob a gestão da SEEL;
Número de alunos por sexo e faixa etária em núcleos implantados em Complexos
Esportivos sob a gestão da SEEL;
Modalidades oferecidas por núcleos implementados em Complexos Esportivos; Número de núcleos contemplados com material esportivo;
Quantidade de material distribuído por item; Nível de satisfação do usuário;
Número de Supervisores presentes em reunião de supervisão;
Número de supervisores que entregaram questionários aplicados no prazo; Número de supervisores que entregaram os dados tratados no prazo; Número de supervisores que entregaram o ranking de núcleos no prazo;
Número de supervisores que entregaram o Relatório Geral de Supervisão no prazo; Índice de qualidade dos serviços prestados pelos núcleos (Ranking).
Vê-se que a avaliação processual realizada pela equipe contempla inúmeros fatores, proporcionando uma visão completa sobre a forma como o Projeto vem se comportando. Ressalta-se, ainda, que informações qualitativas são adicionadas a fim de ilustrar as informações quantitativas. Desta forma, são elaborados mapas e acrescentadas informações que especificam e detalham os dados.
Quanto à avaliação de resultados o que se faz, é a junção das informações colhidas nos meses em quadros que as unifiquem, possibilitando a comparação dos indicadores a cada mês.
A avaliação de resultados elaborada para o Rio 2016 exige a mensuração de indicadores que navegam em águas de dimensões muito mais profundas quando se considera as análises qualitativas. Esbarra-se, neste momento, em obstáculos ligados às dificuldades de análise de questões como estas em um Projeto com tamanha envergadura territorial e, principalmente, à ausência de profissionais qualificados para promover este tipo de avaliação.
A não realização dos encontros de capacitação previstos também interfere diretamente neste processo. Como exigir que as pessoas executem ações e desenvolvam propostas que elas nunca foram sequer informadas que deveriam fazer?
Por isso, não se verifica, por exemplo, o número de atividades intergeracionais desenvolvidas ou o número de talentos identificados.
É válido, ainda, comentar que as ressalvas relacionadas ao desenvolvimento do olimpismo não foram consideradas pela equipe de elaboração do Projeto para a construção do conjunto de indicadores que compõem a avaliação, seja de processo, seja de resultados.
Por fim, pode-se afirmar que a ausência de controle de alguns indicadores mais tem a ver com problemas originários no desenvolvimento e aplicação da metodologia do Projeto e que, logicamente, vem impactar no processo de avaliação.
De qualquer forma, é necessário deixar claro que, apesar de obter o Projeto um relatório completo para a avaliação de processo, que permite à equipe o acompanhamento de sua saúde, os indicadores que podem atestar ou não o sucesso do Projeto em relação às transformações sociais que ele se compromete a provocar, aquelas transcritas em seus objetivos, não podem ser mensurados devido aos inúmeros entraves aqui comentados. Isto, por si só, pode comprometer a legitimidade e a confiabilidade do Projeto enquanto proposta de intervenção social, já que comprova falhas significativas no desenvolvimento de sua proposta metodológica.
5.2- Como são obtidos os dados: análise dos instrumentos de avaliação
Sabendo como o Projeto entende e orienta a sua cadeia avaliativa, pretendo aqui, investigar seus instrumentos de avaliação, a fim de compreender como organiza a coleta dos dados e verificar se há coerência entre os indicadores selecionados para a avaliação e a sistematização dos instrumentos criados para permitir sua mensuração.
Pretendo, ainda, verificar se tais instrumentos são realmente aproveitados ao máximo, considerando a possibilidade que têm para fornecer informações e o quanto dessas informações é tratado pela equipe de coordenação.
Iniciarei pela exploração dos instrumentos que devem ser preenchidos pelos colaboradores da ponta do processo, aqueles que atuam nos núcleos.
São eles: ficha de inscrição; ficha de chamada, ficha de quantitativo de alunos por
O projeto possui dois tipos de Ficha de Inscrição. Um é utilizado para inscrever menores de 18 anos e o outro para inscrever os maiores. Vejamos, a seguir, quais as informações contidas nestas fichas54:
54 As fichas apresentam frente e verso. Optei por não mostrar o verso de ambas por crer que não interfere no processo de avaliação. Tratam-se de informações que são passadas ao participante no momento da sua inscrição. Ou seja, não são colhidas informações para o Projeto, mas passadas ao participante.
Primeiramente, é preciso esclarecer que as fichas de inscrição são defendidas pela PT como instrumentos metodológicos e não de avaliação. Minha opção por ilustrá-los aqui se Quadro 46 - Ficha de inscrição para maiores de 18 anos
deve ao fato de terem elas informações que poderiam potencializar as possibilidades de análise da intervenção do Projeto.
Para esclarecer, vê-se que as informações colhidas nas duas fichas dizem respeito à identificação, contato e estado geral de saúde dos alunos. Ocorre que estas últimas podem servir para mensurar o impacto da atividade física no estado geral de saúde e qualidade de vida dos beneficiários, principalmente os idosos.
Para tal, seria necessário confrontar as informações obtidas no momento da inscrição com aquelas fornecidas, em outro momento, pelos alunos através de questionários para mensuração destas questões em específico.
Obviamente, viu-se aqui, a partir de toda a exploração da proposta contida na PT, que lidar com o estado de saúde dos alunos não tem a ver com os objetivos traçados pelo Projeto. Ainda assim, por ser esta uma temática intrinsecamente relacionada à prática da atividade física e esportiva, entendo que seria pertinente – ainda que não obrigatória – a sua mensuração.
Justifica-se assim, a não utilização destes instrumentos enquanto artefatos avaliativos, mas somente para provar, em prestações de contas, que os alunos que se diz que são atendidos realmente o são. Tanto que só são entregues à Coordenação as partes superiores das fichas, aquelas cujas informações se repetem após a linha pontilhada. Entende-se que a anamnese do aluno deve ficar no núcleo, facilitando a adoção de medidas e providências caso algum aluno sofra qualquer tipo de emergência.
As Fichas de Chamada são descritas pela PT como instrumentos metodológicos e avaliativos. Como se verá abaixo, tais fichas não trazem nenhuma informação diferente de qualquer outra ficha de chamada, além no nome dos alunos e o registro da participação dos mesmos:
O indicador de percentual de frequência dos alunos deveria ser analisado a partir dos registros feitos pelos professores da participação de seus alunos. Nenhum outro instrumento poderia fornecer as informações necessárias para avaliar tal indicador.
Como já discutido, tal indicador não é verificado pela equipe, devido à falta de pessoal para tratar os dados. De acordo com os relatórios mensais, o Projeto tem em média, 2.250 professores. Não se sabe quantas turmas cada um deles possui, mas, como precisam cumprir 10 horas por semana, espera-se que possuam pelo menos duas turmas. Se cada um possuísse duas turmas, seriam 4.500 turmas, ou seja, 4.500 fichas de chamada para serem analisadas todos os meses. É desnecessário comentar que este é um volume inviável de ser analisado por duas pessoas (equipe de monitoramento e controle).
O próximo instrumento a ser analisado é considerado pela equipe de coordenação o mais importante para o processo de avaliação do Projeto. A Ficha de Quantitativo de Alunos
por Sexo, Faixa Etária e Modalidade permite verificar quantos alunos são atendidos
considerando o sexo, a faixa etária, a modalidade e a mesorregião. Lembro que a variável pertinente à modalidade não é apurada pela equipe, apesar de estar facilmente disponibilizada no instrumento, como se pode verificar abaixo:
A importância atribuída a este documento se deve ao fato de ser através dele que a equipe conhece o número de alunos atendidos pelo Projeto.
O fato de não serem tabulados os dados relacionados à modalidade, tem a ver com uma escolha da equipe sobre a forma de apresentação dos dados. Como a planilha utilizada para digitar e apurar as informações é limitada em relação às possibilidades de cruzamento dos dados, optou-se por extrair dela apenas as informações relacionadas ao sexo e faixa etária. Quanto às modalidades, expõe-se nos relatórios um gráfico que informa quantos núcleos oferecem cada modalidade.
O próximo instrumento nunca foi utilizado durante o período analisado. Trata-se da ficha de encaminhamento ao Programa Bolsa Atleta. Sua inutilidade não espanta, uma vez que desde que a PT foi implementada, o Programa Bolsa Atleta, como já mencionado, não abriu vagas para novos atletas.
Nota-se que a ficha permite saber quais e quantos atletas teriam sido encaminhados e ainda se teriam sido aceitos.
Além destes, outros instrumentos também foram criados para mensurar os resultados e monitorar o desenvolvimento das ações previstas. Estes, já citados nesta pesquisa, são os questionários preenchidos e aplicados pelos supervisores de núcleo. São eles: Ficha de
Avaliação do Núcleo – Administrativo; Ficha de Avaliação do Núcleo – Técnico; e Ficha de Satisfação do Usuário.
A Ficha de Avaliação do Núcleo – Administrativo, se propõe a verificar questões relacionadas à infraestrutura e ao funcionamento das atividades.
Para iniciar a análise desta ferramenta, bem como das outras utilizadas pelos supervisores, é necessário entender que estas eram preenchidas no momento em que a visita era realizada pelo supervisor. Ou seja, os instrumentos eram como fotografias de um determinado momento daquele núcleo.
Logo, se o núcleo era visitado em um horário onde apenas uma das modalidades estivesse acontecendo, os registros diriam respeito àquilo que ocorria durante o desenvolvimento daquela modalidade, naquele momento.
Isto, por um lado, enfraquece a capacidade que o instrumento tem de fornecer dados que traduzam a realidade do núcleo de forma imediata, sendo necessário um conjunto de questionários, ao longo do tempo, para se fazer uma leitura um pouco mais acurada do cotidiano do núcleo, o que pode levar meses. Por outro lado, o elemento surpresa na aplicação do questionário – os colaboradores do núcleo nunca sabem quando ocorrerá a visita do supervisor – pode permitir que os registros sejam mais próximos da realidade.
Ou seja, se as condições climáticas ou demais eventualidades em geral, poderiam permitir o registro de aulas fracassadas sem que estas fossem regulares no núcleo, o fator surpresa poderia permitir o registro do fracasso real.
Para minimizar este efeito – negativo – a Coordenação de Supervisão passou a orientar os supervisores de núcleo que analisassem as fichas de chamada dos professores antes de preencher ao questionário, permitindo uma visão geral das atividades do núcleo. É ainda confrontado o número de alunos inscritos com o número de alunos presentes no momento da visita. Esta é uma iniciativa interessante, pois permite, a longo prazo, verificar se o número de alunos que o núcleo afirma que tem é compatível com o número de alunos que frequenta as aulas.
A avaliação se dá a partir da quantificação do desempenho do núcleo nos itens verificados. Para cada item, o núcleo pode atingir o mínimo de zero ponto e o máximo de 4