O sistema de avaliação da PG no Brasil foi implantado pela CAPES, em 1976 (BRASIL, 2012a). Seus principais objetivos são:
• estabelecimento do padrão de qualidade exigido dos cursos de mestrado e doutorado e identificação dos cursos que atendem a tal padrão;
• fundamentação, nos termos da legislação em vigor, dos pareceres do Conselho
Nacional de Educação sobre autorização, reconhecimento e renovação de reconhecimento dos cursos de mestrado e doutorado brasileiros − exigência legal para que possam expedir diplomas com validade nacional reconhecida pelo Ministério da Educação;
• impulsionamento da evolução de todo o sistema nacional de pós-graduação e de cada programa em particular, antepondo-lhes metas e desafios que expressam os avanços da ciência e tecnologia na atualidade e o aumento da competência nacional nesse campo;
• contribuição para o aprimoramento de cada programa de pós-graduação, assegurando-lhe o parecer criterioso de uma comissão de consultores sobre os
pontos fracos e fortes de seu projeto e desempenho e uma referência sobre o estágio de desenvolvimento em que se encontra;
• colaboração para o aumento da eficiência dos programas no atendimento às necessidades nacionais e regionais de formação de recursos humanos de alto nível;
• fornecimento ao país de um eficiente banco de dados sobre a situação e
evolução da pós-graduação;
• oferecimento de subsídios para a definição da política de desenvolvimento da
pós-graduação e para a fundamentação de decisões sobre as ações de fomento dos órgãos governamentais na pesquisa e pós-graduação.
De acordo com Brasil (2010), nas últimas décadas, dois sistemas de avaliação foram criados. O primeiro, vigente desde de 1976 até 1997, apresentava a classificação dos cursos em escala conceitual alfabética de “A” a “E”, sendo os de escala “A” aqueles considerados de padrão internacional. A partir de 1997, passou a vigorar a escala numérica de 1 a 7, sendo considerados os cursos de padrão internacional apenas aqueles cujas notas são classificadas com conceitos 6 e 7.
O sistema de avaliação vigente abrange tanto os processos realizados para a avaliação de novos cursos como de cursos já existentes, por meio de avaliações trienais e anuais, conduzidas por comissões de consultores das 46 áreas do conhecimento, formadas por professores e acadêmicos reconhecidos por sua reputação intelectual (BRASIL, 2010b; BRASIL, 2012a).
Spagnolo e Souza (2004) apontam algumas características que merecem ser destacadas quanto ao processo de avaliação realizado pela CAPES:
• o caráter externo da avaliação: os avaliadores são externos tanto em relação ao
programa avaliado como em relação à própria CAPES;
• o caráter comparativo da avaliação: todos os programas de uma determinada
• avaliação conduzida por pares: os cursos são avaliados por professores de cursos
correlatos à área avaliada, e não por especialistas em avaliação.
Conforme já comentado anteriormente, e ratificado por Brasil (2010), essa Fundação Pública avalia apenas a pós-graduação stricto sensu, voltada para a formação de profes- sores e pesquisadores, com o doutorado no topo e o mestrado na base, seja o acadêmico ou o profissional. Quanto à pós-graduação lato sensu, seu modelo de avaliação ocorre fora do sistema CAPES, com números mais grandiosos, se levado em conta o quantitativo de cursos, docentes e discentes que fazem parte desse sistema, porém sem crivo formal de qualidade.
De acordo com Maccari et al. (2008), a partir de 1998, em um esforço para aumentar a inserção internacional da PG stricto sensu brasileira, o sistema CAPES passou a avaliar os programas e não somente os cursos individualmente. Esse sistema de avaliação tem seus critérios − de atribuição de notas aos programas − divulgados pela CAPES, de forma clara e objetiva, por meio da internet. De acordo com as informações mais recentes divulgadas pela CAPES em sua página na internet, foi elaborado no quadro 12 um resumo com os critérios utilizados para a atribuição de notas para os programas da área de administração, contabilidade e turismo, no triênio 2004-2007.
Os critérios apresentados no quadro 12 são utilizados pela CAPES para a avaliação dos programas selecionados, a partir da análise de cinco quesitos, a saber:
• proposta do programa; • corpo docente;
• corpo discente, teses e dissertações; • produção intelectual;
Quadro 12 − Critérios utilizados pela CAPES para avaliação de programas da área de administração, contabilidade e turismo (triênio 2004-2007)
Critérios Nota 3 Nota 4 Nota 5 Nota 6 Nota 7
Proposta Adequada Adequada Adequada Adequada Adequada
Corpo docente Regular Bom Bom Muito
bom
Muito bom
Produção intelectual Regular Bom Muito
bom
Muito bom
Muito bom
Avaliação global Regular Bom Muito
bom Muito Bom Muito bom Docentes permanentes1 − − 10% 20% 40% Produção bibliográfica definitiva2
− − > 5 pontos > 5 pontos > 5 pontos
Inserção internacional3 − − − Sim Sim
Produção internacional4 − − − 25% 40%
Programa com doutorado (titulação nos últimos 5 anos)
− − − Sim Sim
Fonte: Brasil (2012d). 1
Percentual dos docentes permanentes classificados como bolsistas de produtividade em pesquisa no CNPq ou como coordenadores de projetos de pesquisa financiados por agências de fomento ao ensino e pesquisa, externas à IES, de nível estadual, nacional ou internacional; 2 Produção bibliográfica qualificada definitiva (artigos publicados em periódicos, livros e capítulos de livros) de, no mínimo, seis pontos anuais, em média, por docente permanente); 3 Convênios internacionais ativos com resultados evidenciados; professores visitantes de universidades estrangeiras reputadas como de primeira linha; intercâmbio de alunos com universidades estrangeiras (em ambos os sentidos); participação na organização de eventos internacionais, no Brasil ou no exterior; e participação em comitês e diretorias de associações internacionais; 4 Pelo menos, 25% dos docentes permanentes com artigos publicados em periódicos internacionais A ou B, no triênio.
Cada um desses quesitos possui pesos em sua avaliação, que variam de acordo com a modalidade e as áreas dos programas avaliados. No caso dos programas da área de administração, contabilidade e turismo, na modalidade de cursos acadêmicos, os pesos ficam distribuídos da seguinte maneira:
• proposta do programa (0%); • corpo docente (20%);
• produção intelectual (35%); • inserção social (10%).
Além disso, cada quesito tem sua avaliação desdobrada em diferentes itens, que também recebem pesos específicos, dependendo da sua relevância para o programa que está sendo avaliado. Toma-se como exemplo o quesito produção intelectual, que na modali- dade e nos programas da área acima referenciados, são desdobrados em três itens:
• publicações qualificadas do programa por docente permanente;
• distribuição de publicações qualificadas em relação ao corpo docente
permanente do programa;
• produção técnica, patentes e outras produções consideradas relevantes, cujos
pesos são 55, 30 e 15%, respectivamente.
Cada um desses itens será avaliado com o conceito em cinco níveis, definido como muito bom, bom, regular, fraco ou deficitário. A combinação da avaliação dos diferen- tes itens de cada um dos quesitos irá resultar no conceito global do programa, que seguirá os critérios descritos no quadro 12.
Embora não seja interessante neste momento, sob o ponto de vista dos objetivos desta pesquisa, descrever em detalhes o processo de avaliação da pós-graduação no Brasil, foi relatado, de maneira resumida, seus principais critérios e itens analisados, para que seja possível entender quais são os elementos considerados mais relevantes no momento da avaliação de um programa.
Ainda que esse sistema esteja estabelecido há mais de 35 anos, com regras e procedimentos aceitos pela maioria da comunidade acadêmica brasileira, a CAPES entende que novas mudanças são necessárias. Na divulgação do Plano Nacional de Pós- Graduação (PNPG) para o período 2011-2020, Brasil (2010) aponta para a necessidade de um sistema de avaliação que busque, dentre outras questões, uma melhor comparação de cursos e programas nacionais com outros internacionais de referência, para a classificação de programas de excelência avaliados com notas 5, 6 e 7. Além
disso, atenta para a incorporação de parâmetros que incentivem a formação de parcerias com o setor extra-acadêmico. O documento ainda alerta para o fato de que será preciso criar mais de um sistema de avaliação e depurar diferentes critérios de teor acadêmico e não acadêmico, ajustados para as diferentes situações e necessidades, como no mestrado profissional.
É com o objetivo de preencher algumas dessas lacunas, que este trabalho propõe uma nova perspectiva de se avaliar a educação superior no Brasil, sob a ótica de seus principais ativos e analisando os elementos que lhe geram valor tanto aos olhos dos atores internos como daqueles externos ao curso ou programa avaliado.