Ao serem indagados quanto aos indicadores mais importantes para o processo de avaliação, ficou evidente a dificuldade encontrada pelos entrevistados
em pontuar claramente quais se destacam por sua importância. Para a “Pessoa A”, “[...] a força do indicador depende da proposta do PDI” e foi além: “[...] o indicador é mais forte ou mais fraco dependendo da realidade [...]” da instituição, estabelecida conforme seu plano de desenvolvimento. “Os objetivos do PDI são críticos na determinação dos indicadores mais críticos para a instituição”, remetendo à subjetividade da avaliação devido às diferenças entre instituições de ensino do país. “Indicadores devem ser derivados das 10 dimensões [...]”, mas não devem ser limitados ao roteiro da avaliação externa: “A tendência é que a evolução dos instrumentos siga o modelo do roteiro de avaliação do curso”.
Além do roteiro para a avaliação do curso, apontam para outros instrumentos de avaliação, como o ENADE e o censo da educação superior. A “Pessoa A” apontou o ENADE como sendo um instrumento importante para diagnosticar a instituição: “[...] quando ele [o questionário do ENADE] está falando de laboratório, tá falando de infraestrutura, quando está falando de plano de ensino, está falando da dimensão pedagógica”. A “Pessoa B” concordou quanto à importância do ENADE, mas admite riscos associados ao uso do ENADE como fonte de indicadores, corroborado pela a “Pessoa C”. Relatando sua visão da participação dos alunos da instituição no ENADE, “Pessoa C” descreveu um relacionamento adversário entre o aluno e a instituição, em que o aluno “[...] nem sempre responde o ENADE de boa fé”. A “Pessoa B” indica que alunos frequentemente boicotam o ENADE: “isso acontece demais”. Esse boicote foi descrito pela “Pessoa B” como a ausência da prova ou “[...] entregar a prova em branco [...]” ou responder a prova de qualquer forma. Essa atitude dos alunos traz consigo o óbvio reflexo negativo à avaliação da instituição, causando distorções impactantes na percepção da instituição pela comunidade “[...] é dar um tiro no pé. Tem uma pressão imensa sobre as [instituições] particulares, fazer isso é dar um tiro no pé”, relatando que cada vez mais o mercado observa o resultado de avaliações do MEC para selecionar candidatos a emprego.
Para a “Pessoa C”, muitos dos dados sobre a instituição contidos no ENADE deveriam ser retirados do censo da educação superior, realizado anualmente pelo INEP: “[...] tudo que eles perguntam está no censo”. A “Pessoa A” também aponta o censo como sendo uma fonte de indicadores importante: “Eu posso saber tudo sobre
a instituição pelo censo, o que ela tem, o que ela não tem, se tem laboratório, tudo pelo censo”.
Mas do ponto de vista da importância de indicadores como diagnosticadores da qualidade do ensino, a avaliação externa dá pistas para a seleção de indicadores. O MEC dá um peso relativo para cada uma das 10 dimensões da avaliação externa do SINAES, e para a “Pessoa B”, esse peso aponta essa importância: “A dimensão 2 é muito forte” com respeito ao peso relativo 30 da dimensão no contexto geral da avaliação. Outras dimensões se destacam por possuir um peso relativo mais alto, entre elas a dimensão 7, relativa à infraestrutura e a dimensão 3, relativa à responsabilidade social da IES.
“Pessoa B” lembra que, na avaliação externa, existem dois tipo de questão: um tipo é de cunho objetivo, com quantidades específicas conhecidas estabelecidas no roteiro de avaliação “[...] tem alguns elementos que já tem medidas, por exemplo a biblioteca tem um tamanho aceitável, há uma métrica. Avaliação de recursos, número de professores, há alguns aspectos que são mensuráveis.” Existem outros indicadores que são de cunho relativo, ligado diretamente aos objetivos definidos no PDI. Para esses indicadores não há uma métrica definida por lei, mas uma percepção de qualidade com base na realidade e na proposta definida pela instituição.
Aqui a “Pessoa B”, o avaliador, pergunta: “[...] como está sendo a aplicação dos planos no tocante ao ensino, pesquisa e extensão”? Para isso é necessário acompanhar uma medida de progresso ao longo do tempo. A “Pessoa B” indica que a evolução nas ações, número de participações em atividades e ações, como estágios, atividades de extensão e a razão entre a população educacional e atividades de pesquisa e extensão podem ser medidas.
A “Pessoa C” vê várias medidas interessantes do ponto de vista acadêmico- pedagógico: “[...] se eu tivesse um relatório mostrando as dificuldades, o que realmente [o professor] fez, o que não deu pra fazer [...] o plano de ensino, se foi cumprido ou não”. Esse tipo de mensuração auxiliaria a gestão das turmas de uma forma mais ampla, não só pelo professor, mas também pela coordenação do curso, que poderia “[...] analisar as atividades do curso, se o plano de ensino está sendo
cumprido [...]”. Esse tipo de medida, na opinião da “Pessoa A” fomentaria a emancipação institucional, que é um dos objetivos do SINAES, tornando o professor um “gestor do seu processo de ensino”. “Estamos falando de formação. A formação pedagógica do docente [...] estamos falando da formação do professor como gestor do conhecimento de sua sala de aula e de seu processo”.
A “Pessoa C” indicou outras medidas interessantes além do andamento do plano de ensino, como a carga horária dedicada para a extensão em cada curso, o rendimento acadêmico dos alunos (“[...] a nota dos alunos também precisam ser acompanhadas [...]”) e o resultado das avaliações de larga escala, além da participação de alunos nas semanas acadêmicas, sugerida pela “Pessoa A”.
Quanto à responsabilidade social da instituição, atividades de extensão são seara natural para medir o impacto da instituição na sociedade para a “Pessoa B”: “Quais ações de extensão foram realizadas pela instituição de ensino”?
A “Pessoa C” também entende que a responsabilidade social pode ser medida por meio da avaliação dos atendimentos realizados pelo núcleo de atendimento a discentes portadores de necessidades especiais, cujo papel é integrar o aluno portador de necessidades especiais (PNE) à vida acadêmica.
A perspectiva da comunidade externa e do egresso da instituição são outros indicadores pontuados pela “Pessoa B” como sendo uma medida de qualidade potencialmente interessante: “[...] os empregadores, como eles percebem o egresso da instituição e a visão do egresso, porque ele vai relatar as dificuldades que ele encontra no mercado”.
Finalmente, outro aspecto importante no processo de avaliação é a sanidade financeira da instituição. A “Pessoa B” pergunta “[...] qual a reserva que a instituição tem para realizar os investimentos propostos no PDI”? Para a “Pessoa B”, uma instituição pode propor um investimento no seu PDI, mas uma avaliação das condições financeiras da instituição pode demonstrar que ela não terá condições de realizar o investimento proposto.