Targets

O Exame Nacional de Desempenho de Estudantes (ENADE) constitui-se uma outra dimensão do SINAES; é constituído por uma prova diagnóstica, um questionário das impressões dos alunos sobre a prova, um questionário do estudante e um questionário do coordenador do curso. Após a aplicação, os resultados desses instrumentos são cruzados para que então o curso receba uma avaliação final.

Para o nosso estudo, utilizamos o relatório do Curso que demonstra o desempenho dos alunos na prova como também o questionário do estudante (a

avaliação discente). Esse questionário envolve o perfil socioeconômico dos estudantes e a opinião dos estudantes a respeito do ambiente acadêmico onde estão inseridos.

Pelo SINAES, a cultura de avaliação deve ser assentada na concepção de que o seu propósito primordial seria o de melhorar o ensino e a aprendizagem. Nesse sentido, entende-se que o seu modo instrucional deveria ser esquecido, passando a focar o seu modo formativo em que o sujeito (aluno) é participativo e sabe reconstruir o conhecimento com autonomia.

A avaliação passa a assumir diversos sentidos dentro de uma mesma instituição ou departamento. De acordo com Fernandes (2009, p.22),

Usam a avaliação para monitorar o progresso dos alunos, avaliar o currículo e proceder a seu refinamento, introduzir correções no processo de ensino, melhorar as aprendizagens, orientar e motivar os alunos ou preparar atribuições de classificações.

O que constatamos, na realidade, é que o SINAES acaba por compatibilizar duas visões, duas culturas de avaliação, acreditando, assim, que haja a necessidade de articular as funções da avaliação formativa com as da avaliação somativa (classificatória). No que se refere à avaliação externa, além da avaliação de cursos (ACG), existe, também, aquela destinada a aferir os conhecimentos e competências dos alunos ingressantes e concluintes dos cursos de graduação – o ENADE.

Para compreender melhor esse contexto, achamos importante fazer uma análise do questionário socioeconômico desses alunos. Assim, com essas informações, podemos ir além do rankeamento e da nota que os alunos obtêm no referido exame. Buscaremos aqui mostrar as tendências gerais mais evidentes em relação ao perfil desses alunos do curso de biomedicina, por meio desse questionário.

Nas questões referentes aos meios de comunicação utilizadas pelos alunos, (100%) dos ingressantes e (85,7%) dos concluintes raramente leem jornal e apenas (14,3%) leem jornal diariamente. Sobre livros, apenas (28,6%) dos concluintes leem livros técnicos e (42,9%) lêem obras literárias de ficção. Os alunos ingressantes não responderam a essa questão. Todos os ingressantes (100%) responderam que o meio mais utilizado por eles para se manter atualizados acerca dos acontecimentos do

mundo contemporâneo é a Tv, (57,1%) dos concluintes também utilizam-no. Perguntados sobre a frequência com que utilizam a biblioteca da universidade, (100%) dos ingressantes e (71,4%) dos concluintes responderam que a utilizam com muita frequência e (28,6%) dos concluintes restantes responderam que a utiliza com razoável frequência.

O ENADE não se constitui, apenas, por notas; ele permite que se conheça melhor o aluno. E a partir daí, compreender o que pode estar contribuindo ou não para a qualidade do ensino, como por exemplo: o uso da internet, leitura de jornais e revistas, se trabalha ou não, sua renda familiar, tipo de escola que estudou durante o ensino básico.

O ENADE trouxe algumas mudanças na sua avaliação de caráter classificatório em relação ao antigo Provão. Com o ENADE, temos a presença da aplicação de conhecimentos gerais no exame; o uso dos estudantes antes por amostragem, agora com o total; e a inclusão de novos índices como o CPC28, o IDD29 e o IGC30, o questionário socioeconômico e as aprecições sobre a prova respondida por alunos e coordenadores dos cursos.

Desempenho dos alunos do curso de Biomedicina no ENADE: Verificando a qualidade com base na quantidade

O curso de Biomedicina participou do ENADE nos anos de 2006 e 2007. No primeiro ano, o curso obteve a nota Sem Conceito (SC); essa nota se deu pelo fato de ser um curso novo na UFRN e não havia concluintes ainda, apenas os ingressantes participaram, dificultando, assim, fazer a média para a nota final. No ano seguinte, em 2007, o curso de Biomedicina participou, novamente, do ENADE (segundo ciclo da avaliação) sendo que, dessa vez, com ingressantes e concluintes participantes. O curso obteve a nota máxima, 5. O primeiro ciclo do ENADE se deu entre os anos de 2004 a 2006 e o segundo ciclo entre os anos de 2007 a 2009; durante cada ciclo, o ENADE

28 _{Conceito Preliminar do Curso;}

29 _{Índicador de Diferença do Desempenho;} 30 _{Índice Geral do Curso.}

avalia os cursos em suas diferentes áreas; de três em três anos o ENADE avalia cursos de ciências da saúde, agrárias, sociais, jurídicas, engenharias e licenciaturas.

A prova diagnóstica contém questões discursivas e objetivas em formação geral e de componentes especificos; ela visa aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares, às suas habilidades e às competências para compreender temas exteriores ao âmbito de sua profissão.

No período em que os alunos do Curso de Biomedicina participaram do ENADE, o peso era amostral e, consequentemente, estendido para o total de estudantes ingressantes e concluintes da instituição. Atualmente, o ENADE é censitário, ou seja, todos os estudantes habilitados e inscritos pela IES são submetidos ao Exame.

Assim, tendo como base o processo avaliativo do SINAES em sua globalidade é verificado, também, o desempenho dos estudantes de modo quantitativo. Para isso, foram calculadas as estatísticas básicas da prova como um todo e separadamente de formação geral e de componente específico, considerando se o aluno é ingressante ou concluinte. A seguir, temos o quadro estatístico com o tamanho da população, da amostra, número de presentes, média, erro-padrão, mediana, nota mínima e nota máxima.

Quadro 2 Desempenho dos estudantes em Formação Geral e Componente Específico da prova do ENADE/2007

ENADE Instituição UFRN Brasil

Ingressantes Concluintes Ingressantes Concluintes

Tamanho da população 30 20 6684 2370 Tamanho da amostra 17 20 4367 1649 Número de presentes 12 20 3695 1561 Resultado Geral Média 54.7 66.8 33.1 44.3 Erro-padrão da media 1.9 2.2 0.1 0.3 Desvio-padrão 10.6 9.6 10.9 14.1 Mediana 56.3 68.7 32.1 43.7 Mínimo 33.1 44.9 0.0 0.0 Máximo 71.6 80.1 80.4 86.0 Formação Geral Média 70.3 71.1 48.6 53.0 Erro-padrão da media 2.2 2.8 0.2 0.4 Desvio-padrão 12.3 12.5 17.5 18.0 Mediana 71.5 72.5 48.5 54.0 Mínimo 40.5 53.0 0.0 0.0 Máximo 92.0 100.0 98.0 100.0 Componente Específico Média 49.5 65.4 27.9 41.3 Erro-padrão da media 2.0 2.6 0.1 0.3 Desvio-padrão 10.9 11.7 10.8 14.6 Mediana 51.5 66.6 26.8 40.7 Mínimo 30.6 30.8 0.0 0.0 Máximo 67.9 81.9 81.6 85.5 Fonte: (BRASIL, 2007).

Observamos que do total, o curso apresenta uma população de 30 ingressantes e 20 concluintes. Foram selecionados para a amostra 17 alunos ingressantes e 20 concluintes, sendo que, apenas, 12 dos ingressantes estavam presentes. Em nível nacional, o tamanho da população dos estudantes de biomedicina engloba um total de 6.684 ingressantes e 2.370 de alunos concluintes. A respeito do resultado geral, a média para a instituição foi maior do que a média nacional; os ingressantes da UFRN obtiveram 54.7 enquanto que a média brasileira foi de apenas 33.1. Para os concluintes não foi diferente, já que os alunos da UFRN chegaram a uma média de 66.8; já em nível nacional, os estudantes obtiveram 44.3 de média.

Com relação à formação geral, nas questões comuns a todos os cursos, os alunos – ingressantes e concluintes – da instituição (UFRN) obtiveram nota superior se

comparar a média e o erro padrão com o resultado nacional. Podemos observar que a nota média dos concluintes foi maior na instituição (71.1) que no Brasil (53.0). A nota média dos estudantes ingressantes foi 70.3 na instituição, e 48.6 no Brasil: há uma diferença de 21.7 pontos entre os dois. Percebemos, ainda, que, de modo geral, os alunos concluintes acrescentaram apenas 0.8 em sua formação geral, o que indica que o curso contribuiu, timidamente, para a formação dos seus alunos voltada para o lado mais humanístico e crítico-social.

Para os componentes específicos, a nota média dos concluintes foi maior na instituição (65.4) que no Brasil (41.3). A nota média dos estudantes ingressantes foi (49.5) na instituição e (27.9) no Brasil: há uma diferença de 21.6 pontos entre os dois.

Após alguns anos de aplicação do ENADE passaram a surgir algumas dúvidas acerca desse processo e uma delas foi de que o exame foi incapaz de distinguir se os alunos saem bem da IES porque já eram bons antes de entrar, ou se a instituição ofereceu um ensino de qualidade. Para tentar descobrir o quanto a instituição de ensino ajudou o universitário, foi criado o IDD - Indicador de Diferença de Desempenho (observado e esperado).

O IDD tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entendemos que essas informações são boas aproximações do que seria considerado efeito do curso (BRASIL, 2007).

Para se chegarmos a esse resultado, o cálculo se faz da seguinte forma: A nota utilizada no cálculo foi a média geral do curso, composta pela média ponderada das notas de formação geral – FG e de conteúdo específico – CE, com pesos de 0,25 e 0,75, respectivamente. Após o cálculo, o IDD foi padronizado, subtraindo-se a média dos cursos e dividindo pelo desvio padrão das médias dos cursos por área e passou a variar, de modo geral, entre -3 e +3.

No estudo do Curso de Biomedicina-UFRN, verificamos que o IDD alcançado foi de 1,39, um resultado positivo e que significa que o desempenho dos estudantes concluintes está acima do valor médio esperado para o curso (tomado como base, para isso, o perfil dos ingressantes).

Por meio do relatório divulgado pelo INEP (BRASIL, 2007), observamos, também, a média atingida pelos alunos (ingressantes e conluintes) nas questões discursivas das avaliações que envolvem formação geral e componente específico. Para os alunos ingressantes, podemos observar que a média da instituição (67,5) e (62,1), nas questões discursivas em formação geral é superior à média da própria região (46,9) e (36,0) o mesmo comparada com os dados do Brasil (46,3) e (37,3). Ao analisar os alunos concluintes vemos uma média parcialmente maior do que aquela obtida pelos ingressantes; a média nas questões discursivas para esses alunos foi de (63,0) e (63,5); ao comparar esses com a região em que se encontra, a média diminui para (49,5) e (46,1) bem como ao comparar com a média no Brasil (51,0) e (43,6). Percebemos que a média geral para os concluintes é maior do que os ingressantes, entretanto, na UFRN, a média dos ingressantes é maior do que a dos alunos concluintes nas questões de formação geral. Isso pode significar que os alunos ingressantes chegam à UFRN com a formação dos cursinhos pré-vestibulares e, muitas vezes, oriundos de escolas privadas que priorizam a escrita de boas redações de temáticas diversas e questões atuais e polêmicas no mundo atual. Já os alunos concluintes voltam-se mais com as disciplinas específicas do curso, demonstrando, atualmente, uma formação bastante técnica no curso estudado.

Das questões discursivas em componente específico, os alunos ingressantes participantes do ENADE atingiram as seguintes médias (28,3), (29,6), (62,1) e (0,0); os alunos concluintes da instituição atingiram média superior (60,8), (64,0), (38,5) e (21,0). Como esperado, das quatro questões de componente específico do curso, a média, em três delas, foi mais alta nos alunos concluintes.

Dentro da filosofia do SINAES, esses três pilares compõem o sistema, sendo que, atualmente, a mídia dá ênfase apenas ao ENADE, como se, apenas, esse elemento pudesse compor o parecer final de uma instituição ou curso. Podemos dizer que o que temos visto, na verdade, é uma transgressão desse sistema quando tratamos esse exame como o único que pode definir a qualidade de um curso.

O importante de uma avaliação formativa (aquela proposta pelo SINAES) é que ela irá direcionar à melhoria do curso, à transformação da realidade e do contexto em que se encontra. Mas isso se dá a partir da reflexão constante e da produção de juizo

de valor. A preocupação da avaliação reside, dessa maneira, no desenvolvimento da avaliação e não no produto. Para que isso aconteça, é esperado que se analise a percepção que os estudantes (ingressantes e concluintes) possuem a respeito do trabalho desenvolvido pelos professores do seu curso, ou seja, saber avaliar o seu curriculo e as disciplinas que o compõem. Dessa forma, poderiamos compreender a importância que o ENADE exerce de modo diferente. Para Brito (2007, p.422),

Um ponto central do ENADE é verificar se e de que maneira a IES está contribuindo para a formação do estudante, não apenas na parte referente à assimilação de conhecimentos sobre determinados objetos mas, particularmente, o que o estudante agrega na passagem por aquela instituição específica, com suas características peculiares e localizada em um determinado contexto, atendendo um determinado tipo de população.

Nesse caso, é importante considerar a autoavaliação que esses alunos, participantes do exame, fazem acerca de pontos tão relevantes como esses citados por Brito (2007). Os resultados podem sugerir se os alunos estão satisfeitos com o curso, o seu currículo, os docentes, sua metodologia e material pedogógico utilizado, com as instalações físicas do curso, dentre outros. Veremos a seguir o que os resultados apontam.

4.4 Contrapontos entre a Avaliação Interna e os Resultados da avaliação discente