4 Case findings
4.5 Linking the evidence and the theoretical propositions
O Enade é disciplinado pela Lei n.º 10.861, de 14 de abril de 2004 que cria o Sistema Nacional de Avaliação da Educação Superior (Sinaes) e regulamentado pelas Portarias n.º 2.051, de 9 de julho de 2004 (Regulamentação do Sinaes) e n.º 107, de 22 de julho de 2004 (Regulamentação do Enade).
Ao lado do Enade, o Sinaes inclui ainda, uma auto-avaliação das instituições, uma avaliação externa do corpo docente e da infraestrutura e uma avaliação específica de cada
curso de Graduação, realizada por avaliadores selecionados pelo Ministério da Educação (MEC) (BRASIL, 2012).
O Enade é componente curricular obrigatório dos cursos de graduação, sendo inscrita no histórico escolar do estudante somente a sua situação regular com relação a essa obrigação. A participação do estudante habilitado ao Enade é condição indispensável para a emissão do histórico escolar, que terá como registro a data em que realizou o Exame, assim como para a expedição do diploma pela IES. A inscrição ao Enade cabe exclusivamente à Instituição de Ensino Superior (IES), conforme § 6º do art. 5º da Lei n.º 10.861/2004 e respectivo regulamento (BRASIL, 2012).
O objetivo do Enade é avaliar o desempenho dos estudantes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação, o desenvolvimento de competências e habilidades necessárias ao aprofundamento da formação geral e profissional e o nível de atualização dos estudantes com relação à realidade brasileira e mundial. Ele integra o Sinaes, juntamente com a avaliação institucional e a avaliação dos cursos de graduação (BRASIL, 2012).
Tem como instrumentos a prova, o questionário de impressões dos estudantes sobre a prova o questionário do estudante e o questionário do coordenador do (a) curso/habilitação (BRASIL, 2012).
A Comissão de Avaliação da Educação Superior – Conaes é órgão colegiado de coordenação e supervisão do Sinaes e tem a competência de anualmente propor as áreas de avaliação do Enade, que são definidas pelo MEC (BRASIL, 2004). Cada área/curso será submetido a avaliação em periodicidade trienal, ou seja; de três em três anos cada curso de graduação tem seus alunos submetidos ao Enade.
Estão habilitados a participar do Enade todos os estudantes em final de primeiro ano (Ingressantes) e de último ano (Concluintes) das áreas e cursos a serem avaliados. São considerados estudantes Ingressantes (final do primeiro ano do curso) aqueles que tiverem concluído entre 7% (sete por cento) e 22% (vinte e dois por cento), inclusive, da carga horária mínima do currículo do curso da Instituição de Ensino Superior (IES) (BRASIL, 2012).
São considerados estudantes Concluintes (último ano do curso) aqueles que tiverem concluído pelo menos 80% (oitenta por cento) da carga horária mínima do currículo do curso da IES ou aqueles estudantes que tenham condições acadêmicas de conclusão do curso no ano letivo em questão (BRASIL, 2012).
Conforme disposto no art. 5º, § 7º da Lei n.º 10.861/2004, a não inscrição de alunos habilitados para participação no Enade, nos prazos estipulados em Portaria, poderá ensejar a
suspensão temporária da abertura pela IES de processo seletivo para os cursos referidos no artigo 1º desta Portaria Normativa (BRASIL, 2012). Cabe ao presidente do Inep designar os professores que integrarão as Comissões Assessoras de Avaliação e suas atribuições e competências.
As provas são realizadas e aplicadas por instituição ou consórcio de instituições contratadas pelo Inep que comprove capacidade técnica em avaliação e aplicação, segundo o modelo proposto para o Exame e que atenda aos requisitos estabelecidos no projeto básico do Enade.
Os estudantes Ingressantes e Concluintes submetem-se a uma única prova, construída de modo a “permitir a análise do valor agregado em relação às competências e habilidades, aos conhecimentos gerais e conteúdos profissionais específicos durante a sua formação, orientando as instituições sobre a necessidade ou não de fazer ajustes ou revisões curriculares” (BRASIL, 2012).
A prova é composta de 40 questões no total, sendo 10 questões da parte de formação geral e 30 da parte de formação específica da área, contendo as duas partes questões discursivas e de múltipla escolha. A primeira de Formação Geral (FG) consiste de 10 questões, sendo duas discursivas e oito objetivas. A segunda de Componente Específico (CE) é composta por 30 questões, entre discursivas e objetivas (BRASIL, 2012).
A prova de Formação Geral tem peso igual a 25% e a prova de Componente específico tem peso igual a 75% (BRASIL, 2012).
A prova tem duração de quatro horas e é aplicada a amostras de Ingressantes de cursos de Graduação, com 7 a 22% da carga horária do curso concluída; e de Concluintes com pelo menos 80% da carga horária do curso concluída (BRASIL, 2012).
Calcula-se o conceito do curso (Enade Conceito) pela média ponderada da nota padronizada dos Concluintes no componente específico, da nota padronizada dos Ingressantes no componente específico e da nota padronizada em formação geral (Concluintes e Ingressantes), possuindo estas, respectivamente, os seguintes pesos: 60%, 15% e 25%. Assim, a parte referente ao componente específico contribui com 75% da nota final do curso, enquanto que a parte de formação geral contribui com 25%. O conceito é apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível, na área (BRASIL, 2012).
O IDD – Indicador de Diferença entre os Desempenhos Observados e Esperados (BRASIL, 2012) é a principal inovação do Enade em relação ao antecessor Provão e visando responder a críticas que apontavam para o favorecimento de instituições públicas na obtenção
de conceitos mais elevados, influenciados pelo nível de entrada dos alunos, supostamente mais elevado em razão das dificuldades de ingresso (BRASIL, 2009). Os candidatos são avaliados em relação ao desempenho médio esperado para estudantes em condições supostamente semelhantes. O índice IDD representa a diferença entre o desempenho médio dos Concluintes relacionado com os resultados médios de outras IES, cujos Ingressantes tenham perfil semelhante (BRASIL, 2009).
Para Casagrande (2011, p. 234) “a diferença entre o desempenho médio efetivamente observado quando um grupo de estudantes chega ao final do curso e o desempenho esperado para o mesmo grupo indica se o resultado obtido pelo curso está acima, abaixo ou na média do esperado”.
O Indicador de Diferença Entre os Desempenhos Observado e Esperado (IDD) tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes Concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes Ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso (BRASIL, 2009).
O IDD é calculado com base na diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os Concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes (BRASIL, 2009).
Conceito IDD é uma transformação do IDD Índice, de forma que ele seja apresentado em cinco categorias (1 a 5) sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível no IDD Conceito (BRASIL, 2009).
O Curso está Sem Conceito (SC) no Enade Conceito quando não tem estudante (ingressante ou concluinte) selecionado na amostra que participou efetivamente do Enade, realizando a prova. O Curso está Sem Conceito (SC) no “IDD Conceito” basicamente por 3 (três) motivos: (1) menos de 11 Ingressantes participantes; (2) menos de 11 Concluintes participantes; e (3) nota zero (boicote) (BRASIL, 2009).
O Enade fornece os seguintes relatórios: 1) Relatório do Aluno; 2) Relatório do Curso; 3) Relatório da Área; 4) Relatório da Instituição; 5) Resumo Técnico; 6) Relatório de Conceitos; 7) Relatório Técnico-Científico (BRASIL, 2009).
A nota CPC – Conceito Preliminar de Curso subsidia a renovação de reconhecimento dos cursos de graduação. Tem a seguinte composição: 30% de IDD (Indicador de Diferença entre os Desempenhos Observado e Esperado), que mostra o quanto o aluno aprendeu na
faculdade; 15% de nota dos Ingressantes; 15% de nota dos Concluintes; 20% de proporção de professores com doutorado; 5% de proporção de professores com mestrado; 5% de regime de trabalho dos professores (dedicação parcial ou integral); 5% de boa infra-estrutura, de acordo com a opinião dos alunos; 5% de boa organização didático-pedagógica, segundo a opinião dos estudantes (BRASIL, 2009).
De acordo com o Ministério da Educação (MEC), os conceitos 1 e 2 são considerados baixos, o conceito 3 é considerado regular e os níveis 4 e 5 são classificados como altos. Tanto o IDD como o conceito Enade apresentam uma distribuição concentrada no nível 3 (regular) (BRASIL, 2009).
Para Casagrande (2011) apesar dos questionamentos sobre a forma como o Inep estabelece os critérios para geração dos índices e formula os indicadores oficiais da qualidade das IES e de seus respectivos cursos, estes subsidiam a chamada avaliação mercadológica
A expansão das instituições de ensino, cujas orientações estão pautadas no mercado de trabalho, nos interesses econômicos e capitalistas e na massificação da oferta, trouxe consequências nefastas no que tange à qualidade da Educação. O Estado passou, então, a assumir um papel avaliador ou regulador e criou um sistema de garantia de qualidade que é operacionalizada, atualmente, pelo Sinaes, sob as diretrizes da Conaes.
A criação das agências reguladoras estabelece uma nova realidade, pois exercem função de polícia educativa, definindo “níveis mínimos de qualidade, critérios de autorização e funcionamento das instituições e outras regulações à liberdade de concorrência”. (ROTHEN; BARREYRO, 2009, p. 3).
Em relação aos cursos de Direito, em de 2 de junho de 2011 foi publicado, no Diário Oficial da União, decisão do Secretário de Regulação e Supervisão da Educação Superior do Ministério da Educação, que reduziu de forma cautelar, 10.912 vagas para ingresso de novos alunos em 136 (cento e trinta e seis) cursos de Direito no Brasil (BRASIL, 2011).
A medida tomou como base a Nota Técnica nº. 13/2011 da COREG/DESUP/SERES/MEC. Segundo parecer da Seres, os resultados da avaliação Enade 2009 apontam para o CPC insatisfatório de inúmeros cursos jurídicos no país.
De acordo com o Inep (BRASIL, 2012), a avaliação dos cursos de graduação é necessária para verificação da qualidade do ensino superior e deve ser aplicada com periodicidade. Os processos de avaliação são instrumentalizados pelo Enade e pela avaliação
in loco, que é conduzida por comissões de especialistas. A renovação de reconhecimento é
funcionamento dos cursos que já obtiveram autorização e reconhecimento. A avaliação é trienal, em observância às disposições do Sinaes (BRASIL, 2012).
Os processos de regulação e supervisão da Educação Superior, conforme disposição do art. 2º, parágrafo único, da Lei nº. 10.861/2004 utilizam como referencial básico para a renovação de credenciamento e renovação de reconhecimento de cursos de graduação, os resultados da avaliação de instituições, de cursos e desempenho dos estudantes, que são implementadas a partir da “análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de Educação Superior e de seus cursos” (BRASIL, 2004).
O Enade tem o objeto de avaliar o desempenho dos estudantes relativamente aos conteúdos que são previstos nas diretrizes curriculares dos cursos de graduação, as competências desenvolvidas e habilidades ao aprofundamento da formação geral e profissional e o conhecimento atualizados os alunos da realidade brasileira e mundial (BRASIL, 2012).
Os resultados do Enade 2009, dos cursos de Direito avaliados para o ciclo 2007/2009 apontam para o baixo desempenho dos estudantes, o que, além de comprometer o funcionamento do curso, traz implicações irreversíveis na formação dos bacharéis que se refletem em prejuízo de si próprios e da sociedade.
A intervenção do Estado nas IES’s serve, enquanto atividade reguladora da qualidade, como garantia de prevenção de danos sociais. Pode-se mesmo afirmar que o Exame de Ordem tem servido também a essa finalidade, pois, ao estabelecer a aprovação na prova da OAB, como requisito de habilitação profissional, impedirá que estudantes sem a devida qualificação e habilidades atuem no mercado de trabalho.
Santos (2005) adverte que a autorização para funcionamento da IES deverá estar sujeita a renovação e as instituições públicas e privadas deverão ser avaliadas pelos mesmos critérios. “Tem-se de evitar a todo custo o dumping social da formação universitária, uma situação iminente em setores do mercado saturado (por exemplo, cursos de direito ou de gestão) e quase sempre concentrados nas regiões de maior densidade populacional” (SANTOS, 2005, p. 110).
As comissões de avaliação in loco, no exercício do processo de regulação, poderão estabelecer protocolos de compromisso com a instituição de ensino, no sentindo de que haja a promoção do saneamento das deficiências, para obtenção de um conceito de curso satisfatório, sob pena, de encerramento da oferta.
A análise dos fundamentos da Educação Superior, delineados em nível constitucional conduz a garantia de que “o ensino será ministrado com base no princípio do padrão de qualidade” (art.206, CF), “o ensino é livre à iniciativa privada, atendidas as (...) condições de cumprimento das normas gerais da educação nacional e autorização e avaliação de qualidade pelo Poder Público” (art. 209, CF), “a lei estabelecerá o plano nacional de educação” (...) que conduza a “melhoria da qualidade do ensino” (art. 214, III, CF) (BRASIL, 1998).
As instituições de ensino que têm mau desempenho no Enade estarão sujeitas a medidas regulatórias para ajustamento de ações educacionais que impliquem na elevação da qualidade do ensino. Não foi por outra razão que, em junho de 2011, o Secretário da Seres, em despacho publicado no DOU, afirmou que a “possibilidade ou fundado receio da ocorrência de lesão irreparável ou de difícil reparação ao direito da coletividade representada pelos alunos e possíveis Ingressantes; em atenção aos referenciais substantivos de qualidade expressos na legislação e nos instrumentos de avaliação superior”, suspendeu 10.912 vagas em 136 cursos de Direito no país (BRASIL, 2011).
A pesquisa sobre o desempenho dos estudantes dos cursos de Direito, das IES’s de São Luís, no Enade 2009, toma como ponto de partida a quantificação do número de participantes Ingressantes e Concluintes. O Sinaes analisa o desempenho dos estudantes das instituições de ensino com base em cálculo das estatísticas básicas da prova de modo global e nos componentes geral e específico. O número de estudantes participantes Ingressantes e Concluintes também é levado em consideração.
A Portaria nº. 129, de 24 de junho de 2009, publicada no DOU, de 25 de junho de 2009, pelo Presidente do Inep, fixou as diretrizes da avaliação para a área de Direito. A prova Enade teve duração de 4 (quatro) horas e conforme art. 2º da Portaria nº. 129/2009, a avaliação é composta por um componente de Formação Geral, que é comum aos cursos de todas as áreas e um componente específico da área de Direito (BRASIL, 2009).
A avaliação do componente de Formação Geral conteve 10 (dez) questões que abordaram “situações-problema, estudos de caso, simulações e interpretação de textos, imagens, gráficos e tabela” (BRASIL, 2009), sendo 2 (duas) questões discursivas e 8 (oito) questões de múltipla escolha. O §5º assinala que “as questões discursivas avaliarão aspectos como clareza, coerência, coesão, estratégias argumentativas, utilização de vocabulário adequado e correção gramatical do texto.”
O art. 3º da Portaria 129/2009 (BRASIL, 2009, p. 1) destaca as habilidades e competências esperadas da avaliação do componente de formação geral de todos os participantes do Enade, in verbis:
Art. 3º No componente de Formação Geral será considerada a formação de um profissional ético, competente e comprometido com a sociedade em que vive. Além do domínio de conhecimentos e de níveis diversificados de habilidades e competências para perfis profissionais específicos, espera-se que os graduandos das Instituições de Ensino Superior (IES) evidenciem a compreensão de temas que possam transcender ao seu ambiente próprio de formação e sejam importantes para a realidade contemporânea. Essa compreensão vincula-se a perspectivas críticas, integradoras e à construção de sínteses contextualizadas. (INEP, 2009)
Os temas das questões do componente de formação geral estão descritos nos incisos I a XXI do §1º do art. 3º da Portaria nº. 129/2009 (BRASIL, 2009, p. 1), in verbis:
§ 1º As questões do componente de Formação Geral versarão sobre alguns dentre os seguintes temas:
I - ecologia; II - biodiversidade;
III - arte, cultura e filosofia;
IV – mapas geopolíticos e socioeconômicos; V - globalização;
VI - políticas públicas: educação, habitação, saneamento, saúde, segurança, defesa, desenvolvimento sustentável;
VII - redes sociais e responsabilidade: setor público, privado, terceiro setor; VIII - relações interpessoais: respeitar, cuidar, considerar, conviver; IX – sociodiversidade: multiculturalismo, tolerância, inclusão; X - exclusão e minorias;
XI – relações de gênero; XII - vida urbana e rural; XIII - democracia e cidadania; XIV - violência;
XV - terrorismo;
XVI - avanços tecnológicos; XVII - inclusão/exclusão digital; XVIII - relações de trabalho; XIX - tecnociência;
XX - propriedade intelectual;
XXI - diferentes mídias e tratamento da informação.
As capacidades esperadas dos participantes encontram-se descritas no §2º do art. 3º da Portaria nº. 129/2009 (BRASIL, 2009, p. 1), destacam-se:
§ 2º No componente de Formação Geral, serão verificadas as capacidades de: I - ler e interpretar textos;
II - analisar e criticar informações;
III - extrair conclusões por indução e/ou dedução;
IV - estabelecer relações, comparações e contrastes em diferentes situações; V - detectar contradições;
VI - fazer escolhas valorativas avaliando conseqüências; VII - questionar a realidade;
VIII - argumentar coerentemente.
Os estudantes Ingressantes e Concludentes ainda devem demonstrar competência nos termos do §3º, do art. 3º da Portaria 129/2009 (BRASIL, 2009, p. 1), para:
§ 3º No componente de Formação Geral, os estudantes deverão mostrar competência para:
I - propor ações de intervenção;
II - propor soluções para situações-problema; III - elaborar perspectivas integradoras;
IV - elaborar sínteses; V - administrar conflitos.
As diretrizes para a avaliação do componente específico da área de Direito estão dispostas nos arts. 4º a 8º da Portaria nº. 129/2009. O componente específico da prova do Enade 2009 contou com 30 (trinta) questões, das quais, 27 (vinte e sete) de múltipla escolha e 3 (três) questões discursivas, cuja abordagem foi centrada na resolução de situações-problema e estudos de caso.
Nos termos do art. 4º da Portaria nº. 129/2009 (BRASIL, 2009, p. 1), os objetivos da avaliação no componente específico são:
a) avaliar o conhecimento dos conteúdos programáticos previstos na Resolução CNE/CSE n° 9, de 29 de setembro de 2004, que institui as Diretrizes Curriculares do Curso de Graduação em Direito;
b) verificar o desenvolvimento, competências e habilidades necessárias ao aprofundamento nos eixos da formação fundamental, formação profissional e formação prática;
c) avaliar o nível de atualização dos estudantes com relação à realidade brasileira e mundial.
O perfil profissional do estudante de Direito esperado pela avaliação do Enade 2009 toma o referencial do art. 5º da Portaria nº. 129/2009 (BRASIL, 2009, p. 2), in verbis:
... assegurar, no perfil do graduando,sólida formação geral, humanística e axiológica, capacidade de análise, domínio de conceitos e da terminologia jurídica, adequada argumentação, interpretação e valorização dos fenômenos jurídicos e sociais, aliada a uma postura reflexiva e de visão crítica que fomente a capacidade e a aptidão para a aprendizagem autônoma e dinâmica, indispensável ao exercício da Ciência do Direito, da prestação da Justiça e do desenvolvimento da cidadania.
As competências e habilidades verificadas pelo Enade como desenvolvidas no processo de formação do estudante participante da prova estão descritas no art. 6º da Portaria nº. 129/2009 (BRASIL, 2009, p. 2), a saber:
a) leitura, compreensão e elaboração de textos, atos e documentos jurídicos ou normativos, com a devida utilização das normas técnico-jurídicas;
b) compreensão adequada dos fenômenos políticos, sociais, econômicos, subjetivos e psicológicos – dentre outros – , considerando-os na criação, interpretação e aplicação do Direito;
c) pesquisa e utilização da legislação, da jurisprudência, da doutrina e de outras fontes do Direito;
d) adequada atuação técnico-jurídica, em diferentes instâncias, administrativas ou judiciais, com a devida utilização de processos, atos e procedimentos;
e) correta utilização da terminologia jurídica ou da Ciência do Direito;
f) utilização de raciocínio jurídico, de argumentação, de persuasão e de reflexão crítica e sensível, bem como capacidade metafórica e analógica;
g) julgamento fundamentado e tomada de decisões;
h) domínio de tecnologias e métodos alternativos para permanente compreensão e aplicação do Direito;
i) compreensão e interrelacionamento dos fundamentos filosóficos e teóricos do Direito com sua aplicação prática.
O conhecimento interdisciplinar de conteúdos será analisado com referências “a ética, a justiça, a democracia, a cidadania, a dignidade da pessoa humana, a alteridade, a tolerância, ao multiculturalismo, ao pluralismo, a solidariedade, a preservação ambiental e aos direitos humanos” (BRASIL, Portaria nº. 129/2009, 2012). O Inep (BRASIL, 2009) descreve, no art. 7º da Portaria, como princípios e valores, que se relacionam às seguintes disciplinas do curso e que são objeto da avaliação, in verbis:
a) Ciência Política, Economia, Filosofia, História, Sociologia, Antropologia, Psicologia e Ética Profissional;
b) Direito Constitucional, Direito Administrativo, Direito Tributário, Direito Penal, Direito Civil, Direito Empresarial, Direito do Trabalho, Direito Internacional e Direito Processual.
A avaliação da qualidade dos cursos de graduação toma em consideração o Conceito Enade, o desempenho dos Ingressantes no Enade, o Conceito IDD e as variáveis de insumo, resultando no Conceito Preliminar de Curso - CPC, que “é uma média de diferentes medidas da qualidade de um curso” (BRASIL, 2012).
O Conceito Preliminar de Curso (CPC) é, portanto, um índice que avalia os cursos de graduação para o sistema Sinaes e encontra subsídio no Enade e nas avaliações feitas por comissões de especialistas in loco, isto é, diretamente nas instituições de ensino superior. De acordo com o Inep (BRASIL, 2012), os especialistas têm a responsabilidade de verificar condições do corpo docentes, instalações físicas e a organização didático-pedagógica dos cursos.
Segundo Inep (BRASIL, 2012), com base nesse índice as instituições são divididas por totais contínuos de 0 a 500 pontos e em faixas de 1 a 5. Toda avaliação que resulta em índice inferior a 3 é considerada pelo MEC como de resultado insatisfatório. As variáveis de insumo constituem o dado que considera corpo docente, infra-estrutura e programa pedagógico. As