Val I januar 2005, Transitional National Assembly og grunnlova

94 parte fundamental em um programa de avaliação, pois de nada adianta avaliar se não podemos interagir com seus resultados. O Brasil ainda caminha muito lentamente, neste aspecto, embora o Inep já tenha realizado avanços importantes como no resultado do Prova Brasil. Os dados são organizados e apresentados geralmente por estatísticos que utilizam em sua maioria termos técnicos mais conhecidos por especialistas da área, pesquisadores e matemáticos, o que torna muitos vezes a leitura do relatório de difícil interpretação para a maioria dos educadores.

Os relatórios de resultados analisados por esta pesquisadora trazem normalmente o padrão do relatório do SAEB, com pequenas variações. São apresentados de forma impressa contendo em sua introdução: a) descrição da metodologia utilizada; b) população avaliada; c) instrumentos utilizados para a coleta de dados; d) procedimentos estatísticos utilizados. Em seguida, os relatórios variam no grau de informações fornecidas, porém via de regra, apresentam os resultados divididos em: a) desempenho acadêmico, resultantes da coleta de dados nos testes e b) fatores associados ao desempenho ou indicadores, resultantes dos dados coletados nos questionários.

Sendo comum na descrição do desempenho acadêmico: a) gráficos da distribuição da proficiência média dos estudantes com seu comparativo em relação ao estado, ou a rede de ensino de pertença; b) gráficos com a distribuição dos estudantes por nível de proficiência; c) gráficos com a distribuição dos estudantes nos temas da matriz do SAEB.

Já nos fatores associados à aprendizagem ou indicadores de desempenho são normalmente apresentados os seguintes tópicos nos relatórios analisados: a) indicadores que apontam os fatores associados ao desempenho acadêmico dos alunos, como clima, liderança, condições de ensino, recursos oferecidos, hábitos de estudo, formação de docentes, hábitos de leitura, permanência do aluno na escola; avaliação de aprendizagem, condições sócio-cultural da família; b) perfil da população avaliada, alunos, pais e professores; c) análise do “efeito escola”.

Os relatórios são dirigidos aos gestores e normalmente trazem conclusões e indicações de melhoria no processo ensino aprendizagem, alguns com sugestões de plano de ação para as escolas e uma relação de anexos como a matriz de referência do SAEB.

Os resultados do Sistema X são apresentados de duas formas aos colégios. Primeiro em forma de relatório também impresso com a maioria das informações dos demais relatórios analisados no que se refere ao desempenho acadêmico dos alunos, porém com interpretações pedagógicas próprias em todas as disciplinas. No que se refere aos fatores associados e ou

indicadores de desempenho, é feita uma análise descritiva dos dados coletados nos questionários, apontando pontos que merecem maior atenção na instituição. Segundo os resultados são apresentados por meio de um sistema de informação, desenvolvida com uma concepção de BI (Business Intelligence) sendo esta é a característica principal entre os programas de avaliação pesquisados.

Fato é que de modo geral a maioria dos programas de avaliação ou mesmo até as próprias instituições de ensino, ainda não tem acesso ao processo de tratamento de informação e principalmente, que este sistema possa condensar e transformar estas informações em conhecimento. São poucas hoje as empresas que têm trabalho na perspectiva da utilização da informação, de forma a obter conhecimento de sua realidade e implementado ferramentas de Gestão da Informação e com mais profundidade de Gestão do Conhecimento.

Um dos maiores desafios na gestão de um negócio, seja educacional ou não, é analisar quais fatos estão relacionados, apontam tendências, tem consistência para uma determinação ação, gerando assim uma decisão assertiva.

O Sistema X desenvolveu ao longo dos últimos quatro anos um sistema de informação, utilizando o conceito de BI (Business Intelligence), por meio dele a escola interage com seus resultados de forma mais autônoma, fazendo suas análises locais e comparando com dados globais. Um dos principais diferenciais observado por este pesquisadora em relação aos demais programas de avaliação é, justamente, este sistema, pois além de prestar as escolas um nível de informação muito maior do que todos os outros programas avaliados, ele permite uma interação ativa dos gestores educacionais com os seus resultados.

Segundo SERAIN (2007):

Há milhares de anos atrás, Fenícios, Persas, Egípcios e outros Orientais já faziam, a seu modo, Business Intelligence, ou seja, cruzavam informações provenientes da natureza, tais como comportamento das marés, períodos de seca e de chuvas, posição dos astros, para tomar decisões que permitissem a melhoria de vida de suas comunidades. A história do Business Intelligence que conhecemos hoje, começa na década de 70, quando alguns produtos de BI foram disponibilizados para os analistas de negócio. O grande problema era que esses produtos exigiam intensa e exaustiva programação, não disponibilizavam informação em tempo hábil nem de forma flexível, e além de tudo tinham alto custo de implantação. Com o surgimento dos bancos de dados relacionais, dos PC's e das interfaces gráficas como o Windows, aliados ao aumento da complexidade dos negócios, começaram a surgir os primeiros produtos realmente direcionados aos analistas de negócios, que possibilitavam rapidez e uma maior flexibilidade de análise. (SERAIN in; http://imasters.uol.com.br/artigo/5415/bi/por_que_business_intelligence)

96 negócio” surge no campo da economia para atender a demanda de fornecer, por meio do cruzamento de informações de dados relevantes, respostas rápidas para o gestor detectar tendências e tomar decisões assertivas em um mercado em constante transformação.

Aliar a ciência da informação à avaliação educacional foi um grande ganho. Pois o sistema de BI desenvolvido no Sistema X tornou-se uma poderosa ferramenta de gestão educacional. O desenvolvimento de um sistema informatizado permite realizar cruzamentos entre as variáveis coletadas durante a avaliação, pela própria escola avaliada, o que torna seu resultado muito rico do ponto de vista da gestão escolar, além de permitir a interação dos educadores com estes dados para que eles possam rever e re-planejar suas estratégias educacionais.

O sistema de resultados do Sistema X foi criado com os objetivos de: a) extrair e integrar dados das avaliações aplicadas anualmente, construindo assim sua série histórica, e possibilitando o cruzamento longitudinal dos resultados; b) analisa dados contextualizados com a realidade local e global; c) trabalhar com hipóteses; d) procurar relações de causa e efeito; e) transformar os registros obtidos em informação útil para a gestão; f) permitir que todos os educadores das escolas avaliadas obtenham as informações sobre os resultados da avaliação.

Algumas vantagens advindas do sistema de BI desenvolvido no Sistema X no que se refere à gestão do negócio são: a) maior rapidez ao acesso de informações; b) maior quantidade de informações fornecidas; c) uniformização da informação dentro da instituição, garantindo assim que todas as escolas trabalhem focadas em um projeto maior da instituição; d) analise de impacto de decisões tomadas.

Porém, não e só na gestão do negócio que o Sistema X traz um diferencial, mas, também, na gestão da sala de aula, por meio do BI os professores recebem um conjunto sólido de informações para que possam realizar o monitoramento pedagógico em suas próprias escolas, tornando desta forma o principal beneficiado pela avaliação, analisando os resultados, discutindo com seus pares e criando estratégias de melhoria do processo. Esta reflexão local vem somar a uma reflexão maior por parte das mantenedoras das escolas que utilizam o Sistema x, fazendo um movimento de retro-alimentação do próprio programa de avaliação e possibilitando que ela seja usada como ferramenta de gestão, criando diferenciais de mercado.

A apresentação do sistema de BI as escolas é feito por meio de um CD podendo ser instalado também nas escolas por meio de endereço eletrônico na internet por meio de senha. No relatório há um tutorial para auxiliar os educadores a manipular o sistema de BI.

O gestor copia o programa nos computadores da escola, em local de fácil acesso aos educadores (normalmente é sugerido o laboratório de informática e os computadores da diretoria, equipe técnica e sala dos professores). Para copiar, eles seguem as orientações contidas no tutorial.

Cada CD ou resultado na web possui uma senha distinta. No caso da mantenedora, a senha dá acesso a todas as informações das escolas mantidas; e no caso da escola, a senha dá acesso apenas às informações da unidade em comparação com a mantenedora, uma vez que o sistema não foi idealizado para comparação das escolas. No entanto a percepção dos gestores sobre o benefício que esta comparação poderia trazer para a instituição foi se consolidando aos poucos e hoje muitos compartilham seus resultados e trocam suas experiências. Algumas mantenedoras no Brasil já fazem estas comparações entre os gestores e isto não prejudicou os seus resultados. Ou seja, a comparação quando usada com bom senso contribuiu.

Depois de instalado o sistema, a escola entra com sua senha de acesso e tem todas as suas informações disponíveis. Abaixo alguns exemplos a título de ilustração, das possibilidades de cruzamentos oferecidas pelo sistema, extraído de seu tutorial.

No canto superior encontram-se pequenas abas. À medida que são selecionadas, obtém-se uma série de informações de diferentes dimensões. Veja Figura 1:

98 Figura 1 – Tela de Apresentação

Os dados podem ser retirados do sistema para impressão ou arquivo digital, conforme demonstrado na Figura 2 e Figura 3.

Figura 2 – Impressão dos dados

As informações obtidas por estas dimensões são:

a) _{Proficiência: informações referentes à proficiência, por unidade, série, disciplina,} turma, alunos novatos e veteranos. Esta proficiência é calculada por meio da Teoria de Resposta ao Item.

b) Acertos: informações referentes ao percentual de acertos, por unidade, série, disciplina, turma, competências, habilidades e descritores. Este percentual é calculado por meio de TCT – Teoria Clássica dos Testes.

c) _{Questionários: constam todas as informações sobre os questionários aplicados.}

d) Boletim: boletim individual de todos os alunos avaliados em relação ao percentual de acertos e comparativo deste percentual em relação à série de sua unidade.

e) _{Relatórios: relatórios de percentual de repostas em tabelas e gráficos de todos}

os questionários.

f) TCT: Teoria Clássica dos Testes. Esse relatório aponta a porcentagem de

acertos não levando em consideração a dificuldade dos itens da prova.

O ícone é para impressão, selecione uma das opções, dados ou gráficos.

Para escolher o tipo de gráfico, basta clicar sobre o ícone desejado. As opções são: barra vertical, linhas, barras horizontais, pontos, pizza ou área.

Figura 3 – Salvando os dados

Na Figura 4 abaixo estão destacadas as variáveis possíveis de serem cruzadas, e na Figura 5 um exemplo desta seleção.

Figura 4 – Variáveis de cruzamento

Figura 5 – Seleção das variáveis

Ao clicar sobre o ícone aparecerão as opções de salvar os dados em Adobe PDF, Microsoft Excel, ou para exportar para uma base de dados.

100 A Figura 6 apresenta a tela de visualização e impressão dos relatórios. Nesta tela pode ser selecionado: o ano, a unidade e o relatório que deseja. Os relatórios dos perfis dos alunos e educadores estão em duas versões, em PDF: a primeira só com tabelas e a segunda com gráficos; os relatórios de distribuição de alunos por nível apenas em gráficos.

Figura 6 – Visualização e impressão de relatórios

A Figura 7 mostra a tela da visualização e impressão do percentual de acertos nos descritores. É possível selecionar o ano, a unidade, a série, a disciplina e escolha o percentual desejado. Este cálculo é feito apenas pela TCT, ou seja, não leva em consideração a dificuldade do item apenas o percentual de acerto em relação à população avaliada. Existe uma orientação feita às escolas para que fixem mais suas análises nos resultados da proficiência oriundas da TRI e do relatório da “Distribuição de Alunos por Nível”, e que seja dado menos ênfase aos resultados da TCT. Porém percebe nos últimos anos que as escolas utilizam muito a TCT, talvez por que ela é “parecida” com as avaliações que os professores já estão acostumados em seu dia-a-dia (vestibulares, simulados, concursos, etc). Como isto não prejudica o monitoramento e ainda colabora para que os professores analisem ainda mais seus resultados, conclui-se que isto vem mais contribuindo do que prejudicando, passando a ser mais uma característica do sistema.

Figura 7 – Tela de impressão dos relatórios da TCT

E na Figura 8 a tela de impressão do boletim do aluno. Destaca-se que o foco deste tipo de avaliação não é o aluno, no entanto o Sistema X optou por dar devolutiva dos resultados aos mesmos. Existem modelos diferentes de boletim e cabe ao gestor da escola optar por qual atende sua realidade. Normalmente é entregue aos alunos o modelo completo com um gráfico de seu desempenho na avaliação em relação ao gráfico de desempenho da sua série. Não são feitas comparações entre turmas no boletim, para não gerar competições inadequadas dentro da escola, porém os educadores têm acesso a esta comparação que é usada apenas com a finalidade de subsidiar a tomada de decisão da composição das turmas no ano subseqüente, para que elas sejam homogêneas. No boletim também é apontando para o aluno em quais descritores por disciplina ele não se saiu bem, com orientações para que reveja estes conteúdos, conforme demonstrado na Figura 9 com um fragmento de um boletim.

Os pais de alunos do 5º ano e do 9º ano do EF recebem estes resultados em reuniões onde é explicada a metodologia utilizada neste tipo de avaliação para que não haja comparações entre os boletins uma vez que cada aluno faz um tipo de prova diferenciada. Já aos alunos da 3ª série do EM os boletins são entregues diretamente, este resultado chega para os alunos do Ensino Médio no momento em que eles estão se preparando para o vestibular, e é comum eles usarem este resultado como um diagnóstico de sua trajetória no Ensino Médio, comparando com os conteúdos programáticos das universidades onde prestarão exames de

102 Fundamental e pelos alunos concluintes do Ensino Médio.

Figura 8 – Tela de impressão do boletim do aluno

O módulo que consta do CD e é entregue as escolas, possui apenas a apresentação dos resultados; a base de dados encontra-se no INADE, hoje responsável pelo Sistema X. Portanto, o sistema não aceita nenhuma alteração de dados e, conseqüentemente, as informações não se perdem, independentemente do que o usuário fizer. Sempre que reiniciar o programa, as informações voltam à tela inicial.

As comparações com o SAEB Nacional e/ou Estadual, nas disciplinas de Língua Portuguesa e Matemática, são feitas com os dados mais atuais disponibilizados pelo MEC, nos exemplos acima estes dados correspondem aos resultados do SAEB de 2007. É importante lembrar que o extrato do SAEB depende do tipo de escola, no caso de escola privada a comparação é feita apenas com as escolas particulares, no caso de escolas públicas a comparação é com os resultados da SAEB das escolas públicas. Esta categorização é feita quando selecionado o “Tipo de Unidade.”

Abaixo na Figura 10 um exemplo do relatório de “Distribuição de Alunos por Nível, gerado pelo sistema de BI.

Figura 10

Para encerrarmos este tópico destacamos que o sistema de resultados (BI) é sem dúvida alguma a principal característica deste sistema de avaliação.

104