O modelo de avaliação de Borges-Andrade (1982) revela um importante elemento de acréscimo aos Modelos de Kirkpatrick (1976) e Hamblin (1978), posto que considera, na avaliação do programa educacional, não apenas o alcance dos objetivos propostos, mas também o contexto em que se inserem os participantes, antes e depois da formação.
Assim, recomenda que um processo de avaliação deve abranger múltiplas variáveis, compostas por cinco componentes: insumos, procedimentos, processos, resultados e ambiente. Este último é composto por quatro subcomponentes: necessidades, apoio, disseminação e resultados em longo prazo. Duas dessas categorias ganham maior destaque: (a) disseminação, que abarca aspectos que podem colaborar para a busca ou escolha do programa de formação, tais como os meios e estratégias usadas para sua divulgação; (b) resultados em longo prazo, que são as repercussões ambientais do programa medidas após determinado tempo. A figura a seguir ilustra o modelo.
Figura 13 — Modelo de Avaliação Integrada e Somativa (MAIS)
Fonte: Borges-Andrade (2002, p. 34).
Em linhas gerais, o Modelo de Avaliação Integrado e Somativo (MAIS) tem por objetivo coletar informações para avaliar um programa já desenvolvido, através do alcance dos resultados projetados. Além das variáveis de avaliação encontradas nos modelos de Hamblin (1978) e Kirkpatrick (1993), Borges-Andrade (1982) inclui as variáveis do ambiente e de processo na explicação de resultados do programa.
Segundo Inocente (2006), o modelo MAIS é variante do Modelo CIPP (Contexto, Insumo, Processo e Produto), de Stufflebean (1967), o qual identifica avaliação como o processo linear para obter e fornecer informações úteis para o julgamento de decisões alternativas. Em breve detalhamento, insumo compreende fatores físicos e sociais e estados de comportamento relacionados ao público que fará parte do treinamento. Segundo Inocente (2006), essa visão do
input, que trata de componentes anteriores ao evento de formação, influencia os demais resultados
do processo do mesmo.
Os procedimentos compreendem as estratégias didáticas utilizadas na realização do programa, enquanto que o processo abrange ocorrências significativas resultantes dos procedimentos adotados na formação, relacionando-se com características comportamentais dos participantes durante o programa. Nesse aspecto, devem ser observados itens como motivação do participante, nível de dedicação e estudo, e resultados obtidos em testes, compreendendo, assim, aspectos do aprendizado do participante, percebidos em Kirkpatrick (1993) e Hamblin (1978).
razão do programa. O exame desse aspecto deve ocorrer após a realização do evento, e importa verificar se os comportamentos observados são compatíveis com os objetivos definidos no planejamento do evento.
O aspecto ambiente do modelo refere-se ao contexto organizacional em que se insere o participante antes e depois programa. Assim, o autor defende que o ambiente é composto das necessidades que motivaram o participante, do apoio que se tem para que o mesmo desenvolva uma boa afinidade com o processo ensino-aprendizagem da formação, do incentivo a aproveitar a oportunidade de formação e, por fim, como se verifica os resultados de longo prazo do programa, ou seja, as consequências verificáveis da formação após um determinado período de tempo.
Por fim, a retroalimentação — feedback — é o produto final da atividade de avaliação de uma ação de formação profissional e seus efeitos. Deve não só expor como o programa se desenvolve e quais os seus efeitos, mas também deve ser capaz de agir sobre o sistema, potencializando os aspectos positivos, apresentando soluções práticas e um resumo dos dados mais significativos, além de uma proposta tangível de soluções para o aperfeiçoamento sistemático da área (BORGES-ANDRADE; ABBAD; MOURÃO, 2012).
O quadro a seguir detalha os componentes do MAIS e apresenta alguns exemplos de variáveis que podem ser observadas dentro de cada nível.
Quadro 11 — Componentes do Modelo MAIS
COMPONENTE DESCRIÇÃO EXEMPLOS DE VARIÁVEIS
Ambiente:
Necessidade Lacunas entre situações reais e ideais. Gaps de competências - Ambiente:
Disseminação
Natureza e qualidade das mensagens, meios e fontes de informação sobre o treinamento.
Variáveis que contribuíram para adoção, procura (ou rejeição) ao treinamento.
Meios de divulgação sobre evento e estratégias de divulgação.
Insumos Fatores físicos e sociais e estados comportamentais anteriores à instrução que podem afetá-la.
Faixa etária, gênero, nível socioeconômico, valor instrumental
do treinamento, pré-requisitos, motivação, expectativas,
experiência
prática na área, hábitos de estudo, estratégias de aprendizagem, etc.
Procedimentos Operações que produzem resultados instrucionais. Incluem ocorrências deliberadas e acidentais.
Sequência de objetivos, tempo destinado a atividades práticas, retroalimentação, apresentação de
objetivos, lembrança de pré- requisitos, demonstrações,
instruções verbais, aulas expositivas, etc.
Processos
Ocorrências resultantes do programa de treinamento, observadas durante a sua implementação. Desempenhos
intermediários do participante.
Resultados de exercícios práticos, tempo dedicado a instrução individualizada, tempo de estudo individual, número de repetições de
atividades, etc.
Resultados
Alcance dos objetivos instrucionais previamente definidos. Efeitos
inesperados (desejáveis e indesejáveis). Observados ao final do
treinamento.
Desempenho imediato resultante do treinamento, como o rendimento em prova final, ou diferença entre notas
em pré e pós-teste de conhecimentos.
Ambiente: Suporte
Variáveis no lar, na organização, na comunidade. Tem influência potencial
sobre outros componentes. Podem facilitar processo de ensino aprendizagem.
Variáveis do contexto interno e externo: ambiente pré,
durante e pós treinamento.
Custos, instalações para treinamento,
materiais, atitudes da organização sobre o treinamento, proporção
treinando/instrutor, suporte organizacional, suporte à transferência, suporte à aprendizagem. Ambiente: Resultados a Longo Prazo
Consequências do evento observadas no ambiente pós-treinamento, esperadas e inesperadas e que não são medidas logo após
o treinamento.
Aplicação de novos CHA’s, mudanças na estrutura organizacional, criação ou extinção
de unidades, desenvolvimento de patentes, novos produtos e até ganhos em participação de mercado. Fonte: Adaptado de Borges-Andrade; Abbad; Mourão, 2012.
O MAIS veio para suprir lacunas observadas nos modelos anteriores (KIRKPRATICK, 1976; HAMBLIN, 1978), os quais eram orientados quase que exclusivamente para os resultados e não consideravam adequadamente variáveis ambientais e individuais no contexto de avaliações de programas educacionais, posto que considera não apenas o alcance dos objetivos propostos, mas também o contexto em que se inserem os participantes, antes e depois da formação. Mais tarde, esses elementos, chamados preditores e de suporte para a transferência, foram estudados separadamente pelo autor em parceria com outros pesquisadores.
O modelo vem sendo usado em pesquisas por incluir a visão sistêmica do processo de avaliação de treinamento, sendo possível observar as entradas: necessidades ambientais e insumos; etapas da transformação: processo e procedimentos; saídas: resultados de aprendizagem, efeitos no cargo e efeitos ambientais de longo prazo.