Conforme os modelos de avaliação proposto por Kirkpatrick (1976), programas de TD&E poderiam gerar efeitos também na organização, em termos de processos, estruturas ou produtos de grupos e equipes de trabalho e organizacionais. Burrow e Berardinelli (2003) chamam a atenção para a importância de se investigar os efeitos de ações educacionais sobre processos organizacionais como forma de se determinar a eficácia do sistema de TD&E, sob pena da área perder espaço para outras práticas de gestão de pessoas. Shelton e Aligger (1993) chegam a afirmar que a avaliação no nível de resultados, principalmente em termos da relação custo-benefício, é capaz de prover informações mais confiáveis do que as fornecidas pelos níveis anteriores. Apesar disto, são poucos os estudos preocupados em investigar este tipo de efeito (Borges-Andrade & Abbad, 1996; Sallas & Cannon-Bowers, 2001).
Entre estas tentativas, destaca-se na literatura internacional um estudo realizado por Saks e Belcourt (1997), que evidenciou um forte relacionamento entre transferência de treinamento e medidas perceptuais, coletadas no nível individual, de desempenho organizacional. Outro estudo que merece atenção, pelo fato de ser pioneiro entre investigações desta natureza na literatura nacional, foi realizado por Borges-Andrade, Pereira, Puente-Palácios e Morandini (2002). Interessados em avaliar os efeitos de um programa de capacitação ofertado por uma agência internacional de administração de ciência e tecnologia a 26 países da América Latina e Caribe, os autores relataram um impacto moderado do programa sobre o desempenho das organizações participantes. Vale ressaltar que o desempenho organizacional foi avaliado por meio de questionários, entregues aos indivíduos capacitados, aos seus superiores e a não participantes, sobre os
tópicos de efetividade (alcance de objetivos), eficiência (uso de recursos), relevância organizacional e sustentabilidade junto a clientes e beneficiários.
Destaca-se também um estudo realizado por Freitas e Borges-Andrade (2004) em uma instituição financeira de grande porte, concernente à influência de um curso de especialização lato sensu sobre resultados, na área de marketing, no nível da organização. Após a realização de análises documentais e entrevistas junto a representantes de áreas da instituição relacionadas ao programa e seus resultados, um questionário, contendo 26 itens que visavam mensurar o impacto do curso sobre o desempenho da organização, fora construído. Aplicado junto aos participantes do programa e respectivos pares ou superiores imediatos, os resultados indicaram que 96% das respostas dos participantes correspondiam aos julgamentos, sobre o impacto do curso no desempenho da instituição, ‘Bom’ e ‘Ótimo’. Decididos a coletar indicadores mais concretos sobre este impacto, os autores selecionaram os 10 maiores impactos gerados a partir das respostas aos itens do questionário e, em seguida, realizaram entrevistas junto aos representantes das áreas responsáveis por estes resultados. Elevação do nível de competência em marketing, maior disseminação da empresa junto aos clientes e aumento da base de clientes foram os indicadores que mais se destacaram.
Outro estudo desta natureza foi realizado por Mourão (2004), sobre o impacto de um programa de capacitação, realizado pela Federação Nacional das Associações dos Pais e Amigos dos Excepcionais (FENAPAE), nos níveis de mudança organizacional e valor final propostos por Hamblin. A partir de entrevistas realizadas juntos a coordenadores da Educação Profissional da FENAPAE, foram definidos como indicadores de mudança organizacional o número de aprendizes, o número de oficinas profissionalizantes nas Associações de Pais e Amigos dos Excepcionais (APAEs) e o número de pessoas com ‘deficiência mental’ empregadas. Para avaliar o impacto do programa sobre esses indicadores, a autora valeu-se de um delineamento quase-experimental com dois grupos de tratamento e um de comparação, cada qual formado por 120 APAEs. Também foi realizado um grupo focal com os coordenadores da Educação Profissional da Federação e 30 entrevistas com portadores de necessidades
especiais participantes da educação profissional das APAEs e alunos dos professores treinados. Os resultados constaram maior aumento no número de oficinas e de aprendizes em educação profissional, bem como nas taxas de emprego, nos dois grupos de tratamento em comparação ao grupo de comparação.
Apesar de extremamente relevantes, os estudos brevemente descritos constituem quase que a totalidade das investigações científicas sobre os efeitos de programas de TD&E sobre o desempenho das organizações. Uma das principais explicações para essa pequena quantidade de pesquisas, como descrita por Borges-Andrade (2002), diz respeito à freqüente indefinição dos indicadores de mudanças organizacionais - referentes ao comportamento da organização ou de suas unidades - associados aos objetivos dos programas de TD&E. Na maioria das vezes, sequer estes últimos são estabelecidos no nível individual, o que torna a tarefa do avaliador ainda mais complexa. Talvez por isso, diferentemente dos níveis anteriores de avaliação, não exista sistematização metodológica capaz de orientar processos de elaboração de modelos de investigação de efeitos de ações educacionais sobre o desempenho de grupos e equipes e organizacional.
No caso de avaliações no nível organizacional que façam uso de indicadores objetivos de resultados, o autor afirma que a principal dificuldade concerne à necessidade de constituir equipes multidisciplinares para a aferição dos efeitos de ações de TD&E em termos, por exemplo, de produtividade e lucratividade. Para Borges-Andrade, apesar da pouca experiência da área de avaliação, há vários métodos disponíveis para avaliação deste tipo de efeitos. Nesta mesma direção, James (1992) relata que, apesar da grande variedade e quantidade de métodos de investigação dos efeitos de treinamentos em termos da relação custo-benefício, a maioria é consideravelmente onerosa à medida que demanda tempo e altos investimentos.
Rowden (2001) também destaca que diversos métodos têm sido usados na tentativa de evidenciar os benefícios financeiros de programas de treinamentos. Alguns destes focalizam nas conseqüências de não treinar os funcionários. Outros envolvem a análise de dados sobre desempenho ou a comparação entre
situações de treinamento e de não treinamento. Segundo o autor, o melhor método provavelmente é o que realiza análises de custo-benefício, processo usualmente longo e minucioso que envolve o cálculo dos custos do treinamento, a avaliação de desempenhos resultantes do treinamento e o cálculo do índice de benefício.
Embora existam alguns indícios favoráveis à utilização das taxas de retorno sobre investimento em TD&E, conforme Burrow e Berardinelli (2003), caso as medidas utilizadas sejam muito amplas - como taxa de retorno sobre investimento, ganhos de produtividade, aumento da satisfação dos clientes ou obtenção de novos mercados - torna-se difícil conectá-las à melhoria de desempenho individual e à aprendizagem planejada por treinamentos. Para esses autores, medidas como as supracitadas são muito amplas e desconectadas do desempenho dos treinandos para refletirem precisamente o relacionamento entre resultados do treinamento e mudanças ou resultados organizacionais.
Neste mesmo sentido, Freitas e Borges-Andrade (2004) afirmam que a avaliação de efeitos de TD&E sobre resultados organizacionais, ao fazer uso de taxas de retorno sobre investimento, torna-se muito abrangente por exigir mensurações de outras mudanças, sobre processos de trabalho, produtividade, clima e cultura organizacional, proporcionados pelos programas. Outras barreiras ainda são apontadas pelos autores, como o tempo necessário para que os efeitos das ações educacionais possam ser observados no nível de resultados, as fontes de informação necessárias, os procedimentos de coleta de dados, a natureza das medidas envolvidas e o controle de variáveis interferentes. Essa discussão, principalmente no tocante ao controle das variáveis interferentes, será retomada adiante.
Outra dificuldade enfrentada por pesquisadores e profissionais de TD&E ao tentarem avaliar o retorno de investimentos em treinamentos, como apontado por Haccoun e Saks (1998), concerne ao tipo de desempenho em questão. Desempenhos que culminem com a geração de produtos concretos, como número de vendas de um determinado produto, por exemplo, tornam mais fácil o estabelecimento de conexões entre ações educacionais e resultados
organizacionais. Em contrapartida, desempenhos mais abstratos, como agilidade na tomada de decisão, por exemplo, dificultam a formação deste tipo de conexão. Conforme os autores, ainda não está claro como variações do desempenho no trabalho podem ser operacionalizadas e mensuradas em muitos casos, especialmente quando habilidades mais abstratas estão sendo treinadas.
Como destacam Kozlowski et al (2000), determinadas habilidades individuais, principalmente aquelas cujos resultados de desempenho são de difícil observação, combinam-se diferentemente, se comparadas aos mecanismos de agregação de outras mais facilmente mensuráveis, para gerar resultados em níveis de análise mais elevados. Processos de agregação por composição, em que os desempenhos individuais são somados para determinação dos efeitos da ação de TD&E nos resultados organizacionais, são precedidos por conexões diretas entre as habilidades visadas pela ação e os efeitos almejados na organização. Por outro lado, agregações baseadas em processos de compilação, nos quais os desempenhos individuais são interdependentes, não podendo, assim, ser apenas somados, exigem o estabelecimento de relações causais não-lineares. De qualquer forma, em ambos os casos, ante a pouca quantidade de pesquisas até então produzida pela área de avaliação de TD&E, pouco se conhece sobre essas relações.
Shelton e Aligger (1993) sintetizam as principais dificuldades na realização deste tipo de avaliação. A desvinculação dos objetivos do programa com o negócio da organização, a dificuldade de reunir as informações necessárias e a impossibilidade da área de esquivar-se da responsabilidade por resultados insatisfatórios decorrente de avaliações dessa natureza são as principais razões que levam pesquisadores e profissionais a evitar a avaliação neste nível. Complementando a discussão, James (1992) relata ainda que nem todos os programas de treinamento são concebidos para gerar resultados organizacionais. Existem muitas ações geradas para promover somente a melhoria de desempenhos individuais, ainda que isso vá de encontro à lógica do investimento organizacional, que prima sobremaneira por resultados em níveis de análise mais elevados.
O mesmo ponto é defendido por Shelton e Aligger (1993), de que a avaliação de efeitos de TD&E no nível de resultados é desnecessária em alguns casos, principalmente quando os objetivos do programa, de fato, não têm a intenção de provocar melhorias nos desempenhos dos grupos e equipes de trabalho ou das organizações. Mais uma vez, destaca-se a importância de que os processos de avaliação de necessidades educacionais façam o devido uso da análise organizacional no intuito de captarem as articulações entre o programa de treinamento enfocado e determinadas dimensões do desempenho da organização estudada.