Embed Size (px)
Citation preview
.
Profa. Dra. Gardênia AbbadGrupo Pronex-CNPq
Avaliação do Impacto de Avaliação do Impacto de Ações de TD&E no Trabalho Ações de TD&E no Trabalho
e na Organização e na Organização
Estrutura da Apresentação
1. Treinamento, Desenvolvimento e Educação – TD&E
2. Efetividade de ações de TD&E3. Mensuração e Avaliação4. Modelos de Avaliação de Resultados5. Medidas de Avaliação de Impacto no
Trabalho e na Organização
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Informação econhecimento
Textos, artigos, teses, links...(conteúdos)
Aulas, manuais, orientações job aids, (conteúdos + como)
Cursos, oficinas, palestras, laboratórios, fóruns, estágios
(muda o desempenho na atividade)
Combinações de ações educacionais e outras, como QVT
Cursos de média e longa duração, MBAs, mestrados,
doutorados(análise, síntese, avaliação)
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Informação econhecimento
Hierarquia dos objetos de
aprendizagem
Modelo de TD&E
TD&E – Visão SistêmicaTD&E – Visão Sistêmica
Desenho e Execução
Avaliação de Necessidades
Avaliação de Treinamento
Contexto
Organizacional
Efetividade em TD&E
• Efetividade– Alcance de metas– Fazer o que é preciso
fazer.– Desempenho de
qualidade.
• Eficiência:– Fazer mais com menos
recursos– Qualidade dos processos
Avaliar
Mensurar Julgar
Avaliação: processo que inclui coleta de dados e emissão de juízo de valor sobre a efetividade de um dado sistema instrucional.
Mensuração e Avaliação
AVALIAR TREINAMENTO PARA QUE?
• Obter controle sobre o treinamento• Fazer retroalimentação para
treinamento• Tomar decisões sobre treinamentos• Fazer o treinamento funcionar• Tornar treinamento externamente
válido
Mensuração e Avaliação
AVALIAÇÃO DE TREINAMENTO
Pressupostos: existem objetivos e efeitos de T&D em cada nível, bem como uma cadeia de determinação entre eles
Papel da avaliação: utilizar esses objetivos como parâmetros e coletar dados sobre os efeitos nos diferentes níveis e compará-los com os esperados
AVALIAÇÃO FORMATIVA E SOMAVIVA
Avaliação formativa
Coleta de dados realizada durante o processo de desenvolvimento do evento instrucional.
Objetiva a obtenção de informações que validem e/ou indiquem as correções necessárias no desenho instrucional (materiais, estratégias, meios, modalidade etc).
Avaliação somativa
•É realizada após o evento educacional.
•Possibilita julgar um programa já concluído e aprimorar os subseqüentes. •Pode continuar após o evento até que todos os níveis de resultados sejam avaliados ou até que o sistema instrucional inteiro atinja os níveis de eficiência, eficácia e efetividade esperados.
NÍVEIS DE AVALIAÇÃO DE TREINAMENTO
- HAMBLIN 1978 -
Reação
Aprendizagem
Comportamento
Mudança
Valor Final
Satisfação c/ o treinamento
Alcance Objetivos Instrucionais
Impacto no Desempenho
Eficiência da Organização
Eficácia da Organização
NÍVEIS DE AVALIAÇÃO DE TREINAMENTO
Reação
Aprendizagem
Comportamento
Mudança
Valor Final
Modelos Somativos de Investigação
ReaçãoReação
Aprendizagem
Comportamento
Resultados
Valor FinalValor Final
TreinamentTreinamentoo
ClientelaClientela
SuporteSuporte
Preditores Critérios
Ambiente: Suporte / Restrições Situacionais
Modelo Empírico de Avaliação
1. Clientela
2. Treinamento
3. Reações
4. Aprendizagem
5. Impacto
6. Suporte à Transferência
7. Resultados
Representação esquemática do modelo IMPACT de avaliação de TD&E (Abbad, 1999, 2003 e 2006)
5 COMPONENTES
AMBIENTEINSUMOS INSUMOS PROCEDIMENTOS PROCESSOS RESULTADOS
PROCEDIMENTOS
AMBIENTE: APOIO
AMBIENTE:NECESSIDADES
AMBIENTE:RESULTADOS
A LONGOPRAZO
AMBIENTE: DISSEMINAÇÃO
PROCESSO
PROCESSO
INSUMOS RESULTADOSINSUMOS
O que é impacto no cargo ou no trabalho?
Figura 1 – Modelo conceitual de Impacto do treinamento no trabalho e construtos correlatos (Abbad, 1999, Pilati e Abbad, 2005)
Aquisição
Retenção
Generalização
Transferência
Impacto do Treinamento no Trabalho
O que é impacto no nível do indivíduo?
1. ocorrência de melhorias significativas no desempenho específico ou no desempenho geral da pessoa treinada
1. o efeito da aplicação, no trabalho, dos CHAs aprendidos em TD&E.
O que medir?Impacto no Nível do Desempenho
Individual No nível do indivíduo:• afetivos (atitudes frente a pessoas, objetos, aspectos
do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental)
• cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade)
• psicomotores (velocidade, fluidez)• fisiológicos (saúde, doença e aptidão física)• instrumentais intrínsecos (autonomia, elogios e
ridicularização)• Instrumentais extrínsecos (aumento, promoção e
novos trabalhos)• instrumentais relacionais (networking, relações de
colaboração, capacitação de outras pessoas)• instrumentais não relacionados ao trabalho
(mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida)
• Medir observando ou perguntando?– Dificuldades para
observar desempenhos complexos, ou não rotineiros e para evitar ingerências no trabalho
– Perguntas são as melhores alternativas, além de exigirem custos e esforços menores
– Análises de conteúdos de perguntas abertas muito freqüentemente apoiam dados quantitativos
• Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações?– Combinação seria o
ideal – Validade e alta
precisão confirmadas seguidamente
– Supervisores e colegas às vezes mais rigorosos que treinandos.
• Estudos permitiram avanços importantes nesse nível de avaliação
Como medir impacto no trabalho individual?
20
Impacto em largura ou amplitude: refere-se aos efeitos globais do treinamento no desempenho e atitudes do participante, medido em termos de indicadores genéricos de desempenho.
Impacto em Profundidade: refere-se aos efeitos específicos do treinamento em atividades diretamente relacionadas às habilidades adquiridas no curso.
Tipos de Impacto do Treinamento
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM AMPLITUDE
Auto-Avaliação de Impacto do Treinamento no Trabalho - Amplitude
Utilizo com freqüência as habilidades que aprendi no treinamento.
Sugiro com mais freqüência mudanças nas rotinas de trabalho.
Estou mais receptivo a mudanças.
Meus colegas aprendem comigo.
Aproveito as oportunidades que tenho para praticar as novas habilidades.
Cometo menos erros no meu trabalho
Recordo-me bem dos conteúdos que aprendi no curso.
Realizo meu trabalho com maior rapidez.
Melhorou a qualidade do meu trabalho.
Melhorou a qualidade do meu trabalho em tarefas não relacionadas ao curso.Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e
Abbad., 2005
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE – Auto
Auto-Avaliação de Impacto do Treinamento no Trabalho - Profundidade
Promovo o processo de integração grupal de minha equipe, potencializando os aspectos facilitadores e minimizando os dificultadores desse processo.
Incentivo a participação dos membros da equipe na identificação de problemas e suas possíveis causas.
Incentivo a participação dos membros da equipe no planejamento, nas decisões e na busca de soluções.
Estimulo a criatividade da equipe potencializando os fatores facilitadores e minimizando os dificultadores.
Solicito feedback aproveitando as observações feitas pelos pares e outros colaboradores para fazer a auto-crítica.
Dou feedback aos colaboradores de maneira adequada e eficaz.
Transmito mensagens com clareza, certificando-me da compreensão.Este tipo de instrumento é específico e construído para cada curso.
I MPACTO EM PROFUNDIDADE TREINAMENTO NO TRABALHO - ECONOMIA APLICADA
1. Toma decisões com base nos impactos decorrentes da expansão/ contração dos meios de pagamento da atividade econômica.
2. Prospecta oportunidades de negócio, gerando soluções inovadoras ao mercado em que atua.
3. Detecta potenciais/reais ameaças ao desempenho do Banco, antecipando-se à concorrência na apresentação de soluções.
4. Conduz o processo negocial de acordo com a estrutura do mercado em que o cliente atua.
5. Utiliza indicadores econômico – financeiros para apoiar decisões negociais.
6. Avalia metas com base em seus indicadores econômicos financeiros.
7. Baliza decisões sobre oferta e demanda de produtos e serviços (exemplo créditos, seguro) com base na evolução dos principais indicadores macroeconômicos do país (PIB, juros, câmbio, finanças públicas, balança de pagamento) e nas análises setoriais.
8. Conduz o processo negocial de acordo com a análise do contexto da economia internacional (comércio internacional, balança de pagamento, mercado cambial, blocos econômicos, globalização, dívida externa).
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE
Hetero
O que mais medir e avaliar?
• Suporte ao treinamento• Suporte à transferência de treinamento• Suporte à aprendizagem
Porque lutei tanto para aprender a
nadar?!!!
Eureka!
Praia da TransferênciaPraia da Transferência
Suporte à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1).
Fator 1: Suporte Gerencial e Social à Transferência Freq.
Meu chefe encoraja a aplicação.
Meu chefe planeja comigo o uso das novas habilidades.
Recebo as informações necessárias ao uso eficaz das novas habilidades.
Meu chefe remove obstáculos e dif iculdades ao uso eficaz das novas habilidades.
Meu chefe encoraja-me a aplicar no trabalho o que aprendi no treinamento.
Recebo elogios pelo uso correto das novas habilidades.
Minhas sugestões são levadas em consideração.
Recebo as orientações e informações necessárias à aplicação eficaz das novas habilidades.
Recebo apoio dos colegas experientes.
Minhas tentativas de uso das novas habilidades passam despercebidas.
Tenho oportunidades de utilizar no trabalho o que aprendi no curso.
São ressaltados os aspectos negativos à aplicação das novas habilidades.
Exemplo de Medida de Apoio
Abbad, 1999Abbad e Sallorenzo, 2001
Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho (fator 1).
Suporte Material à Transferência Freq.
Os recursos materiais estão em boas condições de uso.
A organização fornece recursos em quantidade suficiente.
A organização fornece os recursos materiais necessários.
As ferramentas de trabalho são compatíveis com a aplicação eficaz das
novas habilidades.
O local de trabalho é adequado à aplicação das novas habilidades.
Exemplo de Medida de Apoio
29
Impacto no nível de Mudança e Valor Final
Mudança refere-se aos efeitos produzidos por eventos educacionais nos processos de trabalho dos grupos e da organização. Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos.
Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de produtividade e eficácia.
No nível da equipe:• afetivos (coesão, satisfação, auto-eficácia,
ambigüidade de papéis e orientação para tarefa)
• cognitivos (conhecimento possuído e representado)
• de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação)
• instrumentais intrínsecos (responsabilidades e variedade de trabalho recebido)
• instrumentais extrínsecos (bônus)• instrumentais de qualificação
(certificações formais)
O que medir ?Impactos no nível das equipes
No nível da organização:• relativos a metas de produtos (quantidade,
qualidade, variedade)• relativos a metas do sistema (crescimento,
lucro, retorno de investimentos)• aquisição de recursos (novos clientes,
compra de outras organizações)• constituintes (satisfação de consumidores
e acionistas, imagem)• de processos internos (novas tecnologias,
clima, absenteísmo, rotatividade, taxas de acidentes)
O que medir?Impacto no Nível da Organização
Como medir impacto nos níveis de mudança
organizacional?• Questões equivalentes às do nível anterior:
– Foco no comportamento da organização ou de suas unidades
– Medidas de observação e perguntas são usadas– Mudanças (deduzidas dos objetivos) a serem
detectadas na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes
• Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D
• Escores relativos a comportamento no cargo sistematicamente maiores que os de mudança organizacional
• Há muito por avançar. Caminho está traçado e parece ser equivalente ao do nível anterior
Questões no nível de VALOR FINAL
• Muda o quadro de referências
– da Psicologia, Educação e Administração para a Economia
• Identificação e cálculo dos parâmetros da avaliação
– Que objetivos de T&D aprendidos levariam a mudanças no trabalho dos indivíduos e na organização, que levariam a que indicadores de custo e benefícios?
– Existe tecnologia de coleta e análise de dados, dependente de grande motivação e capacitação organizacionais e elevados e duradouros investimentos em T&D
• Raramente consegue-se implementar esse nível
– Existe relato de uma experiência nacional
– Experiências internacionais só relatadas por um grupo de pesquisadores
Desafios
Construção de medidas
• Construção de medidas de transferência ou impacto em profundidade
• Comparação com medidas de impacto em amplitude
• Auto e hetero • Melhoria dos desenhos
Desenho pré e pós-teste
• Delinear estudos que testem as habilidades iniciais e finais
• Uso de grupo de comparação
Mais desafios....
E a avaliação de treinamentos a distância, e-learning, cursos híbridos? O que muda?
• Acompanhamento de processos de aprendizagem individual e em grupo
• Análise das interações • Avaliação dos ambientes
virtuais• Avaliação do tutor • Estudos sobre evasão e
distância transacional
Resultados de Pesquisas
Científicas Nacionais e Estrangeiras
Características metodológicas das pesquisas nacionais e estrangeiras
Método Pesquisas nacionais Pesquisas estrangeiras
Amostra
Profissionais de nível superior e médio (2º grau completo).16 a 65 anos de idade.
Profissionais de nível superior e médio (2º grau completo) e estudantes universitários.Jovens
Organizações Públicas, Privadas e de diferentes setores econômicos. Bancos, prestadoras de serviços de telecomunicações, empresas de pesquisa, saúde, financeira, tribunais, escola técnica, energia elétrica, transporte de passageiros,universidades, escola de governo, entre outros.
Públicas, privadas, forças armadas, universidades e empresas de diferentes setores econômicos.
Coleta de dados
Aplicação de questionários, observação direta, análise documental, entrevistas.
Aplicação de questionários e testes.
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Método Pesquisas brasileiras Pesquisas estrangeiras
Fontes de informação
Auto-avaliação, hetero-avaliação (pares e supervisores), análise documental e bases secundárias de dados.
Auto e hetero-avaliação.
Medidas de efetividade
Reações (escalas específicas) Aprendizagem (escores em provas, exercícios práticos).Medidas de impacto em amplitude e profundidade. Impacto em resultados e valor final.
Reações (escalas específicas)Medida de impacto em profundidade.
Análise do relacionamento entre variáveis
Regressão múltipla stepwise, padrão e sequencial, correlação canônica, equação estrutural, ANOVAS, ANCOVA, Análise de Clusters.
Equação estrutural, regressão hierárquica, ANCOVA, MANCOVA e MANOVA
Características metodológicas das pesquisas (cont.)
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Apoio ou SuporteApoio ou Suporte
Disseminação
InsumoInsumoClientelaClientela
ProcedimentoProcedimento
Processo
Processo
ResultadosResultados1 e 2
RESULTADOS
334455
NECESSIDADES
Modelo de Avaliação Integrada e Somativa de Sistemas Instrucionais – MAIS - Borges-Andrade
Escalas Validadas Escalas Validadas AutoresAutores
Auto-eficácia Meneses, 2002.
Locus de controle Meneses, 2002.
Auto conceito profissional Tamayo, 2002.
Valor instrumental do treinamento Lacerda, 2002; Pilati, 2004.
Motivação para aprender e para transferir a aprendizagem
Abbad, 1999; Lacerda, 2002.
Comprometimento com a carreira Rodrigues, 2000.
Comprometimento no trabalho Bastos, 1994; Rodrigues, 2000; Pilati, 2005.
Estratégias de Aprendizagem
Zerbini, 2003.
Hábitos de estudo Zerbini, 2003; Brauer, 2005
Crenças sobre sistemas de treinamento
Freitas, 2005
Indicadores de prazer e sofrimento Mendes, 1999; Mota, 2002.
Motivação para aplicar Pilati, 2004.
Estratégias para aplicar no trabalho o aprendido em treinamento
Pilati, 2004.
Medidas de avaliação de Características da Clientela Medidas de avaliação de Características da Clientela (Insumos)(Insumos)
InsumosInsumos Procedimentos Processos Apoio Disseminação
Medida relativa a ProcedimentosInstrumento Autor
Taxonomia de treinamentos (cinco categorias) Pilati, 2005
Medidas de avaliação de Processos
Medidas Autor
Uso dos recursos da internet em curso a distânciaEscores em exercícios e testes intermediários
Pilati, 2005Borges-Ferreira, 2005
Insumos Procedimentos Processos Apoio Disseminação
Instrumentos ValidadosInstrumentos Validados AutoresAutores
Suporte organizacional Abbad, Pilati e Borges-Andrade, 1999
Suporte à transferência de treinamento (Suporte psicossocial e Suporte Material)
Abbad, 1999; Abbad e Sallorenzo, 2000.
Falta de Suporte à transferência de curso a distância
Carvalho, 2003.
Suporte à aprendizagem contínua Freitas e Pantoja, 2003
Suporte à Aprendizagem Coelho Jr., 2004
Barreiras à conclusão de treinamento a distância
Brauer, 2005
Modernidade organizacional Del Maestro, 2005
Medidas de Avaliação do Ambiente - Apoio ou Medidas de Avaliação do Ambiente - Apoio ou SuporteSuporte
Medida de Avaliação do Ambiente - DisseminaçãoInstrumento Validado Autora
Disseminação de informações sobre treinamento Meira, 2004
Insumos Procedimentos Processos Apoio Disseminação
Principais resultados das pesquisas nacionais e estrangeirasVariáveis Preditoras
Pesquisas Nacionais Pesquisas Estrangeiras
Insumos ou Clientela
Gênero, idade, tempo transcorrido desde no término de nível superior, escolaridade, cargo, motivação para aprender, comprometimento, intenção em aplicar o aprendido, auto-eficácia, valor instrumental, motivação para aplicar, crenças sobre o sistema de treinamento, conhecimento anterior sobre temas abordados no treinamento, estratégias para aplicar o aprendido no trabalho.
Motivação para aprender, conscienciosidade, ansiedade, nível de agressividade, traço de personalidade, adaptabilidade, emoções, tipo de orientação para objetivos, estratégias de aprendizagem (cognitivas e afetivas), estratégias de aplicação das habilidades, capacidade de imaginação (imagery), auto-eficácia, locus de controle e idade.
InsumosInsumos Procedimentos Processos Apoio Disseminação
Insumos Procedimentos Processos Apoio Disseminação
Principais resultados das pesquisas nacionais e estrangeiras
Variáveis Preditoras
Pesquisas Nacionais Pesquisas Estrangeiras
Procedimentos Similaridade entre situação de treinamento e realidade de trabalho, características do plano instrucional (clareza e precisão dos objetivos), natureza do objetivo principal,uso de exercícios práticos, categoria taxonômica do treinamento, crenças sobre o sistema de treinamento
Estabelecimento de objetivos (específicos e difíceis) em treinamento, estabelecimento de objetivos combinado com feedback, procedimentos multimídia, abordagem humanista, estímulo ao desenvolvimento de conhecimento estratégico, estratégia instrucional múltipla (aquisição de conhecimentos e aplicação da habilidade), modelação comportamental.
ApoioSuporteClimate to transfer
Suporte à transferência (psicossocial ou gerencial/social e material), suporte organizacional (gestão do desempenho e valorização do servidor), expectativas de suporte após o evento instrucional (contexto pré-treinamento), suporte à aprendizagemfalta de suporte à transferência de treinamento a distância
Clima para transferência como preditor robusto de impacto do treinamento no trabalho.
Principais resultados das pesquisas nacionais e estrangeiras
Insumos Procedimentos Processos Apoio Disseminação
Entre as mais fortes variáveis explicativas de impacto do treinamento (nível 3) foram:
•Suporte à transferência (gerencial/social), •Reações ao treinamento•Valor Instrumental do treinamento•Estratégias para aplicar o aprendido no trabalho
Continuam pouco claros os resultados de pesquisas relacionando os primeiros três níveis de avaliação (baixas correlações de aprendizagem com os níveis 1 e 3).
Grande parte das pesquisas incluiu variáveis de suporte (maior parte de suporte à transferência) em seus modelos de avaliação.
Em quase todos os casos suporte psicossocial à transferência foi a variável que explicou maior porção da variabilidade das respostas de impacto do treinamento no trabalho.
Resultados esses que corroboram outros similares aos obtidos por Roullier & Goldstein, 1993; Warr, Allan & Birdi, 1999 e outros mencionados por Salas & Cannon-Bowers, 2001
Variáveis como suporte organizacional e suporte à aprendizagem exercem influência distal sobre transferência (nível 3), porém menor do que o exercido suporte à transferência
Discussão
