RESULTADOS EM T&D - integracao.com.br · de reação. Esta avaliação é feita pelos alunos no final do ... aprendizado é a aplicação de uma avaliação antes do treinamento e

RESULTADOS EM T&D

Este texto é parte da dissertação de Mestrado de Fernando Cardoso

Tema da Dissertação: Resultados em e-Learning Corporativo

Mestrado em Tecnologias da Inteligência e Design Digital – PUC - SP

Sabe-se que as pessoas aprendem de maneiras diferentes; e que na realidade o aprendizado é pessoal, que não há duas pessoas que aprendam da mesma forma.

Cada um tem um ritmo diferente, um grau de atenção diferente, aprendem as matérias diferentes de formas diferentes.” Drucker (1993)

A área de Recursos Humanos vem sofrendo grandes evoluções. Ela surgiu para administrar recursos, tendo como principal atividade, na época, o Departamento Pessoal e, como citado, o RH atual passa a ter uma demanda completamente diferente, visto que, na era do conhecimento, sua responsabilidade é por práticas de gestão, clima organizacional, gestão de desempenho e alinhamento estratégico das pessoas com os objetivos estratégicos da empresa, pois toda a atuação do profissional de RH deve estar alinhada com a estratégia da empresa.

E como destaca Milkovich, a relevância da função amplificada de RH ocorre a fim de que esta agregue valor à organização e obtenha resultados.

Direitos autorais: Fernando Cardoso

CAPÍTULO 3

Treinamento, como uma das atividades do RH, também acompanha os mesmos desafios da evolução das atribuições do profissional de RH: a atuação estratégica. O RH passou a ter a responsabilidade de criar um treinamento estratégico, alinhado com os objetivos da organização. E o treinamento “é um processo cíclico e contínuo composto de quatro etapas: diagnóstico, desenho, implementação e avaliação” (CHIAVENATO 1999, p. 297). Todas estas etapas devem estar alinhadas com a estratégia da organização, com destaque para os resultados, pois quando se pensa em estratégia, se pensa em resultados. É nos resultados obtidos que estratégia se encerra. Resultados de cada ação que somados gerarão os resultados organizacionais.


E para obter resultados, a avaliação costuma ser um dos caminhos adotados. Segundo definição de Chiavenato, “A etapa final do processo de treinamento é a avaliação dos resultados obtidos. O programa de treinamento deve ter uma avaliação de sua eficiência”. (CHIAVENATO 2000, p. 515)

Isto porque ”ao se investir em treinamento espera-se que haja aumento de produtividade, mudanças de comportamento, melhoria do clima humano na organização, redução de custos e de acidentes, rotação de pessoal, além de outros resultados” (TOLEDO E MILIONI 1986, p. 89).


É importante verificar alguns dados que retratam como as empresas brasileiras estão mobilizadas para avaliar os resultados de suas ações de treinamento. Segundo a pesquisa Panorama do Treinamento no Brasil – (Cardoso e ABTD, 2016, O PANORAMA DO TREINAMENTO NO BRASIL) , 52% das empresas avalia se houve aprendizado em decorrência da ação de Treinamento e apenas 35% das empresas avaliam como resultado algum impacto no negócio.

Segundo Kirkpatrik (1975) a razão de avaliar é para determinar a efetividade dos programas de treinamento. Todos os gerentes, não só os de treinamento, estão preocupados com a credibilidade de seu departamento, querem ser aceitos na companhia, ter confiança e ser respeitado. E isso é alcançado avaliando e reportando o benefícios atingidos com o treinamento.

Por que avaliar o treinamento? Seguem 3 razões:

• Justificar a existência do departamento de treinamento, mostrando como ele contribui com os objetivos da organização;• Para decidir quando continuar ou descontinuar programas de treinamento;• Para obter informações de como melhorar os próximos programas de treinamento.


O enfoque da avaliação abordado até aqui é essencialmente uma visão da avaliação do treinamento corporativo, considerando também importante um complemento com estudos da avaliação no sistema educacional e acadêmico.

A implantação de um sistema de avaliação deve ter uma série de cautelas, sendo a primeira preocupação, conforme Perrenoud, evitar “hierarquizar” o aluno em incluídos e reconhecidos com um bom conhecimento e os excluídos com conhecimento abaixo da média, defende que a avaliação é um dos principais instrumentos didáticos para acompanhar e melhorar curso e aluno, um instrumento para a correta evolução do processo de ensino, o que vem de encontro com nossa visão corporativa do treinamento empresarial, que deve utilizar a avaliação como principal ferramenta na busca e melhoria dos resultados desejados, mais do que na exclusão de alunos com mau desempenho nas avaliações.

Outro ponto de atenção que afere à avaliação é a dificuldade e subjetividade de avaliar atitudes ou “conteúdos atitudinais”, como bem definido por Zabala. Segundo ele, “Se no caso da avaliação das aprendizagens conceituais e procedimentais a subjetividade faz com que não seja nada encontrar dois professores que façam a mesma interpretação do nível e das características da competência de cada aluno. No âmbito dos conteúdos atitudinais surge uma notável insegurança na avaliação dos processos de aprendizagem que os alunos seguem.” ZABALA (1999, p. 208).


Agora que discutimos a relevância da aferição de resultados nas ações de treinamento, para o profissional de RH e para a organização, vamos analisar qual o modelo mais difundido em avaliação de resultados em treinamento, o modelo de 4 níveis de Kirkpatrick, que está amplamente instituído e é um consenso nas Organizações brasileiras e americanas.

O modelo de avaliação de treinamento de Kirkpatrick é dividido em 4 níveis, nos quais cada nível representa um tipo de avaliação, o primeiro nível é uma avaliação mais superficial até o quarto que representa uma avaliação mais profunda.

O primeiro nível de avaliação de treinamento é a avaliação de reação. Esta avaliação é feita pelos alunos no final do treinamento para atestarem sua satisfação em relação ao mesmo, segundo o autor. é como uma avaliação de satisfação do cliente, onde estamos tratando o aluno com um cliente interno ou externo. Dá-se por um questionário múltipla escolha, eventualmente com algumas questões dissertativas questionando o que o aluno achou do conteúdo do curso, conhecimento do professor, aplicabilidade, condução, local, salas, dentre outros, no final deste capítulo encontre-se um exemplo de ficha de avaliação de reação.


O segundo nível de avaliação é a avaliação do aprendizado. De acordo com Kirkpatrick, existem 3 coisas que os professores podem ensinar em um treinamento: conhecimento, habilidades e atitudes. Mensurar o aprendizado significa mensurar uma ou mais destas:

Que conhecimento foi aprendido?Quais habilidades foram desenvolvidas ou melhoradas?Houve mudança de atitudes?

É importante avaliar o aprendizado, pois não há mudança de comportamento (nível 3) se um ou mais destes objetivos de aprendizado não forem atingidos (KIRKPATRICK, 1975).

Por exemplo, programas que lidam com temas como diversidade buscam mudanças de atitude, treinamentos técnicos tratam de habilidades e programas com tópicos como liderança, motivação e comunicação buscam os três objetivos citados.

Avaliar ganho de conhecimento e mudança de atitude podem ser medidas por meio de avaliações. Ela pode ser realizada de diversas formas, a mais simples é uma prova de conhecimento, que consiste em instrumentos com questões múltipla escolha ou dissertativas. Também podem ser feitas avaliações de atitudes, nas quais o aluno deve concordar ou discordar com declarações simuladas na prova, como um estudo de caso de atitudes.


Outra prática comum nas empresas para aferirem o aprendizado é a aplicação de uma avaliação antes do treinamento e outra após o treinamento. A avaliação pré-treinamento é definida por Perrenoud como avaliação diagnóstica, e “a tarefa do professor como médico é no sentido de cuidado: “nenhum médico se preocupa em classificar seus pacientes, do menos doente ao mais gravemente atingido.

Nem mesmo pensa em lhes administrar um tratamento coletivo. Esforça-se para determinar, para cada um deles, um diagnostico individualizado, estabelecendo uma ação terapêutica sob medida”, desta forma a avaliação tem um objetivo muito mais relevante de direcionar o ensino e aprendizado, melhorar este processo, orientar professores e alunos, do que classificar, categorizar os alunos”. (PERRENOUD, 1999, p.15)


É possível avaliar mudança de habilidades através de uma avaliação de desempenho, que pode ser feita por um professor ou supervisor. Um exemplo é esta aferição no próprio treinamento, pode ser um curso de comunicação no qual pode se realizar avaliação de uma apresentação do aluno antes do curso e outra depois do curso e comparar o ganho em desempenho através da atribuição de notas.

Estas avaliações podem ter outros formatos, como uma prova prática no local de trabalho, a operação com êxito de determinado equipamento ou a operação de um simulador em e-Learning de determinado equipamento ou sistema.


Pode-se também utilizar ferramentas de avaliação 180º, utilizando como avaliação o feedback do supervisor direto, dos pares ou subordinados. Esta avaliação de desempenho pode também ser realizada através de um acordo de metas – projetos e números para serem alcançados – e a posterior aferição.

Guia para avaliação do aprendizado (KIRKPATRICK, 1975):

1. Use um grupo de controle.2. Avalie o conhecimento, habilidades e atitudes antes e depois do programa.3. Faça prova para medir o conhecimento e atitude;4. Utilize teste de desemprenho para medir habilidades;5. Tenha 100% de resposta;6. Utilize os resultados da avaliação para tomar ações apropriadas.


O nível 3 de avaliação segundo Kirkpatrick é a avaliação de comportamento, que verifica o quanto de conhecimento, habilidades e atitudes foi transferido para o trabalho, enquanto o nível 2 avalia se o aluno adquiriu conhecimentos e habilidades, o nível 3 avalia se ele aplicou e o quanto.

Segundo Kirkpatrick, a avaliação deste nível é muito complexa e pouco aplicada no mercado, pois é necessário que o aluno tenha a oportunidade de aplicar o que aprendeu para só então ser avaliado, por ser impossível prever quando a mudança de comportamento ocorrerá e devido ao fato de o aluno, após aplicar sua mudança de comportamento, poderá chegar a diferentes conclusões, como: gostei do que aconteceu e pretendo continuar com este novo comportamento, ou não gostei do que aconteceu e voltarei ao comportamento antigo, ou até, gostei do que aconteceu, mas meu chefe impediu de continuar com este novo comportamento.


Para a avaliação do nível 3, podem ser realizadas entrevistas, pesquisas, questionários ou todos. A seguir, os procedimentos sugeridos por Kirkpartik para esta avaliação:

1. Utilizar um grupo de controle1 , se conveniente;2. Espere um tempo para a mudança de comportamento estar instalada, antes de avaliar;3. Avalie antes e depois do treinamento, se conveniente;4. Pesquise ou entreviste um ou mais dos que seguem:Alunos, superior imediato, subordinados e outros que freqüentemente observam o comportamento em questão;5. Obtenha 100% de resposta do grupo ou da amostra;6. Repita a avaliação na periodicidade apropriada;7. Considere o custo benefício da avaliação.

O quarto nível é a avaliação de resultados, que segundo Kirkpatrick, 1975, é a parte mais difícil de todo o processo de avaliação e o maior desafio dos treinadores.

1Grupo de controle refere-se a comparar um grupo de pessoas que foi treinado com outro que não foi. Esta técnica oferecerá uma melhor evidência se houveram mudanças provocadas pelo treinamento


Alguns temas oferecem maior facilidade, ou viabilidade, para avaliar os resultados, como treinamento de vendas, melhoria de qualidade na produção de determinado produto, redução de acidentes, de “turnover” (saída de colaboradores da empresa) e redução de perdas. Segue os procedimentos sugerido para a avaliação do nível 4:

1. Utilize um grupo de controle, se conveniente;2. Espere um tempo para a mudança de comportamento estar instalada, antes de avaliar;3. Avalie antes e depois do treinamento, se conveniente;4. Repita a avaliação na periodicidade apropriada;5. Considere o custo benefício da avaliação;6. Fique satisfeito com evidencias, caso prova não seja possível.

Neste ponto é importante confrontar dois autores: Kirkpatrik, 1975 com seu livro Avaliação de Programas de Treinamemento e Jack Philips, 2001 em seu livro sobre Retorno sobre o Investimento. Kirkpatrick aprofunda e defende a avaliação dos conhecimentos, habilidades e atitudes e pouco fala de resultados, chegando até a desencorajar uma avaliação tão profunda, já Philips 2001, defende uma profunda pesquisa e avaliação de todos os impactos atingidos com o treinamento e uma metodologia para que seja possível aferir o ROI (Retorno sobre Investimento) com uma ação de treinamento.


Um ponto em comum sobre os dois autores é que ambos defendem que alguns temas são mais viáveis para a avaliação de resultados ou ROI. Philips defende que a aferição do ROI deve ser feita apenas nos projetos de treinamento mais estratégicos, de maior custo e relevância e em temas que ofereçam maior viabilidade para este levantamento, pois será um projeto por si só que despenderá de tempo e recursos.

Outra diferença entre os autores é que Kirkpatrick defende que o ROI está inserido no nível quatro – resultados – de sua metodologia e Philips defende que este seria um quinto nível na metodologia do Kirkpatrick.

O ROI não é um termo exclusivo de treinamento, é mais amplo, é um termo que tem sua origem na área financeira e serve para definir a natureza da própria empresa, o retorno do investimento de uma empresa.

A definição de ROI é, conforme Philips 2001, o valor a porcentagem de ganho com determinado investimento, um exemplo de fácil exemplificação é treinamento de vendas, então é o valor do acréscimo obtido em vendas dividido pelo custo total do projeto de treinamento realizado para obter este ganho em vendas. O resultado vezes 100 será o ROI em porcentagem.


Não é só em vendas que podemos aferir o ROI de um projeto de treinamento, mas podemos melhorar a qualidade de um processo e diminuir a quantidade de produtos com defeito, medindo o custo deste erro e o número de erros antes e depois de nosso projeto, podemos aferir o ROI.

Segundo Charan 2001, o presidente de uma empresa não está preocupado com os detalhes de um projeto de treinamento e sim com o ganho obtido com este treinamento, então o autor nos orienta a olhar sobre o prisma deste ganho e apresentar resultados concretos de nossos projetos. Charan explica que o ROI pode ser obtido não só com aumento de vendas, mas com os 5 principais objetivos de uma empresa: Caixa, Margem, Velocidade, Crescimento e Clientes.

Se o profissional de Treinamento conseguir melhorar o desempenho de algum dos itens citados e mensurar este ganho, estará atuando ativamente na estratégia da empresa. Vamos ver alguns exemplos, como o aumento de vendas citado que irá beneficiar diretamente o crescimento da empresa, um treinamento de crédito e cobrança poderá melhorar o caixa da empresa ou um melhor processo produtivo poderá melhorar a margem de venda de um produto.


Segundo Chiavenato, os programas de treinamento representam um investimento em custo – os c”ustos incluem materiais, tempo do instrutor, perda de produção enquanto os indivíduos estão sendo treinados e por isso estão afastados dos seus cargos – objetiva-se um retorno razoável desse investimento.” Chiavenato (1999, p. 307).

Responder à algumas questões a seguir pode ajudar a determinar a eficácia do programa de treinamento:

As rejeições e refugos foram eliminados? As barreiras foram removidas? Os custos por trabalho por unidade diminuíram? As pessoas se tornaram mais produtivas e felizes? A organização alcançou seus objetivos estratégicos e táticos?

Se as respostas às questões apresentadas foram positiva, o programa de treinamento foi bem sucedido.


Marras comenta sobre alguns dados que poderão servir como avaliação do resultado do treinamento:

Aumento da produtividadeMelhorias na qualidade dos resultadosRedução dos custos (retrabalhos, etc.)Otimização da eficiênciaOtimização da eficáciaModificação percebida das atitudes e comportamentosElevação do saber (conhecimento, conscientização)Aumento das habilidadesRedução do índice de acidentesMelhoria do clima organizacionalAumento da motivação pessoalRedução do absenteísmo (Marras, 2001, p. 161)


Segundo a pesquisa “O Panorama do treinamento no Brasil” (Cardoso e ABTD, 2016, O PANORAMA DO TREINAMENTO NO BRASIL), as organizações têm evoluído na avaliação dos impactos dos programas de T&D ao longo dos últimos anos (comparando com as pesquisas anteriores). A tendência é pela maior utilização dos níveis 3 e 4 (de acordo com os níveis definidos por Donald Kirkpatrick, e 5 definido por Jack Philips):

Nível 1 - Avaliação de Reação dos participantes do programa de treinamento;Nível 2 - Avaliação do nível de conhecimento dos participantes pré e pós treinamento;Nível 3 - Avaliação da aplicabilidade dos conhecimentos e comportamentos no dia a dia dos participantes;Nível 4 - Avaliação dos impactos e resultados de desempenho;Nível 5 - Mensuração do Retorno do Investimento (ROI) do programa;


Este gráfico deve ser entendido da seguinte forma, 76% das ações de treinamento tem avaliação de reação, ou seja o aluno avaliando se o treinamento foi bom e aplicável; 28% tem avaliação de aprendizado onde é verificado se o aluno aprendeu com o curso; 13% dos projetos de treinamento avaliam se o aluno aplicou o que aprendeu, ou seja, se houve mudança de comportamento; 6% dos projetos tem avaliação de resultados, para verificar eventuais impactos sobre o negócio e 3% dos projetos de avaliação de retorno financeiro, onde você divide o ganho financeiro com a intervenção que você realizou com o projeto pelo custo do mesmo.


Quanto maior o nível que se pretende avaliar (resultados e ROI), maior será o esforço e os recursos necessários. É uma tendência do profissional de RH estratégico avaliar e apresentar os resultados de suas ações, mas estes resultados, devido à sua complexidade, devem ser verificados apenas nos principais projetos, já nos outros projetos podemos aferir níveis mais simples de resultados, como será apresentado na pesquisa qualitativa realizada no próximo capítulo.


Modelo de Avaliação de Reação


________

AVALIAÇÃO DO CURSO

CURSO: DATAS: NOME (opcional):

Para possibilitar melhoria contínua, favor responder às perguntas abaixo

Dê uma nota de 1 a 5 para os itens abaixo, considerando:

Péssimo Regular Bom Ótimo Excelente

Programa do Curso:

1. O conteúdo do programa divulgado foi cumprido de forma satisfatória

2. A carga horária do curso foi suficiente

3. Os assuntos foram tratados com a profundidade necessária

Metodologia:

4. A metodologia utilizada facilitou o aprendizado

5. O curso possibilitou participação e troca de experiência

6. O material didático facilitou o aprendizado

Instrutor:

7. O instrutor apresentou-se seguro com relação ao conteúdo

8. As explicações dadas pelo instrutor foram objetivas

9. A linguagem e postura do instrutor foram adequadas

Infraestrutura:

10. As instalações do local atenderam suas necessidades

11. O coffee-break agradou

12. O almoço agradou

13. Os recepcionistas da Integração foram prestativos e atenciosos

14. Considerando todos os fatores, que nota global você atribui ao curso?

15. Se você atribuiu 1 ou 2 para alguma pergunta, por favor, mencione os motivos? Questão: Motivo: ___________ __________________________________________________________________________ ___________ __________________________________________________________________________ ___________ __________________________________________________________________________ 16. Anote abaixo, suas sugestões e/ou críticas para o aperfeiçoamento dos nossos cursos e serviços: _________________________________________________________________________________________ _________________________________________________________________________________________ 17. Gostaria de dar um depoimento sobre este curso para divulgarmos sua opinião? (caso necessário use o verso) _________________________________________________________________________________________ _________________________________________________________________________________________ 18. Quem você indica para fazer esse curso? Nome____________________________________________ E-mail________________________________ Tel._____________________________________ Departamento__________________________________

19. O que fez você (ou sua Empresa) escolher a Integração? _________________________________________________________________________________________

Documents

RESULTADOS EM T&D - integracao.com.br · de reação. Esta avaliação é feita pelos alunos no final do ... aprendizado é a aplicação de uma avaliação antes do treinamento e