Universidade de Brasília Instituto de Psicologia - IP Departamento de Psicologia Social e do Trabalho - DPST Programa de Pós-Graduação em Psicologia Social,

Universidade de Brasília Instituto de Psicologia - IP

Departamento de Psicologia Social e do Trabalho - DPSTPrograma de Pós-Graduação em Psicologia Social,

do Trabalho e das Organizações - PG/PSTOMestrado

Avaliação de Necessidades de Treinamento: Proposição e Aplicação de um Modelo Teórico-MetodológicoMestrando: Rodrigo R. Ferreira – [email protected]

Orientadora: Profa. Dra. Gardênia da Silva Abbad

Brasília, Agosto de 2009

Estrutura da Apresentação

02/28

Quadro Teórico de Referência

Objetivos da Pesquisa

O Modelo de ANT Proposto

Método

Resultados

Discussão

Considerações Finais

Lacunas na definição de ANT e necessidades de treinamento entre os níveis de análise (Mossholder & Bedeian, 1983; Koslowski et al., 2000; Ferreira & cols., 2009)

Necessidade de integração dos sistemas de treinamento (Abbad, Freitas & Pilati, 2006)

Questões Teóricas03/28




Método

Resultados

Discussão


Modelos existentes de Avaliação de Necessidades de Treinamento (ANT) não consideram a análise do contexto para determinar necessidades (McGehee & Thayer,1961; Wexley, 1984; Latham,1988; Ostroff & Ford, 1989; Clarke, 2003)

Questões Empíricas04/28




Método

Resultados

Discussão


Por mais de 40 anos, práticas e pesquisas de ANT pouco sistemáticas e com enfoque ad-hoc (Taylor, O’Driscoll & Binning, 1998; Ferreira & cols., 2009)

Necessidades de Treinamento pouco alinhadas às estratégias institucionais e aos interesses dos trabalhadores (McGehee & Thayer,1961; Moore & Dutton, 1978; Ostroff & Ford, 1989; Abbad, Freitas & Pilati, 2006)

Há poucos modelos de ANT testados empiricamente (Clarke, 2003)

Análise Sistemática da Literatura (n = 49)

05/28




Método

Resultados

Discussão


País(es)Frequência

dePesquisas

Inglaterra 15Estados Unidos 9

Canadá 3China 3

Indonésia 3Transnacionais 3

Brasil 2Grécia 2Kuwait 2

Austrália 1Holanda 1Irlanda 1

Sri Lanka 1Turquia 1

Não informado 2

Desenho de Pesquisa FrequênciaSurvey 32Teórico 11

Estudo de Caso 3Pesquisa-Ação 3

Níveis de Análise FrequênciaMicro 15Meso 8Macro 7

N/A 19

Área FrequênciaAdministração 23

Medicina/Enfermagem 12Psicologia 7Educação 3Marketing 1

Gestão Pública 1TI 1

Economia 1

Lacunas Identificadas 06/28




Método

Resultados

Discussão


Na Psicologia, foco predominante no nível micro

Na Administração, foco distribuído entre os níveis, mas práticas e pesquisas ad-hoc

Pouco consenso sobre como medir necessidades de treinamento

Carência de estudos empíricos que descrevam a relação entre necessidades e contexto

Poucas considerações acerca do uso das taxonomias de resultados de aprendizagem para descrever necessidades de treinamento

GeralPropor e aplicar modelo teórico-metodológico

de ANT em ambientes organizacionais

(a) Analisar sistematicamente a literatura sobre ANT

(b) Descrever modelo teórico-metodológico de investigação

(c) Descrever as mudanças e os desafios que uma organização pública passará nos próximos anos

(d) Descrever as competências necessárias para determinada área de uma organização pública

(e) Descrever onde estão lotados profissionais que precisam desenvolver competências

(f) Descrever a relação entre o contexto de uma organização e necessidades de treinamento

(g) Construir e validar instrumento de ANT

Específicos

Objetivos da Pesquisa 07/28




Método

Resultados

Discussão



08/28

Modelo TeóricoQuadro

Teórico de Referência



Método

Resultados

Discussão


09/28




Método

Resultados

Discussão



Modelo Teórico – Classificação de Necessidades

Níveis de Análise: Organizacional (macro) De Macroprocessos (meso) De Grupos Ocupacionais (meso) Individual (micro)

Domínios do Indivíduo: Cognitivo Afetivo Psicomotor

10/28




Método

Resultados

Discussão



Modelo MetodológicoAnalisar contexto interno e

externo da organização

1 Escolher participantes

Identificar mudanças e desafios para a organização e competências necessárias

2

Definir indicadores e construir instrumento de ANT

3

4Validar teoricamente instrumento de ANT

Aplicar instrumento de ANT, definir IPG, classificar necessidades

5

Planejamento Instrucional

*7 .Transformar necessidades de treinamento em objetivos instrucionais *7.1 .Escolher modalidade de treinamento *7.2. Estabelecer sequência de ensino

*7.3 .Criar/Escolher procedimentos de treinamento *7.4 .Definir critérios de avaliação

*7.5 .Testar desenho instrucional

ANT no nível

Macro

ANT no nível Meso

ANT no nível Micro

Natureza: qualitativa e exploratória

Amostra: não-probabilística de conveniência

Modelo metodológico parcialmente aplicado (etapas 1 à 5)

Método 11/28

Características Gerais da PesquisaQuadro




Método

Resultados

Discussão


12/28




Método

Resultados

Discussão


MétodoEtapas Metodológicas da Pesquisa

Método

Descrição da

Organização

GruposFocais

EntrevistasSemi-

Estruturadas

Concepção e Validação

do Instrument

oEtapas 1, 2 e 3 do

Modelo Metodológico Etapa 4 do

Modelo Metodológico

Etapa 5 do Modelo

Metodológico

13/28




Método

Resultados

Discussão


Descrição da Organização Tribunal de Contas da União (TCU) -

Brasília (DF) Principal Competência: exercer controle externo

sobre as contas dos administradores e demais responsáveis por dinheiro, bens e valores públicos federais e as contas de qualquer pessoa que puder gerar prejuízo à coisa pública

Foco da Pesquisa: Fiscalização de Obras Públicas

(Secretaria de Fiscalização de Obras – Secob)

Temas de Maior Significância para a área (TMS): Programa de Aceleração do

Crescimento Fiscalização de Obras Públicas

Instrumento

Entrevistas

Grupos Focais

Organização

14/28Grupos Focais Participantes

n = 30; 28 válidos Função: diretores, assessores, secretários e

analistas Tempo de Trabalho no TCU:

M = 11,09 anos; DP = 5,46.

Formação: 59,2% Administração; 55,5% Engenharia; 51,8% Direito.

Faixa Etária: 42,9% entre 31-40; 46,4% entre 41-50; 10,7% mais de 50.




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização

15/28Grupos Focais

Análise dos Dados Análise de Conteúdo proposta por Bardin (2009) e

Silverman (2009)

Instrumento – questionário com 3 perguntas abertas:

(1) Os principais desafios e mudanças que o TCU enfrentará em fiscalização de obras nos próximos anos são:

(2) As competências necessárias para o alcance do sucesso da atividade de fiscalização de obras nesses próximos anos são:

(3) Os profissionais que precisam desenvolver essas competências estão lotados no(a):

Procedimentos de Coleta dos Dados – 3 etapas Respostas individuais ao questionário Respostas ao questionário em sub-grupos Consolidação das respostas globais do grupo




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização

16/28Entrevistas (semi-estruturadas)

Análise dos Dados Análise de Conteúdo – matrizes de análise

Participantes 4 homens e 2 mulheres (todos lotados na Secob) 2 diretores e 4 analistas

Instrumentos Roteiro de entrevista Questionário aberto (sugestões de melhoria de conteúdo)

Procedimentos de Coleta dos Dados – 2 etapas Preenchimento do questionário pelo participante Perguntas abertas feitas pelo pesquisador Tempo aproximado: 55 minutos




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização

17/28Concepção e Validação do Instrumento de ANT

Análise dos Dados Concordância a partir de 80%; Itens com 60% de concordância foram analisados por

inspeção de dados, moda e pertinência item/categoria; Itens com menos que 60% foram descartados; Foram descartados itens imprecisos.

Participantes 2 homens e 3 mulheres. Todos analistas Tempo de trabalho no TCU: M = 5,45 anos; DP = 4,42

Validação por Juízes

Instrumento Questionário fechado contendo categorias e itens de

competências

Procedimentos de Coleta dos Dados Indivíduos deveriam relacionar cada item à uma categoria Tempo médio de duração: 16 minutos (DP = 3,38)




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização


Validação Semântica Instrumento

35 itens de competências 2 escalas de 11 pontos (0 a 10) do tipo Likert:

Importância: 0 = “sem importância para minha atuação profissional”; 10 = “muito importante para minha atuação profissional”

Domínio: 0 = “não tenho domínio dessa competência”; 10 = “domino completamente essa competência”

5 categorias de conteúdo: Competências de Comunicação Competências Gerais em Auditoria Competências Instrumentais Competências Específicas em Fiscalização de Obras Competências Emergentes em Fiscalização de Obras

8 itens de desafios e mudanças 1 escala de 11 pontos (0 a 10) do tipo Likert:

Intensidade: 0 = “não gera necessidade de treinamento”; 10 = “gera intensa necessidade de treinamento”




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização


Participantes 3 homens e 2 mulheres. 3 analistas e 2 diretores Tempo de trabalho no TCU: M = 8,95 anos; DP = 5,74

Validação Semântica

Procedimentos de Coleta dos Dados Aplicação piloto do instrumento de ANT Tempo médio: 14 minutos (DP = 2,87)

Análise dos Dados Análise de Conteúdo – matrizes de análise




Método

Resultados

Discussão


Instrumento

Entrevistas

Grupos Focais

Organização

Discussão


Mudanças e Desafios Definição Constitutiva

Legislação Ambiental (f=4)Refere-se aos desafios e às mudanças impostas pelo modo como o TCU aplica a legislação ambiental vigente na fiscalização de obras públicas.

Gestão do Conhecimento (f=5)

Refere-se ao desafio de sistematizar a aquisição, a produção e a disseminação de conhecimentos sobre fiscalização de obras públicas no TCU.

Disputa Interna por Recursos Humanos (f=6)

Refere-se ao desafio de alocar e reter servidores na atividade de fiscalização de obras públicas no TCU.

Mudança Estrutural do Mercado (f=4)

Refere-se aos desafios e às mudanças impostos à fiscalização de obras por variações estruturais no mercado, como: preço, nível de investimento privado e privatizações.

Pressões Políticas e do Mercado (f=10)

Refere-se às pressões exercidas pelo governo, sociedade e mercado que impactam o processo de fiscalização de obras públicas do TCU.

Aumento da Demanda (f=5)Refere-se ao impacto no processo de fiscalização de obras públicas causado pelo aumento da quantidade de obras a serem fiscalizadas pelo TCU.

Políticas e Práticas de TD&E (f=11)

Refere-se aos desafios de criar políticas e aprimorar as práticas de TD&E voltadas para a fiscalização de obras públicas no TCU.

Resultados 20/28

Mudanças e Desafios para Fiscalização de Obras

Aumento da Complexidade das Análises (f=16)

Refere-se ao aumento da complexidade técnica dos empreendimentos bem como à inserção de novas tecnologias na área que impactam na fiscalização de obras públicas do TCU.




Método

Resultados

Resultados 21/28

Competências Necessárias na Atividade de Fiscalização de Obras




Método

Resultados

Discussão


Competências Definição Constitutiva

Competências de Comunicação (f=12)

Refere-se à capacidade de expressar-se verbalmente e por escrito com o intuito de comunicar resultados de auditoria, trocar informações com outros órgãos, unidades e profissionais, estabelecer parcerias com outras instituições e atuar em equipes de trabalho.

Competências Gerais em Auditoria (f=11)

Refere-se aos conhecimentos, habilidades e atitudes necessários à realização de auditorias em diversas áreas do TCU.

Competências Instrumentais (f=17)

Refere-se aos conhecimentos e habilidades necessários a coleta, tratamento, análise e interpretação de dados ligados à atividade de fiscalização de obras públicas no TCU.

Competências Específicas em

Fiscalização de Obras Públicas (f=17)

Refere-se aos conhecimentos, habilidades e atitudes específicos da área de Engenharia, necessários à fiscalização de obras públicas no TCU.

Competências Emergentes em

Fiscalização de Obras Públicas (f=18)

Refere-se aos conhecimentos, habilidades e atitudes necessários para fiscalizar obras públicas em áreas inovadoras e especializadas.

Resultados 22/28

Onde estão lotados os profissionais que precisam desenvolver competências




Método

Resultados

Discussão


Local Exemplo de Relato

Na SECOB – Secretaria de Fiscalização de Obras (f=4)

1. “SECOB - especialistas em métodos e técnicas construtivas.".

2. "A parte de competências especificas, na SECOB...”.

3. "SECOB".4. “Profissionais da Secob.”

Nas SECEX – Secretarias de Controle Externo localizadas nos

Estados – e nos Gabinetes (f=6)

1. "SECEX e gabinetes - especialistas em licitações, fiscalização, contratos e responsabilização.".

2. "SECEX (principalmente estados) - especialistas em auditoria (verificação de critérios e evidências, interlocução com partes interessadas), e obras (escalonado).".

3. "Secretarias típicas (SECEX estaduais de 1ª à 6ª)".4. "Gabinetes".5. “Nos Gabinetes.”6. “Nas SECEX e nos Gabinetes.”

Em todo o Macroprocesso de Fiscalização de Obras

(f=4)

1. “Todos os profissionais que trabalham com obras ou analisam processos de obras.".

2. "Estratégico: Todos os envolvidos com menos profundidade.".

3. "Em todas as unidades técnicas que desenvolvem trabalhos de fiscalização de obras.".

4. “Estão distribuídos por todo o tribunal!”.

Resultados 23/28

Relação observada entre contexto e necessidades de treinamentoQuadro




Método

Resultados

Discussão


Mudanças e Desafios do Contexto

Internos(as) Externos(as)

Gestão do Conhecimento

Políticas e Práticas de

TD&E

Disputa Interna por Recursos

Humanos

Aumento da Complexidade das Análises das Obras

LegislaçãoAmbiental

Mudança Estrutural do

Mercado

Aumento da Demanda

Pressões Políticas e do

Mercado

Competências

Competências de Comunicação

Competências Instrumentais

Competências Gerais em Auditoria

Competências Específicas em Fiscalização de Obras Públicas

Competências Emergentes em Fiscalização de Obras Públicas

Resultados 24/28

Versão final do instrumento de ANT




Método

Resultados

Discussão


47 itens no total 39 itens de competências agrupados em cinco

categorias de conteúdo: Comunicação (6 itens) Competências Gerais (9 itens) Competências Instrumentais (8 itens) Competências Específicas (5 itens) Competências Emergentes (11 itens)Ex.: “Fiscalizar obras públicas que utilizem novas técnicas de

misturas betuminosas em sua construção”

8 itens de desafios e mudançasEx.: “Aplicar a legislação ambiental vigente na fiscalização de obras

públicas” 3 escalas do tipo Likert de 11 pontos (0 a

10) Importância: 0 = “sem importância para minha atuação

profissional”; 10 = “muito importante para minha atuação profissional” Domínio: 0 = “não tenho domínio dessa competência”; 10 = “domino

completamente essa competência” Intensidade: 0 = “não gera necessidade de treinamento”; 10 = “gera

intensa necessidade de treinamento”

A aplicação do modelo proposto mostrou-se útil para responder questões presentes na literatura, como:

Definição de ANT e necessidades de treinamento entre os níveis de análise (Koslowski et al., 2000; Ferreira & cols., 2009)

Descrição da relação entre contexto e necessidades de treinamento (McGehee & Thayer,1961; Clarke, 2003)

Alinhamento entre estratégia organizacional e necessidades de treinamento (Ostroff & Ford, 1989)

Classificação de necessidades de treinamento de acordo com taxonomias de resultados de aprendizagem (Abbad, Freitas & Pilati, 2006)

Integração dos sistemas de treinamento (Abbad & cols., 2006)

Descrição de indicadores precisos de competências passíveis de mensuração (Borges-Andrade & Lima, 1983)

Concepção e validação teórica de instrumento de ANT (Hicks & Henessy, 1997)

Discussão 25/28




Método

Resultados

Discussão


Contribuições Sociais Possível melhora na eficiência e na eficácia dos serviços

fornecidos pela organização à sociedade

Maior transparência e efetividade dos investimentos públicos em TD&E

Contribuições Institucionais Agregação de rigor aos processos de ANT da organização

estudada

Alinhamento de necessidades de treinamento ao planejamento estratégico da organização

Contribuições Acadêmicas Delineamento do estado da arte da produção sobre ANT

Concepção e aplicação de modelo de ANT

Definição do processo de ANT e de necessidades de treinamento de acordo com os níveis de análise

Integração entre os sistemas de treinamento

Considerações Finais 26/28




Método

Resultados

Discussão


Considerações Finais Limites da Pesquisa

O modelo proposto não distingue situações que podem ser resolvidas por meio de treinamento daquelas que não podem

O delineamento da pesquisa não permite generalização dos resultados

As considerações sobre níveis de análise necessitam de aporte robusto de teorias multinível

27/28

Agenda de Pesquisa Testar integralmente o modelo teórico-metodológico proposto

Realizar estudos correlacionais de ANT

Testar a pertinência da escala de intensidade para aferir a influência do contexto em necessidades de treinamento

Desenvolver método de ANT que distinga situações que podem ser resolvidas por meio de treinamento

Desenvolver método de ANT que contemple características do indivíduo, variáveis de suporte organizacional e clima para transferência




Método

Resultados

Discussão


28/28

[email protected]

“...pensar é exercício de alegria,entre veredas de erros, cordilheiras de dúvidas,

oceanos de perplexidade...”Carlos Drummond de Andrade

Poema: Alceu, Radiante EspelhoObra: Amar se Aprende Amando

Documents

Universidade de Brasília Instituto de Psicologia - IP Departamento de Psicologia Social e do Trabalho - DPST Programa de Pós-Graduação em Psicologia Social,