Colec..o Avalia..o n. 01 - elearning.iefp.pt · 007 009 013 019 051 105 Índice Prefácio Introdução PARTE 1 Apresentação do caderno Parte 2 Terminologia utilizada no contexto

Avaliação

Colecção Avaliação

Glossário Anotado

Instituto para a inovaçãona formação

inofor

da Formação

Ficha Técnica

Biblioteca Nacional Catalogação na Publicação

Avaliação da formação:glossário anotado/Zelinda Isabel Jorge Cardoso...(et al.). [ ] -

Avaliação da formação. Glossário anotado : 1)ISBN 972-8619-43-X

I-Cardoso. Zelinda Isabel Jorge. 1969-

CDU 377(038)331.3(039)

Editor

Unidade de Projecto

Coordenação

Título

Colecção

Autores

Design

Local de Edição

Data

Impressão

ISBN

Depósito Legal

Tiragem

Instituto para a Inovação na Formação

Avaliação da Formação

Zelinda Cardoso

Avaliação da FormaçãoGlosário Anotado

Colecção Avaliação

Zelinda Cardoso (INOFOR)Ana Soares (AIMINHO)Bruno Loureiro (AIMINHO)Carminha Cunha (AIMINHO)Florindo Ramos (AIMINHO)

Multilogo, Imagem e Comunicação

Lisboa

Novembro de 2002

???

972-8619-47-2

???

1500 exemplares

Tel.: 21 272 27 22 e-mail: [email protected]

AvaliaçãoGlossário Anotado

da Formação

007

009

013

019

051

105

Índice

Prefácio

Introdução

PARTE 1Apresentação do caderno

Parte 2Terminologia utilizada no contexto da avaliaçãoda formação: breves definições

PARTE 3Notas metodológicas

PARTE 4Sites e serviços de informação

Como surgiu a iniciativa?Que objectivos nortearam a sua elaboração?Que opções metodológicas foram efectuadas?A quem se destina?Como se organiza o respectivo conteúdo?Como pode ser utilizado?

Lista de termos usados.

Referências bibliográficas.

inofor

Colecção Avaliação Avaliação da FormaçãoPág 007

Prefácio

Ao iniciar uma colecção dedicada à temática daavaliação da formação com um convite dirigido aosseus leitores para a realização de uma reflexão acercada terminologia e práticas avaliativas utilizadas nestedomínio de intervenção, os autores deste primeirocaderno visam criar as condições necessárias àrealização de um percurso que facilite a culturaavaliativa nas nossas organizações.

Assim, apostados em contribuir para a caracterizaçãodas práticas avaliativas já existentes, os mesmosautores apostam claramente na disponibilização deum conjunto de suportes de apoio à reflexão emmatéria de avaliação da formação, num contexto emque as práticas neste domínio são ainda claramenteexploratórias e no qual são ainda escassos os estudosnestas matérias.

Dar, pois, início a esta colecção com a apresentaçãode um glossário anotado, visando a uniformização deentendimentos relativamente a determinados con-ceitos associados à temática da avaliação da for-mação, parece-nos ser, efectivamente, um bomponto de partida.

Para além de uma reflexão terminológica, os autoresremetem os leitores para um conjunto de notasmetodológicas, que na respectiva opinião, susten-tada nos inúmeros contactos com entidades queintervêm na formação, assim como na análise dealgumas boas práticas nesta matéria, podem vir acontribuir para o desenvolvimento das práticas nestedomínio.

O claro apelo à participação e envolvimento dosdiferentes intervenientes na formação aquando darespectiva fase de avaliação, poderá facilitar, nãoapenas uma maior co-responsabilização dosmesmos no âmbito de uma intervenção formativaespecífica, mas também uma maior adequaçãodessas intervenções às necessidades de todosaqueles que nela, directa ou indirectamente, parti-cipam.

É neste sentido que a avaliação da formação é aquiapresentada, ou seja, como uma ferramenta aoserviço do desenvolvimento eficaz, ao longo e ajusante da realização da formação, das competênciasdos seus intervenientes. De acordo com os autoresdesta obra esse desenvolvimento será tanto maispotenciado quanto maior for o grau de envolvi-mento/participação dos mesmos ao nível de even-tuais processos de tomada de decisão que venham aocorrer no âmbito dessas intervenções formativas.

Termino, subscrevendo o apelo dirigido a todos osleitores deste primeiro caderno, para a respectivaparticipação em espaços de discussão a criar muitobrevemente, nomeadamente, no site do INOFOR eaquando da realização de jornadas técnicassubordinadas à temática da avaliação.

Maria dos Anjos Almeida

Vice-Presidente do INOFOR

Introdução

Uma primeira reflexão acerca do domínio daavaliação da formação remete-nos, inevitavelmente,para a compreensão dos desafios associados aodesenvolvimento de projectos formativos, assimcomo respectivos processos de avaliação.

Uma observação mais atenta, que incida sobre adinâmica de actores, envolvidos directa ouindirectamente na formação, permite constatar aexistência de novas formas de estar e agir, quer porparte de quem se responsabiliza pela execução daformação, formadores, monitores, tutores quer porparte dos respectivos participantes. Se os primeirostendem a assumir um papel de facilitadores no

Pág 009

inofor

processo de “construção de saberes”, aos segundosé solicitada, cada vez mais, uma maior corres-ponsabilização ao nível do acompanhamento eavaliação dos respectivos percursos de aprendi-zagem.

De facto, os vários actores envolvidos nos projectosformativos, mobilizam-se hoje para a construção, deforma partilhada e reflectida, de novas soluçõespedagógicas, de novas formas de agir, assim como e,sobretudo, de novas formas de comunicar, porforma a responder mais eficazmente aos cada vezmais complexos e exigentes desafios da sociedadeactual.

Colecção Avaliação Avaliação da Formação

Alguns dos desafios que gostaríamos aqui dedestacar, assim como respectivas implicações para aavaliação da formação, são os/as seguintes:

, exigindo dos seus actores umamaior sensibilização para a importância da suaparticipação e envolvimento ao nível da construçãode um projecto formativo específico, a desenvolverao longo do respectivo percurso de vida.

O desenvolvimento desta competência assumeparticular importância no contexto daconstrução de modelos de avaliação daformação, uma vez que, a par de uma cada vezmaior co-responsabilização dos indivíduos, noque diz respeito aos respectivos percursos deaprendizagem, constata-se, igualmente, umamaior co-responsabilização dos mesmos noque toca à monitorização e avaliação de saberesadquiridos. Neste sentido, assiste-se hoje a umamaior preparação e sensibilização dosindivíduos para a realização de processos auto-avaliativos, numa óptica de melhoria contínuadas respectivas .

Esta realidade assume uma importância crucialquando consideradas as questões darentabilização de determinado investimento naformação, já que apenas uma articulação deesforços dos respectivos actores, conduzirá àobtenção dos melhores resultados.

As recentes teorias, associadas ao processo deaprendizagem ao longo da vida, têmcontribuído também para o reposicionamentodos vários actores aquando da realização dasintervenções formativas. Destaque-se que aformação evolui hoje para uma maiorfocalização no aprendente, remetendo oformador para um papel de facilitador ao nível

desenvolvimento de capacidades de aprendizagemao longo da vida

performances

da construção de determinados saberes. Asmetodologias de avaliação da formaçãoprocuram, neste contexto, facilitar e fomentaros processos de reflexão crítica capazes deapoiar a tomada de decisão dos diferentesactores, envolvidos num determinado projectode formação.

, permitindo o respectivo reequacio-namento e ajustamento numa óptica de efectivaadequação às necessidades dos públicos-alvo queneles participam. A opção por soluções formativasnão convencionais, como o caso da formação adistância, exige igualmente a construção eimplementação de novas soluções avaliativas,ajustadas às novas e diferentes necessidades deinformação dos seus beneficiários.

, implicandoque seja efectuada, a montante da realização daformação, uma clara identificação e caracterizaçãodas situações de partida, relativas às capacidadesdetidas pelos potenciais participantes nas acçõesformativas. Esta realidade vem exigindo, cada vezmais, a necessidade de se realizarem, com maiorfrequência, avaliações de natureza diagnóstica, quevisem identificar o nível de proficiência detido peloformando em determinada área do saber, facilitandouma melhor adequação do respectivo processo deaprendizagem.

, que vêm exigindo às diversasorganizações que intervêm na formação, odesenvolvimento de um conjunto de estratégias quefacilitem a construção de um contexto no qual:

exigência por uma maior diversificação eflexibilização dos modelos de organização daformação

construção de percursos formativos personalizadosem função do perfil de cada indivíduo

Desenvolvimento de intervenções formativastotalmente orientadas para a obtenção deresultados

sejam claramente evidenciadas as necessidadesa colmatar com a formação;sejam claramente identificados os beneficiários(directos e indirectos) da intervenção formativa,assim como respectivas expectativas relativa-mente a resultados a alcançar;seja possível a apresentação de resultadosrelativos aos efeitos/impactes obtidos com aformação;seja possível garantir as condições necessárias àtransferência de saberes adquiridos para oscontextos reais de trabalho.

Diríamos, pois, que, novos contextos e,consequentemente, novos actores, conduzemnecessariamente a novas necessidades deinformação. Tal realidade exerce uma profundainfluência ao nível da implementação deprocessos avaliativos, já que os mesmostenderão a desenrolar-se por forma a dotaremos seus beneficiários de informação relevantecapaz de suportar a respectiva tomada dedecisão.

Pensar em avaliação da formação implica, assim,o reequacionamento de uma série de questõesde partida, uma vez que, para além desta sefocalizar nos processos formativos, desem-penhos dos respectivos actores e respectivosresultados imediatos, passa a incidir também asua atenção, quer ao nível da preparação dasintervenções formativas quer ao nível doapuramento de impactes sobre os seusbeneficiários. Ao percorrer todo o ciclo for-mativo, a avaliação passa a ser encarada nãocomo um fim em si mesmo, mas antes comouma actividade ao serviço de um sistema globalde gestão e garantia da qualidade da formação,no qual deve ser considerada parte integrante.

Pág 011

inofor

Verificamos assim que, a par de questões taiscomo:

a) A realização da formação decorreuconforme o previsto?b) Que tipo de saberes foram “cons-truídos” ao longo do processo de apren-dizagem?c) Que desempenho tiveram os actoresenvolvidos no processo formativo?

Surgem outras como:

A situação de partida foi suficientementecaracterizada?São conhecidos e foram suficientementedivulgados os objectivos a alcançar?Em que medida os recursos mobilizados para aformação foram suficientemente optimizados?Em que medida a formação desenvolvidacolmatou as necessidades previamenteidentificadas?São conhecidos os níveis de impacte daintervenção formativa desenvolvida?Em que medida os benefícios obtidos com aformação compensaram os investimentosefectuados?

.Sobre esta matéria Carneiro (2000:36) referemesmo que “é consensual que os factores críticospara vencer residem, hoje como nunca, nos activosintangíveis: qualidade das pessoas; conhecimentos ecompetências; empreendedorismo, inovação ecriatividade; sistemas de educação, formação einvestigação, culturas de aprendizagem permanente;capacidade de assumir riscos, mentalidade deserviços e de criação de valor”.

Organizações cada vez mais centradas na gestão eavaliação do respectivo capital de conhecimentos


As implicações desta realidade para a avaliaçãoda formação são significativas. Se avaliarresultados de natureza tangível não apresentadificuldade de maior, avaliar resultados denatureza intangível já não é tarefa fácil. Asrespostas a estas questões são várias e nemsempre consensuais. As experiências analisadasindicam contudo que nem sempre aabordagem de natureza financeira (assente natradução monetária desses resultados) é aabordagem mais adequada.

Acerca desta problemática, dizem-nos algunsespecialistas na matéria que um processoavaliativo ganha ao compreender, num primeiromomento, a natureza do resultado desejado(tangível e/ou intangível) uma vez que, destaforma, saberá identificar melhor o tipo demetodologia a aplicar.

. Acoexistência de vários sistemas que visam apromoção da qualidade de eventuais intervençõesformativas, procuram, em certa medida, fomentar odesenvolvimento de uma cultura de qualidade, cadavez mais necessária a uma resposta rápida e eficazface aos desafios do presente.

Neste quadro, o papel dos sistemas de avaliaçãoda formação é sobretudo “instrumental”, namedida em que os mesmos podem, quandoimplementados de forma eficaz, contribuirsignificativamente para o desenvolvimento de“culturas de aprendizagem permanente”,sempre que direccionados para o desenvol-vimento dos seus actores. Sobre esta matériaCarneiro (2000 : 45) afirma mesmo que “sóuma cultura de avaliação pode fomentar uma

Crescente desenvolvimento e aplicação de diferentessistemas de controlo e garantia de qualidadeaplicáveis ao sector da formação profissional

postura de “reflexividade” que aposta naaprendizagem institucional e na melhoria per-manente de processos pedagógicos”.

Afloradas algumas das questões apresentadas nesteprimeiro caderno, gostaríamos de destacar que, paraalém de se tratar de um glossário anotado dedicado àproblemática da avaliação da formação, o presentetrabalho vai mais além, ao pretender ser igualmenteum instrumento de apoio à reflexão dos queapostam claramente na melhoria das respectivaspráticas avaliativas.

Ao iniciarmos esta colecção com a apresentação deum glossário visa-se contribuir, numa primeira fase,para a uniformização de entendimentos relati-vamente a um conjunto de termos utilizados nodomínio da avaliação da formação, que nem sempresão compreendidos e apropriados da mesma forma,facto que tem dificultado, por vezes, a comunição e apartilha de conhecimentos nestas matérias.

Esperamos assim, que este seja um contributo válidopara aqueles que intervêm no âmbito da formaçãoprofissional, aos quais solicitamos, desde já, aeventual disponibilidade, para connosco reflectiremacerca da problemática da avaliação da formação,num Fórum de Discussão a criar brevemente.

01Parte»»»Apresentação do glossário

Como surgiu a iniciativa?

A criação de uma colecção dedicada ao tema daavaliação da formação resulta, fundamentalmente,da detecção de um conjunto de necessidades aquan-do dos contactos no terreno, junto de entidades querealizam formação, bem como em momento deelaboração de pareceres relativamente a meto-dologias de avaliação da formação desenvolvidas eapresentadas por um número significativo de enti-dades formadoras, junto da actual equipa doProjecto “Avaliação da Formação”.

Esta colecção visa demonstrar, igualmente, aimportância que este instituto atribui às questõesrelacionadas com a garantia da qualidade dasintervenções desenvolvidas no quadro da formaçãoprofissional. Considerados os sistemas de avaliaçãocomo verdadeiros instrumentos susceptíveis depromover essa qualidade, aposta-se claramente, ecada vez mais, na elaboração de documentos quefavoreçam e apoiem a operacionalização do con-ceito no contexto de intervenção de entidades queintervêm na formação.

O presente caderno, que agora inicia esta colecção,visa, assim, dar uma resposta concreta a um conjuntode necessidades sentidas por parte de diversasentidades formadoras, começando, numa primeirafase, pela disponibilização de um glossário (anotado)que facilite a compreensão de alguns termos, regrageral, utilizados no contexto da avaliação da for-mação. O mesmo se destaca pelas notas ( #1, #2,etc...) que surgem associadas a cada uma dasdefinições apresentadas, assim como também pelasnotas metodológicas que convidam os respectivosleitores a uma reflexão acerca das implicaçõesassociadas à operacionalização de determinadostermos.

Longe de ser um “produto acabado”, visa, nesta fasedar início a um trabalho de recolha e uniformizaçãode um conjunto de noções associadas à temática daavaliação da formação que, à partida, podem suscitarmaiores dúvidas por parte de quem as utiliza.

Por esta razão, o mesmo será oportunamenterevisto, actualizado e acrescentado de acordo comas necessidades e eventuais comentários dos seusutilizadores. Espera-se que a realização dos restantestrabalhos (em fase de execução), possa contribuir,igualmente, para o desenvolvimento e/ou actua-lização do trabalho que agora se apresenta.

Uma das actualizações já prevista, prende-se com odesenvolvimento de conceitos associados àconstrução de instrumentos de avaliação e trata-mento estatístico de dados.

Os utilizadores deste glossário terão acesso àsrespectivas actualizações através do site do Inofor(Unidade de Projecto Avaliação da Formação), noqual será disponibilizado um espaço para introduçãode eventuais sugestões e/ou recomendações quevisem a sua actualização e/ou desenvolvimento(www.inofor.pt).

Procurando dar uma resposta concreta a inúmerasquestões colocadas, até à data, pelos nossosutilizadores, este glossário foi elaborado de forma apermitir desencadear eventuais processos dereflexão em torno da problemática da avaliação daformação. Pretende-se, assim, com esta primeirainiciativa:

Contribuir, de uma forma gradual e sustentada, parao desenvolvimento de práticas de avaliação,mediante o desenvolvimento de um percurso quepassa, numa primeira fase, pela compreensão de um

Que objectivos nortearam a sua elaboração?

Apresentação do glossário

conjunto de termos associados, regra geral, àsprincipais fases de um processo de avaliação.

Apoiar as entidades, que realizam formação, naidentificação das condições consideradas necessáriasà aplicação de metodologias de avaliação.

Identificar e uniformizar um conjunto de termos autilizar no âmbito de documentos associados àtemática da avaliação da formação, por forma afacilitar eventuais acompanhamentos junto dospotenciais utilizadores.

Destacar as interdependências existentes entrealguns dos termos apresentados.

Fomentar a pesquisa activa no âmbito do domínio daavaliação, através do reencaminhamento dosutilizadores para um conjunto de sites especializadosnas matérias abordadas.

Sensibilizar os seus utilizadores para a panóplia demétodos, técnicas e posicionamentos que, surgem,regra geral, associados à temática da avaliação.

Para além de se elencar um conjunto de noções designificativa importância no domínio da avaliação,pretende-se, sobretudo, disponibilizar ao utilizadorum conjunto de pistas que facilitem o desenvol-vimento das respectivas práticas avaliativas e,paralelamente, criem as condições necessárias àapropriação e aplicação de itinerários avaliativos jáexistentes.

Concebido de acordo com as actuais tendências emmatéria de avaliação da formação, o presenteglossário procura destacar um conjunto deestratégias avaliativas que, à partida, entende-se

Que opçõesmetodológicas foram efectuadas?

Pág 017

inofor


serem as mais adequadas quando considerados oscontextos analisados.

Embora tenha surgido num contexto caracterizadopela predominância de metodologias avaliativasorientadas por pressupostos de natureza positivista(avaliado e avaliador são consideradas “entidades”distintas), este glossário faz já um apelo claro aodesenvolvimento de estratégias de avaliação nasquais seja visível o envolvimento/participação dosrespectivos actores, em particular, no que toca àidentificação, construção e escolha das melhoresestratégias avaliativas a aplicar .

Relativamente à escolha dos termos, nesta primeiraedição não serão apresentados todos os termossusceptíveis de serem utilizados no domínio daavaliação. Atendendo às necessidades maisimediatas, manifestadas pela maior parte dosutilizadores do actual projecto de Avaliação daFormação, foram apenas seleccionados edesenvolvidos aqueles que remetem os potenciaisutilizadores deste glossário, para um enquadra-mento das principais questões associadas à fase daconcepção e implementação de modelos deavaliação.

Sugere-se, assim, que sejam reunidas, numa pri-meira fase, as condições mínimas e necessárias aodesenvolvimento de práticas avaliativas, para numafase subsequente serem trabalhados os aspectos queenvolvem uma maior tecnicidade e, conse-quentemente, uma mobilização de competênciasespecíficas, necessárias a uma sustentadaintervenção no domínio da avaliação da formação.

Quanto ao desenvolvimento dos conteúdosapresentados, foram privilegiados os termos que,em nosso entender, podem ser consideradosverdadeiros pilares de sustentação de um processoavaliativo, sempre que apropriados e aplicados deforma eficaz.

A quem se destina?

Como se organiza o respectivo conteúdo?

Este glossário destina-se a todos os que seinteressam pelas questões da avaliação da formaçãoe que procuram conceber, desenvolver e/ouaperfeiçoar referenciais a utilizar no contexto daavaliação da formação.

Consideradas a diversidade dos contextos e anatureza dos projectos formativos a avaliar, foramdestacadas, nesta fase, algumas actividades deavaliação a desenvolver no contexto de projectosformativos direccionados para activos empregados.Destaque-se, no entanto, o facto de a lógica deavaliação apresentada poder ser, de certa forma,aplicada a outros contextos, desde que devidamenteadaptada aos projectos de formação em análise.

O presente caderno encontra-se estruturado emtrês partes distintas:

a) A primeira parte remete o respectivo utilizadorpara a compreensão de um conjunto de termosnormalmente mobilizados aquando da preparação eimplementação de dispositivos de avaliação.

O leitor verá serem destacados termos/noções taiscomo, “aprendizagem ao longo da vida”,

, já que assumem, cada vez mais, umpapel de destaque, não apenas no contexto dodesenvolvimento de processos de aprendizagem,mas também no contexto da execução de projectosde avaliação. De facto, são expressões que, emmaior ou menor medida, reforçam a importânciaque os indivíduos assumem no contexto da tomadade decisão, relativa aos percursos profissionais quelhes são inerentes.

stakeholders

b) Numa segunda parte, apresenta-se um conjuntode notas de natureza metodológica, associadas acada um dos termos descritos. Neste capítulo vemosser destacada a importância da fase da planificação daavaliação, o papel e responsabilidades dos res-pectivos intervenientes, assim como a abordagemavaliativa multinível de D. Kirkpatrick. Igual destaquepara as notas metodologicas relativas às fases datransferência de aprendizagens para os contextosreais de trabalho, apresentação e disseminação dosresultados de uma avaliação.

c) A terceira e última parte remete o leitor para umconjunto de sites e serviços de apoio que dispo-nibilizam informações, experiências, instrumentos,estudos de caso, etc... relacionados com o domínioda avaliação. O acesso a esta informação permitirá aoutilizador adequar mais eficazmente as suas me-todologias avaliativas às especificidades dos con-textos nos quais venha a intervir.

O presente glossário pode ser consultado dediversas formas, de acordo com os objectivos dosseus utilizadores:

a) no caso do utilizador pretender identificar umdeterminado termo e respectiva definição, poderárecorrer à lista de termos ordenados alfabeticamenteque se encontra no final do documento;

b) aquando da fase da operacionalização dos termosreferidos, o utilizador poderá recorrer à parte dotrabalho na qual são apresentadas notas meto-dológias de apoio à aplicação desses termos.

Como pode ser utilizado?

02Parte»»»Terminologia utilizada

no contexto da avaliaçãoda formação:

breves definições

Neste capítulo, o leitor será convidado a reflectiracerca do significado de cada um dos termosapresentados, contando para tal com a definição dotermo propriamente dito, bem como um conjuntode notas que visam contribuir para uma melhorcompreensão e, consequentemente, melhorutilização da terminologia associada ao domínio daavaliação da formação.

Nesta primeira edição serão destacados alguns dosaspectos que, à partida, poderão ter algum interessedo ponto de vista da avaliação da formação. Note-se

que as definições e notas que se seguem foramelaboradas sem prejuízo de outras já existentes.

Destaque-se ainda que, na elaboração desta pri-meira edição não foram contempladas todas asreferências bibliográficas normalmente associadas àproblemática da avaliação da formação. Numaanálise mais aprofundada às questões da termi-nologia utilizada neste domínio, a realizar numa fasesubsequente, serão equacionados outros contextosavaliativos, assim como distintos posicionamentosem matéria de avaliação da formação.

Terminologia utilizadano contexto da avaliação da formação: breves definições

1. Análise custo-benefício (RCB)

2. Aprendizagem ao longo da vida

Quantifica e compara o valor monetário gerado pelosbenefícios da formação com os seus custos.

Benefícios da formaçãoCustos da formação

Toda e qualquer actividade, empreendida numa basecontínua, com um objectivo que vise melhorarconhecimentos, aptidões e competências.

Fórmula:

RCB = ___________________

# 1: Trata-se da mesma definição apresentada para oROI. A diferença reside fundamentalmente nafórmula de cálculo. Em termos matemáticos, adiferença reside na escolha do numerador:enquanto o ROI utiliza os resultados líquidos daformação, a análise custo-benefício recorre aosresultados brutos.# 2: Considera quer resultados de natureza tangível(aumento de produtividade, aumento da carteira declientes...) quer intangível (elevação do grau demotivação do ex-formando, elevação do grau desatisfação dos clientes...)# 3: Ver definições de “Análise do Retorno doInvestimento” e de “Custo de formação”.

# 1: Apresenta como categorias básicas deactividades de aprendizagem:

Aprendizagem formal (providenciada pelos sistemasformais de educação e formação existentes, conduz

1

Fontes: Phillips (1997); Scriven (1991), Perez(2001), Garlick e Des Kemp(2001)

Pág 023

inofor

a aquisição de diplomas e qualificações reconhe-cidos).Aprendizagem não-formal (decorre em simultâneocom os restantes sistemas de educação/formação,não conduzindo, necessariamente a certificadosformais. Pode ocorrer no local de trabalho e/ouatravés de actividades de organizações ou grupos dasociedade civil, podendo ainda ser ministradaatravés da criação de estruturas complementares aossistemas convencionais).Aprendizagem informal (abrange todas as restantesformas de aprendizagem desenvolvidas ao longo dopercurso de vida dos indivíduos).

# 2: Lifelong & lifewide, i.e., ao longo da vida e emtoda a vida (familiar, profissional, lazer, etc.).

# 1: Trata-se de uma definição de auditoria aplicadaao contexto da formação.# 2: Ver também definições de “avaliação daformação” e “garantia de qualidade”.# 3 : A construção de um referencial constitui aactividade central de um processo de auditoria.# 4: Aplicada ao contexto da formação, exige que osresponsáveis pela execução de um projectoformativo, demonstrem, mediante a apresentaçãode evidências concretas, que o mesmo foidesenvolvido de forma eficiente e que respeitou opré-estabelecido e/ou acordado pelos “donos”desse projecto (financiadores, administradores da

Exame sistemático dos inputs, outputs e impactes deum sistema formativo, com base num referencial decritérios explícitos, permitindo identificar eventuaisproblemas e respectivas soluções.

Fontes: União Europeia. Comissão (2000)

3. Auditoria da formação

1Definição idêntica à encontrada no Memorando sobre Aprendizagem ao Longo da Vida.


organização, parceiros envolvidos...). Nestecontexto, contribui, por um lado, para uma melhorgestão da qualidade dos projectos de formação e,por outro lado, para uma melhor adequação dosseus objectivos às necessidades dos respectivospúblicos-alvo.

# 1: Quando realizada pelos formandos visa apoiar asua participação ao nível da construção e gestão dorespectivo processo de aprendizagem.# 2: Constitui, de certa forma, uma das maisimportantes ambições de um processo de avaliação:instituir e desenvolver uma cultura de avaliaçãoaceite e operacionalizada por todos, na qual os seusactores são capazes de se auto-avaliarem de umaforma construtiva e isenta, contribuindo,activamente, quer para a gestão eficaz dos res-pectivos processos de aprendizagem quer para amelhoria do desempenho da(s) organização(ões)à(s) qual(ais) se encontrem afectos.# 3: Sobre esta matéria Caetano (1996) refere que “A utilização da auto-avaliação implica dar maisatenção ao papel dos subordinados na avaliação doseu desempenho, considerando-os comoelementos activos legítimos do processo deavaliação, entendida como um meio de

Processo desenvolvido pelos diversos actores de umprocesso formativo e que visa apoiar a respectivaparticipação ao nível da construção e gestão demecanismos que faci l i tem a respect ivaaprendizagem no âmbito do mesmo.

Fontes: Le Boterf (1999);Portugal. Instituto Portugêsda Qualidade (2001)

4. Auto-avaliação

comunicação e não como um fim em si própria,como acontece nos sistemas burocratizados”.

# 1: Diferentes contextos de desenvolvimento eaplicação da formação, exigem diferentesmetodologias de avaliação. Este aspecto leva-nos acolocar a seguinte questão: Avaliação sim, mas deque contextos estamos a falar?# 2: Exige que os avaliadores possuam um portefóliode métodos, técnicas e instrumentos alargado porforma a poderem dar uma resposta adequada àsnecessidades dos respectivos clientes.

# 1: É uma definição de avaliação que reforça, emgrande medida, a ideia da utilidade social dosrespectivos resultados. Saber qual a finalidade daavaliação será, sem dúvida, uma das questões a

Avaliação que é concebida e implementada deacordo com as necessidades e expectativas dos seusutilizadores.

Processo que possibilita a monitorização sistemáticade determinada intervenção formativa, recorrendopara o efeito a padrões de qualidade de referênciaexplícitos ou implícitos, com vista à produção dejuízos de valor que suportem a eventual tomada dedecisões.

2

Fontes: Caetano (1996); Tilling (et al.) ( 2000);Scriven (1991); Patton (1997)

Fontes: Patton (1997); Rossi (et al.) (1999)

5. Avaliação “à medida”

6. Avaliação da formação

2A definição de avaliação apresentada não contempla a globalidade dos posicionamentos encontrados aquandoda revisão de literatura efectuada. Prevê-se, no entanto, o desenvolvimento deste conceito aquando da revisãoe actualização do presente glossário.

colocar aquando da fase da planificação de umprocesso avaliativo (ver definição de plano deavaliação).# 2: As abordagens de avaliação diferenciam-se,fundamentalmente, pela natureza dos objectivosque preconizam, bem como pelas características dosrespectivos contextos de aplicação. Pretender apli-car, no âmbito de contextos distintos, um únicomodelo avaliativo não será, pois, o mais adequado,uma vez que a maior ou menor eficácia dos modelosde avaliação reside, essencialmente, em acautelareventuais particularidades dos contextos em análise,bem como adequação dos seus resultados anecessidades concretas de informação dosrespectivos utilizadores.# 3: A definição de avaliação apresentada surge, deacordo com as actuais tendências, intimamenteassociado ao , quedeverá ocorrer no âmbito dos diferentes níveis emque os problemas ocorrem. Significa que quemavalia determinado aspecto de uma intervençãoformativa deve ser capaz de reflectir acerca dosrespectivos resultados e, consequentemente,decidir e /ou recomendar eventuais alterações quevisem a sua melhoria.

# 1: Utilizando a taxonomia de D. Kirkpatrick,diríamos que é no contexto de uma avaliação de

processo de tomada de decisão

Visa aferir em que medida os saberes adquiridos pelavia da formação foram efectivamente mobilizadospara os respectivos contextos de aplicação.

Fontes: Patton (1997); Barbier (1990 ); LuísCapucha (et al.) (1996); Valadares e Graça (1998);Frances and Roland Bee (1997), Salgado (1997)

7. Avaliaçãoda transferência de aprendizagens

Pág 025

inofor

terceiro nível que se realiza um avaliação destanatureza.# 2: A análise a vários estudos realizados sobre amatéria, permitiu concluir que a preparação docontexto de desempenho de um indivíduo recém-formado assume uma importância crucial aquandoda respectiva mobilização de saberes adquiridos/de-senvolvidos pela via da formação.# 3: Das principais barreiras ao processo detransferências de aprendizagens destacam-se asseguintes:

Ausência ou fraco envolvimento da gestão de topoao longo do processo formativo;Desarticulação entre os vários níveis hierárquicos deuma organização, no que se prende a estabele-cimento de objectivos consensuais de mudança;Estabelecimento de objectivos ambiciosos para aformação. Na maior parte das vezes a formação éencarada como um fim e não, como seria desejável,um meio para alcançar determinados fins.

# 1: Na taxonomia de D. Kirkpatrick correspondeao nível 2 dos quatro níveis de avaliação previstos.# 2: No âmbito de uma avaliação de aprendizagenspodem ser utilizados métodos de naturezaqualitativa e quantitativa.# 3: Este tipo de avaliação procura, regra geral, daruma resposta concreta às seguintes questões:

Visa aferir em que medida os objectivos deaprendizagem do programa foram alcançados, porparte dos seus beneficiários directos (formandos).

Fontes:Phillips (1997); Broad (et al.) (1992);Kirkpatrick (1994); Meignant (1999)

8. Avaliação de aprendizagens


Que conhecimentos (saberes) foram adquiri-dos/desenvolvidos por parte dos formandos?Que capacidades (saberes-fazer) foram adquiridosou melhorados?Que atitudes (saberes relacionais) foram adquiridas e/ou melhoradas?

# 4: Numa avaliação centrada no tipo de “saberes”(de natureza cognitiva) adquiridos/ desenvolvidos, ostestes de conhecimentos são os instrumentos maisaplicados. Métodos e/ou técnicas, tais como asimulação de actividades, a elaboração de traba-lhos/projectos finais, as avaliações em contextos reaisde trabalho (caso das actividades formativas rea-lizadas em regime de alternância), etc. são maisutilizadas nas avaliações que incidem sobre saberes-fazer técnicos. No que respeita às abordagensavaliativas centradas nos saberes relacionais, astécnicas de avaliação mais utilizadas são os testes(que visam “medir” atitudes), as observações e assimulações.

# 1: Realiza-se normalmente após a execução daformação, podendo, no entanto, ser igualmenteaferida durante e no final de uma intervençãoformativa (ex: no contexto de programas formativosdesenvolvidos em regime de alternância);

Visa aferir as mudanças ocorridas ao nível dodesempenho dos indivíduos, das organizações eeventualmente do contexto socioeconómico no qualestes se inserem, decorrentes da implementação dedeterminado programa/projecto formativo.

Fontes:Kirkpatrick (1998); Woods J. (et al.) (2000);Valadares e Graça (1998)

9. Avaliação de impactes/efeitosda formação ( )outcomes

# 2: De acordo com a taxonomia de D. Kirkpatrick,corresponde aos terceiro e quarto níveis de ava-liação, ou seja, verificação de impactes ao nível decontextos de desempenho específicos e avaliação deimpactes ao nível do desempenho de determinadaorganização;# 3: Neste tipo de avaliação podem ser aplicadosmétodos de natureza quantitativa e qualitativa (verdefinição de triangulação);# 4: Uma avaliação de impactes pode incidir àpartida sobre duas realidades distintas: (1) em quemedida o programa de formação contribuiudirectamente para o cumprimento dos objectivos daorganização; (2) em que medida criou as condiçõespara que tal viesse a acontecer (contribuiçãoindirecta). A compreensão destes dois tipos deobjectivos torna-se fundamental aquando da aferiçãodo retorno do investimento.# 5: A utilidade deste tipo de avaliação reside,fundamentalmente, no facto de permitir (1) aferir asalterações produzidas pela formação nos contextosem que foi aplicada; (2) justificar a eventualcontinuidade de um programa/plano de formação, asua reformulação ou mesmo a sua extinção; (3) aferiro retorno do investimento na formação.

# 1: Na taxonomia de D. Kirkpatrick, correspondeao primeiro nível de avaliação.# 2: Neste tipo de avaliação é normalmente utiliza-

Permite aferir o grau de satisfação dos participantesem relação à acção de formação e às condições emque a mesma decorreu, visando o eventual desen-volvimento de acções de melhoria.

Fontes: Phillips (1997); Kirkpatrick ( 1998-A); Moy eMacDonald (2000);

10. Avaliação de reacções

Do o inquérito por questionário(“smilling sheets”),durante e/ou no final de cada intervenção formativa.# 3: Algumas das vantagens associadas a este tipo deavaliação são as seguintes: (1) permite uma“avaliação rápida” da situação em termos deresultados entretanto alcançados; (2) não implicacustos elevados; (3) assume um papel de extremaimportância num contexto de uma avaliaçãoformativa, permitindo a regulação atempada dedeterminado processo formativo.# 4: Os protagonistas deste tipo de avaliação são oformando e o formador, actores capazes de exerceruma influência imediata ao nível da regulação daacção em curso.# 5: As dimensões/objecto alvo de avaliação maiscomuns são as seguintes: os conteúdos pro-gramáticos, o desempenho do formador e docoordenador da acção, os métodos pedagógicos eos recursos didáctico-pedagógicos utilizados, ascondições de realização da acção e a organização desuporte.

# 1: Também pode ser designada por “avaliaçãoinicial”.# 2: Ver definição de avaliação “ex-ante”.# 3: Permite, a montante da realização da formação,identificar o nível de proficiência detido peloformando em determinada área do saber, com vistaa uma melhor adequação do programa de formação.

Modalidade de avaliação efectuada antes de umaacção ou sequência de acções de formação, tendopor finalidade a produção de informações que per-mitam determinar a situação dos formandos face aosobjectivos de aprendizagem a atingir.

Fontes: Kirkpatrick (1998); Woods J. (2000);Meignant (1999)

11. Avaliação diagnóstica

Pág 027

inofor

Para este efeito, os instrumentos mais utilizados sãoos testes escritos. Existem, contudo, outras formasde actuar no âmbito desta modalidade de avaliação,tais como: o recurso à técnica da simulação que visecolocar o formando perante uma situação problema.# 4: Apresenta como principais objectivos:

Determinar a situação dos formandos face aosobjectivos de aprendizagen pré-definidos (visaapurar o tipo de conhecimentos, capacidades (apti-dões) e atitudes necessárias ao cumprimento dosobjectivos de aprendizagem pretendidos).Determinar/ajustar perfis de entrada na formação.Seleccionar eventuais candidatos a determinadasacções de formação.Produzir informações que facilitem a constituição degrupos de formandos, com características idênticas,sempre que tal seja desejado.Confirmar e ajustar as informações que decorrem dediagnósticos de necessidades previamenterealizados.Detectar eventuais dificuldades a considerar naproposta pedagógica a desenvolver.

Fórmula:

Benefícios Líquidos da FormaçãoROI (%) =__________________________X 100

Custos da Formação

Quantifica e compara o valor monetário gerado peloimpacte da formação, com os seus custos (expressoem percentagem).

Fontes:Figari (1996); Rossi (et al.) (1999)

12. Avaliação do retorno do investimentoem formação ( )Return on investment-ROI


# 1: Ver definição de “análise custo-benefício”.# 2: Abordagem bastante desenvolvida no âmbitodos trabalhos de J.J. Phillips.# 3: Tipo de avaliação cada vez mais solicitado porparte de quem investe na formação, visando aobtenção de evidências concretas relativamente aovalor monetário gerado pelo investimento naformação.# 4: Quando aplicada ao contexto da formação, aanálise do ROI pode considerar diferentesde indicadores, tais como: (1) produtividade eeficiência; (2) vendas e lucros; (3) qualidade dosprodutos e serviços; (4) serviço de apoio ao cliente esatisfação do mesmo; (5) segurança e higiene notrabalho; (6) desenvolvimento e aprendizagemorganizacional; (7) clima e cultura organizacional...

# 1: Também designada por avaliação prévia e pré-avaliação.# 2: O seu desenvolvimento fornece in-putsessenciais à elaboração de um referencial deavaliação.# 3: Trata-se de um termo mais abrangente, quandocomparado com a definição de avaliação diagnóstica.Note-se que esta última incide, regra geral, sobre onível de conhecimentos do formando no momentopré-formativo, enquanto uma avaliação ex-ante

clusters

Efectuada antes da realização da formação,apresenta como objectivo último, a compre-ensão/definição dos de realização, deresultados e de impactes da formação.

indicadores

Fontes: J. Phillips (1997- A); Phillips P. (2002); Bartel(2000), Kirkpatrick (1998-A); Moy e MacDonald(2000).

13. Avaliação ex-ante

propriamente dita, apresenta objectivos mais vastos,incidindo sobre o contexto, as características e osobjectivos de determinada intervenção formativa.# 4: Apresenta como critérios de avaliação maisutilizados: a pertinência/relevância dos objectivospretendidos face às necessidades pré-identificadas,assim como a coerência do projecto formativo quan-do considerada a cadeia de objectivos preconizados.# 5: Na lógica dos 4 de D.Kirkpatrick, corresponde, como objectivo último, àdefinição dos critérios e de avaliação paracada um desses níveis.

# 1: Ver definições de “avaliação ”,“avaliação on going” e “avaliação de impactes daformação”.# 2: Também designada por “avaliação de

”.# 3: Avalia indicadores de resultados e de impacte.# 4: Efectuada, regra geral, algum tempo após arealização da formação, para apuramento de e-ventuais impactes decorrentes da formação, quer aonível do desempenho dos indivíduos, quer ao níveldos contextos que receberam, de forma indirecta,as mais valias dessa formação (por exemplo: con-textos de trabalho específicos e/ou organização noseu todo).

níveis de avaliação

indicadores

Efectuada normalmente após a conclusão daformação, produz informação sobre os seus re-sultados e efeitos gerados pela intervenção formativaao nível dos seus beneficiários (directos e indirectos).

ex-ante

follow-up

Fontes :Rossi (et al.)(1999); Rodrigues (1993);Kirkpatrick (1998)

14. Avaliação ex-post

# 5: Em estudos prospectivos pode ser efectuadaantes da implementação de um projecto/programaformativo.

# 1: Numa avaliação externa, o avaliador encontra-se fora da organização que executa a formação.# 2: É uma avaliação normalmente solicitada efinanciada por alguém que visa obter um “olharexterno” relativamente aos resultados dedeterminada intervenção formativa. É, regra geral,solicitada por entidades externas que exercemfunções de supervisão sobre o projecto deformação.# 3: Pode também ser encomendada pelaorganização que realiza a formação, quandopretende obter uma “segunda opinião” acerca dosresultados obtidos com a formação. As razões queconduzem a tal pedido são, normalmente, asseguintes: (1) o responsável pela realização daformação procura dar continuidade à intervençãoformativa, constituindo os resultados dessa avaliaçãouma verdadeira “base de negociação” para futurospedidos de financiamento; (2) a organização querealiza a formação visa reforçar a sua imagem juntodos respectivos clientes.#4: Os indivíduos responsáveis por uma avaliaçãoexterna encontram-se, regra geral, ligados auniversidades, empresas de consultoria, organismosque promovem estudos de investigação (entre

Avaliação desenvolvida por um indivíduo ou orga-nização que não participa na concepção e execuçãoda intervenção formativa, mas que se responsabilizapela respectiva avaliação.

Fontes : Rodrigues (1993); Capucha (et al.)(1996);Kirkpatrick (1998)

15. Avaliação externa

Pág 029

inofor

outros), e desconhecem, na maior parte dos casos,as situações objecto alvo de análise. Apresentam,por esta razão, maior isenção relativamente aanálises que venham a efectuar, já que não mantêmqualquer relação de dependência com a organizaçãoque executa a formação.# 5: O grau de envolvimento dos indivíduos(interlocutores-chave) a implicar no decurso de umaavaliação externa é, normalmente, bastantereduzido. Os contactos efectuados visam apenas, namaior parte das vezes, sensibilizar e mobilizar essesindivíduos para a respectiva participação noprocesso avaliativo.

# 1: O conceito de avaliação formativa deve-se aScriven que a utiliza pela primeira vez em 1967 e quedesde logo passa a ser utilizada de forma gene-ralizada.# 2: Este conceito surge normalmente associado aoconceito de avaliação sumativa, sendo ambosentendidos como complementares e não contra-ditórios.# 3: Esta modalidade de avaliação orienta-se,sobretudo, para fins pedagógicos procurando criarou preservar as condições propícias à realização daaprendizagem, pelo que é normalmente confiada aavaliadores internos. Pode, no entanto, ser igual-

3

Modalidade de avaliação efectuada no decurso darealização da formação que visa produzir informaçãoque possibilite aos formandos e formadores verificarse os objectivos pedagógicos estão a ser atingidos,podendo resultar na introdução de melhorias duran-te o processo de aprendizagem.

Fontes: Scriven (1991); Capucha (et al.) (1996);Rossi (et al.) ( 1999) ; Patton (1997)

16. Avaliação formativa


3No contexto de uma avaliação externa, esta participação assume, regra geral, um carácter “instrumental”, ouseja, os indivíduos apenas são chamados para se pronunciarem (através da realização de inquéritos porentrevista ou questionários, ou participação em outros métodos ou técnicas, tais como os grupos de discussão,brainstormings, etc...), acerca dos resultados decorrentes de determinada intervenção formativa.

mente efectuada por avaliadores externos.# 4: É simultaneamente retrospectiva e prospectiva,assumindo um papel fundamental numa óptica dagarantia e controlo de qualidade de uma intervençãoformativa.# 5: Permite a retroalimentação contínua doprocesso formativo (feedback contínuo e perma-nente), actividade de impacte significativo ao nível darecuperação dos formandos que demonstremmaiores dificuldades no alcance de um ou maisobjectivos de aprendizagem.#6: Tendo como principal objecto de estudo oprocesso formativo, incide, regra geral, nas seguintesdimensões: a política formativa; o processo dediagnóstico de necessidades de formação, odispositivo de formação, o projecto/programaformativo, a actuação dos actores envolvidos naexecução da formação, o processo pedagógico, asfunções de gestão do programa, a organização desuporte, o dispositivo de avaliação.

# 1: Quando desenvolvida por uma organizaçãoque realiza formação, permite criar as condiçõesnecessárias à garantia e controlo de qualidade dasrespectivas intervenções formativas (ver definição de“auto-avaliação” e de “avaliação formativa”).# 2: Os indivíduos envolvidos neste tipo de avaliaçãorepresentam os centros de decisão responsáveis

Avaliação realizada por uma estrutura específicae/ou indivíduos que dependem da organizaçãoresponsável pela execução da intervenção formativae que visa fornecer aos mesmos informações desuporte à respectiva tomada de decisão.

Fontes: Valadas e Graça( 1998); Barbier(1990);Scriven (1991); Patton (1997); Rossi (etal.)(1999); Perrenoud(1999)

17. Avaliação interna

pela introdução de melhorias no âmbito daintervenção formativa em curso, tais como: dirigenteda organ ização, d i rector de formação,coordenadores pedagógicos, formadores,formandos (enquanto co-responsáveis norespectivo processo de ensino-aprendizagem), etc...É a estes que, regra geral, são devolvidos osresultados de uma avaliação interna.

# 1: Também designada por “”, distingue-se da avaliação “ ”, por se

centrar no momento da execução da formação.# 2: Este conceito surge, regra geral, associado aoutros dois: “ e “

”. Estas etapas de avaliação sobrepõem-separcialmente na medida em que a avaliação “

” integra elementos da avaliação “ ” edesenvolve-se em função dos aspectos a considerarnuma avaliação “ ”.# 3: A não articulação destes três momentos, resultanuma perda de utilidade da avaliação no âmbito dagestão e reorientação de um programa formativo,tanto quanto possível num tempo oportuno.# 4: Ver definições de “avaliação de eficiência” ,“avaliação formativa”, “auditoria da qualidade” e“garantia de qualidade”.

Efectuada durante a realização da formação,acompanha a execução da mesma, produzindoinformação para a monitorização e controlo degestão do processo formativo, numa óptica demelhoria contínua.

avaliação deprocesso ex-post

avaliação ex-ante” avaliação ex-post

on-going ex-ante

ex-post

Fontes: Fetterman (1996); Rossi (et al.)(1999);Patton (1997)

Fontes: Rodrigues (1993); Patton (1997); Rossi(1999); Barbier (1990)

18. Avaliação on-going

19. Avaliação Qualitativa

Recolha, tratamento e apresentação de informaçãousando factos, frequentemente sob uma formanarrativa.

# 1: As abordagens de carácter essencialmentequalitativo recorrem, com frequência, a um conjuntode técnicas, tais como: a observação directa, a análisede documentação, a inquéritos por entrevista,sessões de grupo, estudo de casos, etc...# 2: No contexto da avaliação da formação osmétodos e técnicas qualitativas têm sidobasicamente colocadas ao serviço, quer de umamelhor concepção de inquéritos por questionário(ex: aquando do apuramento de informaçõesrelevantes a tratar no âmbito de um questionáriopodem ser realizadas entrevistas de carácterexploratório) quer de uma maior clarificação dosresultados resultantes do desenvolvimento deabordagens de natureza quantitativa (Ex: aplicaçãode um inquérito por entrevista para esclarecimentode dúvidas que permaneçam após a aplicação de uminquérito por questionário).# 3: Permite, em regra, efectuar estudos maisaprofundados dada a riqueza das informaçõesproduzidas, ao contrário das abordagens denatureza puramente quantitativa que, ao seremaplicadas isoladamente, produzem, regra geral, umamenor riqueza de informação (não obstante aqualidade da mesma).# 4: Os métodos de natureza qualitativa sãobastante utilizados aquando da realização deavaliações de carácter formativo. A análise de váriosestudos de avaliação permite concluir, no entanto,que os métodos qualitativos há muito quecomeçaram a ser utilizados, também, aquando darealização de avaliações que incidam sobre osresultados e impactes da formação.

Fontes: Basarab (et al.) (1992);Rossi (et al.) (1999);Patton (1997); Scriven (1991)

Pág 031

inofor

20. Avaliação quantitativa

21. Avaliação sumativa

Recolha, tratamento e apresentação de informaçãousando factos e implicando uma representaçãonumérica.

Modalidade de avaliação que visa determinar em quemedida os objectivos da formação foram de factocumpridos, efectuando para o efeito um juízo devalor sobre os resultados alcançados.

# 1: Os avaliadores que preferem as avaliações denatureza quantitativa, orientam-se nitidamente parao desenvolvimento de avaliações de carácteressencialmente sumativo, ou seja, mais focalizadasna identificação de medidas concretas relativas, quera determinadas características do programa quer aprocessos a ele inerentes, quer ainda relativas aoapuramento dos respectivos impactes.# 2: A escolha de abordagens de natureza qualitativaou quantitativa é, regra geral, efectuada em funçãodas questões de avaliação em presença.

# 1: Foi com Scriven (1967) que surgiu o debateacerca das avaliações de natureza formativa esumativa.# 2: O seu principal enfoque são os resultadosgerados durante, no final e após a realização daformação.# 3: Pode ser efectuada por avaliadores internos ouexternos, sendo as abordagens externas usuais nestetipo de avaliação.

Fontes: Basarab (et al.) (1992);Rossi (et al.) (1999);Patton (1997); Scriven (1991)

Fontes:Scriven (1991); Patton (1997); Rossi (etal.)(1999); Portugal. Comissão Interministerial parao Emprego (2001)


22. Avaliar a coerência

23. Avaliar a conformidade

Verifica a relação entre as características ecomponentes do processo formativo e os objectivosda formação.

ex-anteon-going

Verifica se um produto, processo ou serviço cumprerequisitos, prescrições, procedimentos ou normasespecificadas.

on-going

checklist

# 1: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ” e“ ”.# 2: Os critérios de coerência verificam em quemedida as decisões relativas ao funcionamentointerno de um sistema de formação têm em conta osobjectivos pré estabelecidos.# 3: Uma das actividades realizadas aquando daavaliação de um projecto formativo é a análise dacoerência da respectiva cadeia de objectivospreconizados.

# 1: Trata-se de uma definição de conformidade,também válida para outros contextos (p.e., avaliaçãode projectos).# 2: Conformidade deriva do latim “conforme” quesignifica «exactamente igual».# 3: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ex-ante” e“ ”.# 4: Ver definição de auditoria da formação.# 5: Um instrumento clássico utilizado numa ava-liação de conformidade é a denominada .# 6: No contexto de aplicação das normas série ISO

Fontes: Le Boterf (1999); Meigant (1999)

9000, a avaliação de conformidade traduz-se nocontrolo e ou verificação da gestão adequada dosprocessos organizacionais desenvolvidos, por formaa garantir o cumprimento dos requisitos normativospré-estabelecidos.

# 1: Ver definições de “avaliar a eficiência”,“objectivos de aprendizagem”, “análise custo-benefício” e “avaliação do retorno do investimento”.# 2: A interpretação dos seus resultados é efectuadanormalmente à luz dos resultados de uma avaliaçãode “eficiência”.# 3: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ”.

# 1: Ver definição de “avaliação de eficácia” , de“análise custo-benefício” e de “auditoria daformação”# 2: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ” e“ ”. Pode ainda ser aplicado a montante da

Verifica em que medida os resultados obtidosreportam aos objectivos previamente estabelecidos.

ex- post

Verifica em que medida os resultados do processoformativo justificam os recursos mobilizados(humanos, materiais, financeiros, ...)

on-goingex-post

Fontes : Meignant (1999); Portugal. InstitutoPortuguês da qualidade (2001)

Fontes : Phillips (1997-A); Meignant (1999) ; Rossi(et al.) (1999)

24. Avaliar a eficácia

25. Avaliar a eficiência

Realizaçao da formação aquando da realização deuma análise prévia de custo-benefício.# 3: Esta noção surge, regra geral, associada à noçãode eficácia. Na prática, pode acontecer sermoseficazes mas não eficientes e vice-versa. De facto,podemos verificar situações em que o resultadoatingido corresponde ao objectivo pré-estabelecido(eficácia), mas com verdadeira “derrapagem” aonível do orçamento inicialmente previsto (inefi-ciência). Inversamente, posso não ter atingido oobjectivo (ineficácia), mas ter cumprido o orçamento(eficiência). A situação ideal será sempre a obtençãodo máximo de proveito com o menor consumo derecursos possível.

# 1: Trata-se de uma definição de oportunidade,também válida para outros contextos (p.e., avaliaçãode projectos).# 2: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ”.

Verifica em que medida determinado projecto dáresposta atempada às necessidades dos respectivosdestinatários.

ex-ante

Verifica em que medida os objectivos de umaintervenção formativa correspondem às necessida-des que estiveram na sua origem.

Fontes: Meignant (1999); Rossi (et al.) (1999)

Fontes: Le Boterf (1999)

26. Avaliar a oportunidade

27. Avaliar a pertinência

Pág 033

inofor

# 1: Definição semelhante para uma verificação derelevância de um projecto.# 2: Trata-se de uma definição de pertinência,também válida para outros contextos.# 3: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ”.# 4: Numa análise longitudinal, a questão dapertinência consiste em verificar se, tendo em contaa evolução do contexto, os objectivos da inter-venção continuam adequados às necessidades pré-identificadas. O enfoque incide sobre a concepção ea preparação de um projecto.

# 1: Trata-se de uma definição de utilidade, tambémválida para outros contextos (p.e., avaliação deprojectos).# 2: Ver definição de “avaliação de impactes”.# 3: A avaliação da utilidade de um projecto deformação implica dar uma resposta à seguinte ques-tão: A formação foi (ou pode ser) útil para quem? (verdefinição de “ ”).# 4: É um critério de avaliação, normalmenteaplicado no contexto de uma avaliação “ ”.

ex-ante

Verifica em que medida os resultados da formaçãocorrespondem às necessidades que estiveram na suaorigem.

stakeholders

ex-post

Conjunto ou sequência de fases ou domínios deintervenção caracterizadores dos projectosformativos.

Fontes: Rossi (et al.) (1999); Rodrigues (1993)

Fontes : Patton ( 1997)

28. Avaliar a utilidade

29. Ciclo de formação


# 1: Não é pacífica a identificação do número defases e/ou domínios que devem ser associados a umciclo de formação. Existe todavia consensorelativamente ao conjunto de actividades a desen-volver no âmbito do mesmo.

Será aqui apresentada a caracterização efectuada noâmbito do Sistema de Acreditação de EntidadesFormadoras (da responsabilidade do INOFOR) noqual se considera que o ciclo formativo é compostopor seis domínios de intervenção: diagnóstico denecessidades de formação; planeamento deintervenções ou actividades formativas; concepçãode intervenções, programas, instrumentos esuportes formativos; organização e a promoção deintervenções ou actividades formativas; desenvol-vimento/execução de intervenções ou actividadesformativas e, por último, acompanhamento e aavaliação de intervenções ou actividades forma-tivas.

O sistema mencionado refere ainda um sétimodomínio - "outras formas de intervenção" - que, pelasua especificidade, não surge na sequência dequalquer um dos anteriores, referenciando antesactividades com valor pedagógico ou potenciadorasda formação, podendo ocorrer a montante, emparalelo ou a jusante do processo formativo.

Saber agir que implica a mobilização/combinação//transposição de recursos (conjunto de saberes)numa situação profissional específica, com vista auma determinada finalidade.

Fontes: Portugal. Instituto para a Inovação naFormação (2002)

30. Competência profissional

# 1: A definição de “competência” seria muitopróxima, senão mesmo idêntica, da noçãoapresentada, variando apenas os contextos em que émobilizada.# 2: Não existe ainda um único entendimentoacerca do significado de competência. É nitidamenteum conceito em construção.# 3: Autores convergem no entanto para o seguinte:

A noção de competência incorpora “ três famílias” desaberes: o saber (cognitivo), o saber-fazer (técnico) eo saber-ser (relacional).A competência é por natureza inobservável (o quese observa são manifestações da competência(acções concretas).A competência profissional é sempre finalizada. Éuma acção orientada para um objectivo. Essa acçãotem um sentido para o sujeito que age. A compe-tência profissional é, pois, guiada por uma intencio-nalidade.É um saber agir. A competência exprime-se semprenuma acção ou encadeamento de acções.A competência profissional é sempre contextua-lizada.Traduz-se na capacidade para mobilizar os co-nhecimentos e os recursos necessários à resoluçãode problemas e desafios colocados pela actividadeprofissional

# 4: A validação externa é crucial. Alguém que seauto-declare competente tem de ser capaz de odemonstrar. Neste sentido um indivíduo deverásaber mobilizar os saberes que detém por forma aproporcionar valor acrescentado ao contexto sobreo qual venha a agir.# 5: Para Malcolm Knowles traduz-se numa “ca-pacidade para fazer alguma coisa a um determinadonível de proficiência”. A compreensão do conceitode proficiência é fundamental para se compreendero de competência. Acerca desta matéria, Boterf

defende três níveis de proficiência: principiante,confirmado e perito.

# 1: Trata-se de um documento escrito que resulta,regra geral, de um processo de “negociação” entre oformando e o indivíduo ou entidade responsável pelarealização da formação, com vista à concretização deum conjunto de objectivos de aprendizagem. A suaelaboração pode ainda implicar a participação do(s)respectivo(s) formador(es).# 2: A sua realização assenta no princípio de que nocontexto de uma formação dirigida a adultos, estesdevem ser encorajados e co-responsabilizados noâmbito dos respectivos processos de ensino-aprendizagem.# 3: Para além de se traduzir numa ferramenta deapoio ao desenvolvimento do formando, podeigualmente ajudar a demonstrar em que medida aaprendizagem foi eficaz.# 4: Neste tipo de contrato os “gaps” identificadosno âmbito de um diagnóstico de necessidades deformação são traduzidos em objectivos de apren-dizagem. A estrutura do mesmo apresenta, regrageral, a seguinte configuração:

objectivos de aprendizagem;recursos e estratégias a associar a cada um dosobjectivos;determinação de evidências que demonstrem que

Documento que visa apoiar a execução e amonitorização de um determinado plano individualde aprendizagem.

Fontes: Le Boterf (1997); Gomes (1999); Valente(1999); Knowles (1995); Meignant (1999);Suleman (et al.) (2002)

31. Contrato de aprendizagem

Pág 035

inofor

cada um dos objectivos foi cumprido;identificação de critérios de avaliação para cada umdos objectivos estabelecidos;

# 1: A definição de critério é mais fácil decompreender quando relacionada com a deindicador (ver definição).# 2: Os critérios são as características consideradaspelo avaliador como adequadas para formular juízosde valor sobre o objecto de avaliação em análise.Será a partir destes critérios que serão identificadosos indicadores que possibilitarão avaliar se essescritérios foram cumpridos e em que grau.Aqui ficam alguns exemplos de critérios paraavaliação da formação:

AdesãoCoerênciaConformidadeEficáciaEficiênciaPertinênciaUtilidadeOportunidadeSustentabilidadeRentabilidade(...)

Conjunto de características com base no qual podemser efectuados determinados juízos de valor.

Fontes : Anderson, G.(et al.) (1996); Bellier (1999);Woods, J. (et al.) (2000)

Fontes : Barbier (1990);Le Boterf (1999)

32. Critério de avaliação


33. Custo de oportunidade

34. Custos da formação

Corresponde ao valor de tudo aquilo que temos deprescindir por força da escolha efectuada emdetrimento de outras opções disponíveis.

Inputs (entradas), directos ou indirectos, necessáriosà realização da formação.

# 1: Aquando da tomada de decisão, os indivíduose/ou organizações vêm-se, quase sempre, nasituação de ter que optar por uma de entre váriasalternativas possíveis. Neste sentido, custo deoportunidade é tudo aquilo que indivíduos, organi-zações ou sociedade em geral têm de pôr de lado, afavor de algo que é escolhido.# 2: No contexto da avaliação da formação, o custode oportunidade é, regra geral, considerado nasdecisões relacionadas com a optimização de recur-sos disponíveis. Este custo é, regra geral, conta-bilizado no contexto de análises custo-benefício,designadamente as que são efectuadas a montanteda implementação de uma intervenção formativa.

# 1: A identificação exaustiva de todos os custosinerentes à realização da formação é fundamentalpara a credibilidade da própria avaliação daformação.# 2: As principais categorias de custos da formaçãosão, regra geral, as seguintes: diagnóstico de necessi-dades de formação e planeamento da formação;concepção da formação; execução; avaliação (custosassociados à mobilização de recursos humanos aafectar, assim como produção de documentos decarácter avaliativo).

Fontes : Rossi (et al.) (1999); Patton (1997)

A estas rubricas são associadas despesas, tais como,salários, encargos sociais e benefícios do daformação, salários, encargos sociais e benefícios deoutro pessoal, salários, encargos sociais e benefíciosdos formandos, refeições, deslocações e outrasdespesas ocasionais do da formação, refeições,deslocações e estadias para formandos, material deescritório, materiais pedagógicos, impressão ereprodução, aquisição de serviços externos( ), amortização de equipamentos peda-gógicos, aluguer de equipamentos pedagógicos,manutenção de equipamentos pedagógicos,amortização de instalações, aluguer de instalações,consumíveis, outras despesas diversas, produção dedocumentos técnicos (ex: relatórios de diagnósticosde necessidades de formação e de acompa-nhamento e avaliação da formação), entre outros.# 3: Aquando da realização de uma análise custo-benefício, a montante da realização da formação,podem ainda ser considerados eventuais custos deoportunidade associados ao projecto formativo arealizar (ver definição de custo de oportunidade).

# 1: Não obstante terem sido identificados váriosposicionamentos em matéria de detecção denecessidades de formação, podem, no entantoencontrar-se tendências comuns, que nos remetempara diferentes tipos de abordagens:

staff

staff

outsourcing

Processo que visa analisar eventuais “gaps” oudiscrepâncias existentes entre o perfil decompetências detido por um indivíduo ou conjuntode indivíduos e o respectivo perfil de competênciasdesejado, resultando na elaboração de um plano deformação de natureza correctiva e/ou prospectiva.

4

5

Fontes: Phillips (1997), Rossi (et al.) (1999)

35. Diagnóstico de necessidadesde formação (ou de competências)

4

5

As questões associadas à realização de um diagnóstico de necessidades serão abordadas em documentopróprio, a publicar brevemente.Assumir que as abordagens antecipatórias e prospectivas são, em todas as situações, melhores do que as

abordagens meramente curativas ou reactivas, não é de todo correcto. De facto, as diferentes abordagenspossuem objectivos diferentes e respondem a necessidades diferentes.

Abordagens reactivas ou curativas, que visam, na suageneralidade, reparar eventuais lacunas identificadasao nível da execução dos objectivos de umaorganização. Centram-se na resolução de proble-mas que se colocam no imediato ou no curto prazo.Abordagens antecipatórias e/ou prospectivas, queassentam, regra geral, na realização de reflexõesestratégicas com incorporação de métodos etécnicas prospectivas, projectivas ou previsionais. Asorganizações que recorrem a estes métodos, pro-curam antecipar, ao nível da respectiva envolventeinterna e externa, futuros cenários com os quais asmesmas inevitavelmente vão ter que se confrontar.Focalizam-se no médio-longo prazo.Abordagens mistas, que integram simultaneamenteelementos “reactivos” e “antecipatórios”. Este tipode abordagem tende a ser a opção mais escolhidapelas organizações, quando comparada com asrestantes abordagens. Centram-se, regra geral,numa perspectiva de curto prazo .

# 2: Quanto aos métodos utilizados, estes tambémvariam consoante o tipo de abordagem escolhido,não sendo, por isso, possível identificar uma

Pág 037

inofor

metodologia única, linear e simples, já que nodesenrolar de cada uma das abordagens podemcoexistir os métodos qualitativos e quantitativos,técnicas previsionais, técnicas projectivas, estudos decaso, análise de funções, auscultação de actores eparceiros, , entre outras.# 3: De acordo com alguns dos especialistas nestedomínio, um dos factores fundamentais a considerarno âmbito de um diagnóstico de necessidades deformação, é a compreensão da situação referencialdesejável à luz da qual será realizado o diagnóstico.

# 1: É já considerada uma das principais fases de umprocesso de avaliação;# 3: Pode ser perspectivada de várias formas:

brainstorming

Conjunto de actividades que facilitam a apropriaçãodos resultados de uma avaliação pelos seus clientes.

Fontes: Capela (2000); Meignant (1999); Gupta, K.(1999)

36. Disseminação de resultados


Divulgação dos resultados detalhados de um processo de avaliação a audiênciasassociadas directamente à execução do projecto formativo (Ex: técnicos, formadores,formandos, coordenadores...)

Disseminação primária

Divulgação dos resultados sumariados e simplificados de um processo de avaliação,junto de públicos não directamente associadas à execução do projecto formativo(ex: administradores da empresa, financiadores, parceiros sociais...)

Disseminação segundária

Transferência de adquiridos para outras organizações similares.Disseminação horizontal

Transferência e integração da totalidade ou parte dos resultados no plano institucional,político, regulamentar ou administrativo.Disseminação vertical

# 3: Em projectos formativos de grande dimensão, adisseminação pode mesmo encerrar objectivos dedemonstração de boas práticas e “ ”,numa tentativa de estender o impacte do projecto aoutros contextos (impactes ao nível das organi-zações, dos grupos e dos indivíduos).

# 1: Também se utiliza a palavra: confiabilidade.# 2: É um critério necessário mas não suficiente naescolha de medidas a utilizar nos instrumentos deavaliação. A verificação da validade de um instru-mento segue-se, normalmente, à verificação darespectiva fidelidade. Na realidade, de nada adiantater um instrumento fiel, se o mesmo não mede oque é suposto medir (validade). Dito ainda de outraforma: como poderão ser tomadas deci-sões se osresultados não são consistentes?# 3: Faz referência à estabilidade e consistência dosresultados de um determinado instrumento.# 4: A fidelidade de um instrumento é, regra geral,interpretada de acordo com determinados graus:elevada, moderada e baixa.

benchmarking

Característica que permite verificar se os instru-mentos produzem resultados semelhantes, quandoaplicados, várias vezes, em situações idênticas.

Parte da gestão da qualidade orientada no sentido degerar confiança quanto à satisfação dos requisitos daqualidade pré-estabelecidos.6

Fontes: Patton (1997); Rossi (et al.) (1999)

Fontes: Rossi (et al.) (1999); Airasian (2001)

37. Fidelidade dos instrumentos de avaliação

38. Garantia de qualidade

# 1: Quando aplicado ao contexto da formação,este termo pode ser entendido, como o conjunto deprocedimentos desenvolvidos a montante, ao longoe a jusante, da implementação de determinadoprojecto formativo, por forma a garantir que osrespectivos resultados sejam efectivamente os de-sejados.# 2: A demonstração de procedimentos de garantiade qualidade das intervenções formativaspreconizadas é, regra geral, uma das exigênciasdestacadas no âmbito dos respectivos cadernos deencargos.# 3: Como dispositivos de garantia de qualidadeaplicáveis ao Sistema de Formação Profissionalexistente, destacam-se, a título de exemplo, oSistema de Certificação do IEFP, o Sistema de Acre-ditação de Entidades Formadoras (do INOFOR erestantes organismos), a aplicação da norma NP ENISO 9000:2000, entre outros... Destacam-se aindaos sistemas internos de garantia de qualidade im-plementados por parte das entidades que intervêmna formação profissional. A inclusão da auto-ava-liação entre os principais temas de reflexão acerca dagarantia de qualidade na formação contínua temigualmente facilitado o desenvolvimento deste tipode práticas.

# 1: Ver definição de “garantia de qualidade”.

Conjunto de actividades coordenadas que visammonitorar e controlar projectos de natureza for-mativa, numa óptica de optimização dos seusresultados.

Fontes: Portugal. Instituto Português da Qualidade(2001)

39. Gestão da formação

6Adaptado da definição constante na norma NP EN ISO 9000:2000.

# 2: É normalmente colocada ao serviço de umamaior eficiência e eficácia de uma organização.# 3: Exige, à partida, um claro entendimento no quese refere à noção de gestão. Sem prejuízo de outrasdefinições igualmente válidas, destacamos aqui, pelodesenvolvimento da mesma, a noção avançada porMeignant (1999: 79) “fazer gestão é analisar ouajudar os responsáveis a analisar situações e re-cursos, gerir redes relacionais, tomar ou propordecisões de política e realizações, optimizando osrecursos atribuídos, pôr em funcionamento, garantirum acompanhamento quantitativo e qualitativo,analisar os resultados e dar conta deles aos decisores(clientes), e tirar desses resultados elementos pararegular o conjunto, melhorando-o constantementeem relação permanente com os seus clientes”.# 4: As actividades normalmente desenvolvidas nocontexto de um sistema de gestão da formação, sãoas seguintes:

Estabelecimento da política formativa a desenvolver.Construção de metodologias para diagnosticar ne-cessidades de formação/competências.Elaboração de planos de formação no qual constemas acções formativas a desenvolver, respectivosresultados a alcançar, bem como respectivos crité-rios e indicadores de avaliação.Definição de itinerários pedagógicos a desenvolver.Preparação de actores a implicar no projecto forma-tivo.Concepção e aplicação de dispositivos de avaliação,por forma a garantir a eficiência e eficácia do plano deformação, bem como eventual reeorientação deintervenções/políticas formativas.Agenciamento de recursos financeiros para a exe-cução da formação.Gestão dos orçamentos disponíveis para a execuçãoda formação.Identificação, conjuntamente com o responsávelpela gestão dos recursos humanos, das condições

Pág 039

inofor

necessárias ao processo de transferência de saberespara os contextos reais de desempenho.Desenvolvimento da formação de acordo com apolítica de gestão de carreiras (quando existente).Implementação de um sistema de gestão de infor-mação, capaz de produzir informação atempada adirigir aos diversos centros de decisão implicados naformação.

# 1: Ver definição de “critério de avaliação” ,“objectivo de aprendizagem” e “referente”.# 2: Os indicadores utilizados no contexto deprojectos formativos são normalmente analisados deacordo com agrupamentos específicos, tais como:

(associados, por exemplo, a critérios depertinência, de oportunidade, de coerência, deadesão... ).

. Neste conjuntode indicadores destacam-se os relacionados com ascaracterísticas dos formandos; as características dosformadores e outros elementos responsáveis pelaexecução da formação; a natureza e o tipo deinteracção entre actores envolvidos na execução daformação (enfoque ao nível da intensidade doscontactos inter-actores); as metodologias peda-gógicas utilizadas; os conteúdos da formação, arentabilização da capacidade instalada; a organizaçãode suporte.

Elemento observável e mensurável que sinaliza ograu de cumprimento do critério de avaliação.

Indicadores associados à concepção de um projectoformativo

Indicadores associados ao desenvolvimento/funcio-namento da intervenção formativa 7

Fontes: Le Boterf (1999); Meignant (1999); Soyer(1999)

40. Indicador de avaliação

7Ver definição de “avaliação interna”.


Indicadores associados aos resultados e impactes deuma intervenção formativa

Recursos tangíveis e intangíveis necessários para aprodução dos resultados da avaliação.

ex-anteinput

inputs

. Neste conjunto deindicadores destacam-se os relacionados com: osresultados imediatos da formação (relacionados comaquisição de saberes específicos); os impactes daformação, designadamente, ao nível quer do desem-penho dos indivíduos em situação real de trabalho(Ex: grau de autonomia, grau de domínio de deter-minada tecnologia...) quer da respectiva área fun-cional e/ou organização no seu todo (Ex: ganhos deprodutividade, índices de absentismo...) quer ainda,ao nível de uma comunidade e/ou região específica(Ex: graus de empregabilidade dos formanos, taxasde inserção socioprofissional dos formandos...).

# 1: Expressão que pode ser igualmente substituídapor “entradas do processo avaliativo”.# 2: Ver definição de “diagnóstico de necessidadesde formação” e de “ avaliação ”.# 3: O principal de um processo avaliativo énormalmente a informação fornecida por eventuaisdiagnósticos de diagnóstico de necessidades de for-mação (expectativas e necessidades dos respectivosbeneficiários). São ainda considerados de umaavaliação os resultados e impactes preconizados pordeterminado projecto formativo, as informaçõesacerca das condições para aplicação do modelo deformação e avaliação, etc...).

8

Fontes : Barbier (1990); Van den Berghe (1998);Scriven (1991); Patton (1997)

Fontes : Patton (1997); Salgado (1997); Rossi (etal.)(1999)

41. da avaliaçãoInputs

42. Juízo de valor (ou de utilidade)

43. Meta-avaliação

Apreciação final que é feita após a recolha, tra-tamento e análise de dados acerca de determinadarealidade objecto de avaliação.

Visa avaliar o modelo avaliativo desenvolvido, porforma a garantir os níveis de qualidade nos processose técnicas de avaliação utilizados.

# 1: Encarado como um dos produtos decorrentesde uma processo avaliativo, assume um papel im-portante aquando da fase de elaboração de reco-mendações de melhoria.# 2: A sua formulação permite que a avaliação váalém da simples medição, baseada normalmente nouso de instrumentos de natureza quantitativa. Emrigor, é no contexto de uma avaliação que se for-mulam juízos de valor com vista à tomada dedecisões.# 3: A elaboração de juízos de valor pressupõe queexista, à partida, um conjunto de referentes quesustentam determinada tomada de posição. A suaexistência permite realizar exercícios de comparaçãoentre algo alcançado e padrões de referência pré-estabelecidos (ver definição de referente).

# 1 : Apresenta como principais alvos de estudo: osmétodos e técnicas de avaliação utilizados, osavaliadores (respectivo desempenho), os resultadosdo processo avaliativo (a sua utilidade para os res-pectivos utilizadores).# 2: Pressupõe a existência de padrões de referênciacom base nos quais será realizada a avaliação dos

Fontes: Barbier (1990); Patton (1997); Scriven(1991)

8Ver definição de “análise custo-benefício” e de “retorno do investimento”.

métodos e técnicas de avaliação utilizados. Estespadrões de referência assentam, frequentemente,nos resultados de modelos de avaliação concebidose aplicados por autores de reconhecido mérito nodomínio da avaliação. Os critérios utilizados commaior frequência são os seguintes: utilidade dasabordagens, adequação das mesmas face aos res-pectivos contextos de aplicação, grau de exequa-bilidade dos métodos preconizados, rigor no trata-mento dos dados.

# 1: As metodologias de avaliação evoluiram aolongo dos tempos em função de dois factoresfundamentais: a (re)definição do papel do avaliador eo grau de participação dos implicados no processoformativo. Estas questões são claramenteevidenciadas no contexto dos trabalhos de Guba eLincoln (1989) que, ao apresentarem uma pers-pectiva histórica da avaliação, identificam e caracte-rizam “quatro gerações de avaliação”. De acordocom a análise efectuada evoluiu-se de abordagens denatureza essencialmente quantitativa, regra geralcentradas na “medição” das características dos agen-tes avaliados, passando pelas abordagens avaliativascentradas, quer na descrição do realizado e nãorealizado (objectivos pré-estabelecidos versusresultados) quer na emissão de juízos de valor (naqual o avaliador assumia um papel de “juíz”) parametodologias avaliativas focalizadas na participação e

9

Processos de pesquisa de informação, assentes naidentificação de um conjunto de questões queincidem sobre as fases de preparação, implemen-tação, resultados e impactes de uma intervençãoformativa.

Fontes : Scriven (1991); Patton (1997)

44. Metodologias de avaliação

Pág 041

inofor

envolvimento dos vários actores, exercendo oavaliador, neste último caso, um papel de facilitadorno processo de identificação de estatégias avaliativasa aplicar.

Estas últimas abordagens têm vindo a desenvolver-sesem prejuízo da aplicação de metodologias avalia-tivas assentes em pressupostos de naturezapositivista (perspectiva segundo a qual o sujeito queavalia e o sujeito/objecto avaliado são duas realidadesindependentes). De facto, identificam-se no “terre-no” várias metodologias de avaliação que podem sermais ou menos: formativas, sumativas, estruturadas,quantitativas, qualitativas, positivistas, formais, parti-cipadas, etc... sendo que os factores que permitemoptar por esta ou aquela metodologia prendem-se,essencialmente, com as especificidades dos res-pectivos contextos de aplicação, bem como as ne-cessidades de informação dos respectivos bene-ficiários.

# 1: Conceito bastante utilizado no âmbito daabordagem apresentada por D. Kirkpatrick (1994).Para este autor níveis representam as diferentes“dimensões” (avaliar o quê?) em que a formaçãopode ser avaliada. Essas “dimensões” são:

Nível 1 - Reacção (em que medida os participantesestão satisfeitos com o programa?);Nível 2 - Aprendizagem (em que medida ocorreramaprendizagens?);

10

Representam uma sequência de dimensões deavaliação da formação.

Fontes: Guba e Lincoln (1989);Luís Capucha (etal.)(1996);Patton (1997); Wall e Ottewill (2000)

45. Níveis de avaliação

9Este termo refere-se apenas ao contexto da formação profissional.10Destacam-se aqui apenas as abordagens mais conhecidas no que se refere à noção de “nível de avaliação”.


Nível 3 - Comportamento (em que medida asaprendizagens adquiridas/desenvolvidas foramtransferidas para os contextos de trabalho?);Nível 4 - Resultados (em que medida a aplicação dosnovos saberes provocaram mudanças no desem-penho da organização?).

#2: Os níveis de D. Kirpatrick são provavelmente osmais conhecidos pela maior parte dos especialistasde avaliação. Esta taxonomia difundiu-se sobretudo,e rapidamente, no contexto dos projectos deformação intra-empresa, tendo sido entretantodesenvolvido/ajustado por forma a ser aplicado aoutros contextos.J. Phillips propõe um quinto nível de avaliação,também sequencial em relação aos níveis de D.Kirkpatrick:

Nível 5 - Retorno do investimento (aplicação daabordagem ROI). Este autor defende que para alémda aferição de eventuais impactes ao nível dodesempenho de uma organização, importa efectuaranálises custo-benefício por forma a determinar emque medida os impactes obtidos justificaram o inves-timento efectuado.

Trata-se de enunciar o tipo de resultado a alcançarcom a intervenção formativa, indicando o que osformandos devem ser capazes de fazer depois deconcluída a aprendizagem, as condições em que odevem fazer, assim como níveis de desempenho/proficiência a alcançar.

Fontes: Phillips, J. (1997); Kirkpatrick (1998-A);Phillips,P. (2002)

46. Objectivosde aprendizagem (pedagógicos)

# 1: A construção de objectivos de aprendizagempode obedecer a técnicas específicas. A mais conhe-cida é a de R. Mager que valoriza “o princípio dotriplo C”, isto é um objectivo bem definido deve:

precisar um comportamento observável;enumerar as condições e as características do con-texto de desempenho, críticas à emergência dessecomportamento;precisar o(s) níveis de desempenho/proficiência aalcançar, traduzidos em indicadores de resultados aavaliar, que permitem determinar, de forma ine-quívoca, se o comportamento observado é aceitável/ adequado.

# 2: Um objectivo de aprendizagem consiste naoperacionalização e decomposição pedagógica deuma actividade, desempenho, meta organizacional,serviço/produto, garantindo-se a presença doscondicionalismos, regras, normas, instrumentoshabituais nos contextos de desempenho.# 3: A sua correcta formulação permite apoiar osvários actores intervenientes numa acção formativaao nível do processo de construção, condução eavaliação das acções de formação.

# 1: Trata-se de uma definição muito simples de«plano».# 2: Ver definição de “questões de avaliação”.# 3: Traduz, de uma forma operacional, a abor-

Conjunto de actividades devidamente organizadaspor forma a atingir os objectivos da avaliação da for-mação.

Fontes: Mager (1997); Portugal. Comissão Intermi-nisterial para o Emprego (2001)

47. Plano de avaliação

dagem de avaliação preconizada. A fase da plani-ficação é já considerada a fase crucial de um processode avaliação.# 4: No âmbito do presente glossário são desta-cadas quatro fases normalmente associadas a umplano de avaliação, a saber:

a fase da preparação do processo avaliativo(destaque para o momento da planificação)a fase da execução/desenvolvimento do processoavaliativo (destaque para a fase da obtenção dosdados considerados relevantes)a fase do tratamento e análise dos dados e apre-sentação de resultados (destaque para o momentoda emissão de juízos de valor)a fase da disseminação dos resultados (destaque paraa fase da identificação dos centros de decisão para osquais se deve remeter os resultados da avaliação).

# 1: É a tradução operacional da política deformação da organização. A sua execução pode seranual ou plurianual.# 2: Este documento dá especial relevo às acções deformação a desenvolver e assume, regra geral, aforma de um caderno de encargos (para cada cursointegrado no plano).

Documento que integra um conjunto estruturado deactividades que devem ser realizadas num dadoperíodo de tempo, com vista à prossecução dedeterminados objectivos, tendo por base os resul-tados de um diagnóstico de necessidades de for-mação.

Fontes: Patton (1997); Rossi (1999); Valadares eGraça (1998)

48. Plano de formação

Pág 043

inofor

# 3: É normalmente elaborado pela estrutura quegere a formação.

# 1: Devem ser realistas e susceptíveis de seremrespondidas (implica a identificação de critérios eindicadores de avaliação precisos, assim comoidentificação dos respectivos referentes).# 2: A sua utilidade reside no facto de contribuirempara a delimitação do objecto alvo de estudo,identificação dos a implicar no processode avaliação, bem como respectivas necessidades eexpectativas.# 3: Podem ser efectuadas pelo responsável peladefinição da metodologia avaliativa, pelos avaliados,bem como pelo conjunto de outros indivíduos( ) que demonstrem claro interesserelativamente aos resultados de determinadaintervenção formativa.# 4: As primeiras questões são efectuadas, regrageral, pelo avaliador responsável pela concepção domodelo avaliativo, das quais decorrem as restantes,normalmente elaboradas pelos restantes

.

Efectuadas a montante, ao longo e a jusante daimplementação de um processo de avaliação daformação, visam aferir as matérias relevantes ainvestigar/considerar no âmbito do mesmo.

stakeholders

stakeholders

stakeholders

Fontes: Le Boterf (1999) ; CIME (2001)

Fontes : Rossi (et al.) (1999); Woods, J. (etal.)(2000); Patton (1997); Soyer (1999), Garlick eDes Kemp (2001)

49. Questões de avaliação


50. Recomendações

51. Referencial de avaliação

Conjunto de sugestões de melhoria e/ou propostasde medidas de acção que decorrem da análise dosdados recolhidos durante o processo avaliativo e quevisam contribuir para a melhoria de determinadosprocessos formativos.

ex-ante on-going ex-post

É um esquema construído com base numacombinação de referentes, com vista a ser utilizadocomo quadro de referência aquando da avaliação dedeterminada realidade (neste caso, de formação).

# 1: Podem ser efectuadas antes, durante e/ou apósa realização de um processo de formação (ver defi-nição de avaliação , e ).# 2: Constituem a parte de um relatório de avaliaçãoà qual é dada normalmente maior atenção, pelo quesurgem, regra geral, destacadas do conjunto dasinformações disponibilizadas.# 3: Sobre esta matéria destacam-se as posições dedois autores: Michael Scriven e Michael Patton.Acerca da elaboração de recomendações Scriven(1991) destaca a dificuldade de um avaliador efec-tuar recomendações específicas, no caso de não serespecialista na matéria em estudo, pelo que sustentaque o papel de um avaliador termina com a elabo-ração de juízos de valor acerca das matérias emanálise. Com uma opinião contrária, Patton (1997)entende que um processo de avaliação deveconsiderar a fase da elaboração de recomendações.Acrescenta que a situação apresentada por Scrivenpode ser ultrapassada com o envolvimento dosactores (principais centros de decisão), na fase deelaboração dessas recomendações.

Fontes: Scriven (1991); Patton (1997); Rossi (etal.)(1999)

# 1: Os termos “referencial” e “referente” são aquidefinidos à luz do trabalho de Gérard Figari.# 2: O próprio G. Figari não apresenta uma definiçãoúnica de referencial.# 3: Ver definição de “referente”.# 4: O referencial é, normalmente, considerado umproduto acabado, correspondendo a uma formu-lação momentânea da referencialização. Pelo con-trário, o processo de referencialização é normal-mente referido como um sistema dinâmico e aberto,que permite a incorporação de eventuais alteraçõesque contribuam para uma maior adequação dasintervenções de avaliação às constantes mutaçõesdos respectivos contextos de aplicação.# 5: A sua elaboração implica a identificação doconjunto de referentes, com base no qual podem serefectuados juízos de valor acerca de determinadasituação em análise.

# 1: A referencialização é um processo (e não umproduto) de elaboração do(s) (s).# 2: A referencialização consiste em identificar umcontexto e em construir, sob dados sólidos, umcorpo de s relativos a um objecto (ou umasituação) em relação ao qual poderão ser justificadosdiagnósticos, projectos, avaliações (ver definição dereferente e de referencial).

Processo específico de explicitação ou construção deum quadro ou sistema de referência.

referente

referente

Fontes: Figari (1996); Barbier (1990), Abreu (1996)

Fontes: Figari, G. (1996); Barbier (1990)

52. Referencialização

53. Referente

54. Relatório de avaliação

Conjunto de princípios/disposições/critérios emfunção dos quais são emitidos juízos de valor.

stakeholders

Ferramenta principal de apresentação, aos dife-rentes beneficiários, dos resultados finais do trabalhode avaliação da formação.

# 1: Desempenha um papel instrumental na pro-dução de um juízo. Constitui, usando a terminologiade Barbier (1990) um “meio de trabalho do pro-cesso de avaliação”. Segundo este autor, dificilmentehaverá avaliação se não forem conhecidos os res-pectivos referentes. Este princípio também se aplicaa projectos formativos que não estabelecem, de for-ma rigorosa, quaisquer objectivos à partida. Nestescasos, competirá aos formandos, formadores, coor-denadores... construi-los à medida que as neces-sidades se vão evidenciando.Neste tipo de projecto é normalmente aplicada aabordagem “goal free evaluation”, ou seja, umaavaliação que não tem quaisquer objectivos por re-ferência (Patton 1997). A estreita articulação entreavaliadores e respectivos , traduz-senum dos factores críticos de sucesso deste tipo deavaliação. Conjuntamente saberão dar uma respostaadequada à questão: quando é que se sabe que osobjectivos foram alcançados?# 2: O campo semântico coberto por este termo ébastante vasto: podemos falar de normas dejulgamento, de critérios específicos de apreciação,de condutas esperadas, de quadros/termos dereferência...

Fontes: Patton (1997); Barbier (1990); Figari (1996)

Pág 045

inofor

# 1: Trata-se de uma definição simples de «rela-tório». É normalmente um documento escrito, noqual constam os resultados da avaliação efectuadano âmbito dos diferentes níveis (ver níveis de ava-liação).# 2: Ver definição de “recomendações de avaliação”.# 3: Podem tratar-se de relatórios intermédios e/ourelatórios finais de avaliação.# 4: Um relatório de avaliação pode ter váriasversões aperfeiçoadas e validadas com base nofeedback dos diferentes .

# 1: Ver definição de “relatório de avaliação”.# 2: Esta noção não deve ser entendida comoresultados da formação.# 3: Como resultados mais frequentes dos sistemasde avaliação destacam-se os relatórios intermédios(de progresso) e relatórios finais de avaliação. Po-dem ainda ser considerados resultados de umaavaliação toda a documentação produzida ao longodo processo avaliativo, tais como, actas de reuniões,documentos para apoio à reflexão, etc...# 4: A apropriação dos resultados de uma avaliaçãodepende da respectiva utilidade para seusbeneficiários. Esta utilidade assume, fundamental-mente, duas vertentes:

Uso directo ou instrumental dos resultados. Torna-se visível aquando da redefinição de estratégias, dereformulações de planos de acção, de alterações aonível dos conteúdos programáticos... (impactosdirectos dos resultados)

stakeholders

Produtos tangíveis do processo de avaliação neces-sários para atingir os seus objectivos.

Fontes: Rossi (1999); Patton (1997); Weiss(1997)

55. Resultadosda avaliação (outputs da avaliação)


Uso conceptual dos resultados. Torna-se visívelaquando da elaboração de normativos/procedi-mentos da entidade formadora (numa óptica demelhoria contínua), de alterações ao nível daestrutura funcional da empresa (organograma), daalteração das políticas formativas da empresa, etc....(impactes indirectos dos resultados).

# 1: A sua implementação numa dada organizaçãopermite, com maior rigor, pilotar/monitorar a mo-bilização de recursos (humanos, materiais, finan-ceiros...) para a concretização de determinados ob-jectivos, assim como devolver, em tempo oportuno,aos respectivos centros de decisão, os resultadosentretanto obtidos.# 2: A sua utilidade é susceptível de ser demonstradasempre que o mesmo fornece às pessoas certas, ainformação certa, num tempo oportuno e da formamais adequada, por forma a produzir os objectivosdesejados.# 3: No contexto da formação, destacam-se doiscentros de decisão para os quais esta ferramentaassume um papel crucial: a estrutura que gere eexecuta a formação e a estrutura que recebe os seusbenefícios directos e indirectos, em particular, oscontextos de desempenho dos recém-formados,assim como a estrutura organizacional na qual seencontram inseridos. Um sistema de gestão deinformação visa, no primeiro caso, fornecer infor-mações de apoio à tomada de decisão, numa óptima

Permite a disponibilização e a gestão de informaçõesutilizadas aquado da tomada de determinadas de-cisões.

Fontes: Patton (1997); Rossi (et al.) (1999); Barbier(1990);Capucha (et al.) (1996)

56. Sistema de gestão de informação (SGI)

de optimização dos recursos mobilizados para oprojecto formativo. No segundo caso, visa a dispo-nibilização de informações que permitam aferir oefectivo valor acrescentado para os contextos nosquais são mobilizados os saberes aquiridos/desen-volvidos, pela via da formação, numa óptica de apoioà decisão acerca da continuidade ou descontinuidadedas intervenções formativas, assim como (re)-avalia-ção de investimentos efectuados.

# 1: A palavra é já um termo bastanteutilizado aquando da realização de projectos nosmais variados domínios do saber. Trata-se, na reali-dade, de identificar os clientes internos e externos dedeterminado projecto formativo.# 3: Podem ser agrupados da seguinte forma:

(2) Indivíduos ou organizações que financiam oprojecto formativo. Aqui se incluem os gestores deiniciativas comunitárias, gestores e accionistas deempresas. São os responsáveis pela decisão acercada existência ou não existência do projecto forma-tivo.(1) Indivíduos ou organizações que promovem aformação. Decidem acerca do seu início, da suamanutenção, da sua reestruturação e, eventual-mente, do seu cancelamento. São ainda os res-ponsáveis pela definição da política formativa a seguir.

Indivíduos ou entidades, que se envolvem (directa ouindirectamente) em determinado programa/projectoformativo e a quem podem ser devolvidos, ao longoe/ou após a realização da formação, os resultados daavaliação da formação.

stakeholders

11

Fontes:Rossi (et al.) (1999); Scriven (1991); Patton(1997)

57. Stakeholders

11A lista de indivíduos e organizações referidos devem ser encarados apenas como potenciais implicados numaavaliação. Competirá ao avaliador identificar todos aqueles que estarão eventualmente interessados e em quemedida, nos resultados de determinado projecto formativo.

(3) Responsáveis pela avaliação externa do projectode formação. Podem ou não ser os mesmos járeferidos nos pontos anteriores.(4) O público-alvo a abranger pela formação.(5) O gestor de formação ou a pessoa responsávelpela gestão do projecto formativo.(6) Indivíduos envolvidos na execução do projectode formação: formadores, monitores, coordenado-res pedagógicos, tutores, avaliadores.(7) Organizações concorrentes que desenvolvemformação na mesma área (podem vir a manifestaralgum interesse no que toca a práticas bem sucedidascom forte potencial de transferibilidade paracontextos idênticos. Acontece por vezes seremrealizadas parcerias que possam interessar àorganização detentora do know-how produzido).(8) Indivíduos ou organizações que beneficiamindirectamente dos resultados da formação (ex:consumidores finais (ou clientes externos) dosprodutos e/ou serviços produzidos por umaorganização e/ou indivíduos beneficiários daformação, clientes internos (ex: colegas de trabalho),famílias envolvidas, outras instituições não associadasà realização da formação...(9) Indivíduos ou organizações associadas à área dainvestigação que, perante práticas bem sucedidas,procuram divulgar junto, quer da comunidadecientífica interessada nas matérias em estudo querdos profissionais da área, os respectivos resultados.

Acto de seleccionar elementos a partir de umapopulação para fins de investigação/avaliação.

Fontes: Rossi, P.(et al.) (1999); Patton(1997);Simpson e Lyddon (1995)

58. Técnica de amostragem

Pág 047

inofor

# 1: Trata-se de uma definição abrangente deamostragem, válida para qualquer contexto deaplicação, incluindo o da avaliação da formação.# 2: No contexto da avaliação da formação, asunidades mais comuns objecto de amostragemsão:

os cursos ou acções de formação a seleccionar paraavaliação, a partir de um plano de formação;os formandos de determinados cursos;os diferentes “stakeholders” a contactar/implicar noâmbito da avaliação.

# 3: Existem 2 modalidades básicas de amostragem:dirigida e aleatória.

# 1: Prática cada vez mais utilizada no âmbito dosestudos de investigação nas mais diversas áreas.Traduz-se na prática, no recurso a várias teorias,fontes ou tipos de informação, tipos de técnicas,num contexto em que se pretende estudar/analisarum fenómeno específico (ver definição de métodosqualitativos e métodos quantitativos).# 2: Resulta numa maior credibilidade dosresultados de um determinado estudo, permitindouma maior sustentação das decisões que venham aser efectuadas sobre o mesmo.# 3: Uma das vantagens no uso da triangulação emprojectos de investigação consiste em “atenuar”algumas das desvantagens que decorrem daaplicação de um único método e/ou técnica.

Consiste na utilização de mais do que uma fonte,método e/ou técnica aquando da realização de umaavaliação de determinada intervenção formativa.

Fontes:Reis, E.(et al.)(2001)

59. Triangulação


# 4: Permite complementar as abordagens denatureza quantitativa, sempre que, por exemplo,após a recolha, análise e tratamento de dados não épossível regressar ao “terreno” para verificar ouclarificar alguma resposta resultante da aplicação dedeterminado inquérito por questionário.

# 1: A análise dos instrumentos deve ser efectuadade acordo com dois critérios fundamentais (entreoutros): validade e fidelidade.# 2: A noção de validade deve ser relacionada com anoção de utilidade dos resultados que decorrem daaplicação de um instrumento de avaliação, ou seja, osresultados da avaliação permitem a tomada dedecisão dos seus utilizadores?

Característica que permite verificar se um instru-mento de avaliação mede efectivamente aquilo que ésuposto medir.

Fontes: Scriven (1991); Rossi (et al.)(1999)

60. Validade dos instrumentos de avaliação

# 3: A verificação da validade de um instrumento é,regra geral, efectuada a jusante da verificação darespectiva fidelidade.# 4: Existem vários tipos de validade: a validade deconteúdo, a validade de critério e a validade de cons-truto.

Validade de conteúdo: refere-se à representa-tividade ou grau de adequação do conteúdo doinstrumento de medida relativamente àquilo queestá a ser medido e, por conseguinte, à confiançamaior ou menor para fazer determinadas inferências(Nunnally, 1978) .Validade de critério: um instrumento de avaliaçãopode ter validade referida a um critério, sendo quedos seus resultados podemos inferir acerca do graude consecução desse critério (baseado em Valadas eGraça 1998).Validade de construto: um instrumento de avaliaçãopode ter validade de construto caso permita fazerinferências correctas acerca desse construto (ba-seado em Valadas e Graça 1998).

12

13

Fontes: Caetano (1996); Valadares e Graça (1998);Airasian (2001)

1213

In Caetano, A. (1996)“ Avaliação de desempenho”.“Um construto representa uma hipótese (geralmente meio formada) de que diversos comportamentos

estarão correlacionados uns com os outros em estudos de diferenças individuais e/ou serão igualmenteafectados por tratamentos experimentais (Nunnally 1978)”, in Caetano (1996) “Avaliação de desempenho”.

Lista de termos usados

01. Análise custo-benefício02. Aprendizagem ao longo da vida03. Auditoria da formação04. Auto-avaliação05. Avaliação “à medida”06. Avaliação da formação07. Avaliação da transferência de aprendizagens08. Avaliação de aprendizagens09. Avaliação de impactes da formação10. Avaliação de reacções11. Avaliação diagnóstica12. Avaliação do retorno do investimento (ROI)13. Avaliação14. Avaliação15. Avaliação externa16. Avaliação formativa17. Avaliação interna18. Avaliação19. Avaliação qualitativa20. Avaliação quantitativa21. Avaliação sumativa22. Avaliar a coerência23. Avaliar a conformidade24. Avaliar a eficácia25. Avaliar a eficiência26. Avaliar a oportunidade27. Avaliar a pertinência28. Avaliar a utilidade29. Ciclo de formação30. Competência profissional31. Contrato de aprendizagem32. Critério de avaliação33. Custo de oportunidade34. Custos da formação35. Diagnóstico de necessidades de formação36. Disseminação de resultados37. Fidelidade dos instrumentos de avaliação38. Garantia de qualidade

ex-anteex-post

on-going

Pág 049

inofor

39. Gestão da formação40. Indicador de avaliação41. Inputs da avaliação42. Juízo de valor43. Meta-avaliação44. Metodologias de avaliação45. Níveis de avaliação46. Objectivo de aprendizagem (pedagógicos)47. Plano de avaliação48. Plano de formação49. Questões de avaliação50. Recomendações51. Referencial de avaliação52. Referencialização53. Referente54. Relatório de avaliação55. Resultado da avaliação ( )56. Sistema de gestão de informação57.58. Técnica da amostragem59. Triangulação60. Validade dos instrumentos de avaliação

outputs da avaliação

Stakeholders


Observações

03Parte»»»Notas metodológicas

Encarada como complemento ao capítulo anterior,esta parte do trabalho visa remeter o leitor para umareflexão acerca das implicações associadas àoperacionalização dos termos previamentedescritos.

As notas metodológicas remetem para um contextoespecífico de avaliação, no qual se privilegia a ar-ticulação interactores envolvidos num determinadoprocesso de formação. Embora esta seja ainda umaprática pouco evidenciada no contexto das or-ganizações responsáveis pela gestão e im-plementação de projectos formativos, defende-seque a mobilização dos vários actores para a“construção” de um dispositivo de avaliação deinteresse comum, reverte, em grande medida, a

favor da elevação da qualidade das intervençõesformativas desenvolvidas.

Destaque-se que para a elaboração desta parte dotrabalho muito contribuiram quer a observação no“terreno” de práticas concretas de avaliação quer aanálise de experiências de alguns especialistas emmatéria de avaliação da formação, que nos apre-sentam alguns dos factores críticos de sucesso asso-ciados às práticas de avaliação da formação.

Pretende-se, pois, colocar à discussão dos váriosutilizadores deste primeiro caderno, “uma formadiferente” de fazer avaliação, muito centrada naparticipação (possível) e envolvimento de todos osinteressados nos resultados de determinadoprojecto formativo. Para tal, são deixadas, nesta fase,algumas pistas concretas que visam apoiar a imple-mentação de processos de avaliação da formação.

Notas metodológicas

(1) Análise custo-benefício

Dos dois pontos anteriores resulta que o ROI ésempre inferior ao RCB , como pode ser verificadocom o seguinte exemplo:

Benefícios do programa de formação xpto = 1000Custos do programa de formação xpto = 450

1000RCB =_____ =2.22

450

1000RCB (%) = ______ x 100=222.22%

450

1000 - 450ROI (%) = __________ x100=122.22%

450

A interpretação que deve ser dada aos valores deRCB e ROI é a seguinte:

Um RCB de 2.22 significa que por cada unidademonetária investida (custo) no programa de for-mação xpto, a respectiva entidade promotorarecuperou 2.22 unidades monetárias (benefício).[450 x 2.22 = 1000]Um ROI de 122.22% significa que se obteve aquelapercentagem de lucro líquido face ao valor mone-tário inicialmente investido no programa de for-mação xpto. [450 x 122.22% = lucro = 550]O ROI também pode ser expresso em unidades. Noexemplo, teríamos um resultado de 1.22 ainterpretar nos mesmos moldes do ponto anterior.[450 x 1.22 = 550]Atenção que o RCB só representa uma relaçãorentável entre custos e benefícios quando o seu valoré superior a 1. Já o ROI tem de ser superior a 0%para traduzir a mesma realidade.

14

Pág 055

inofor

O ponto anterior pode ser mais facilmente com-preendido com o seguinte exemplo:

Benefícios do programa de formaçãoxpto = 350Custos do programa de formaçãoXpto = 450

350RCB =______=0.78

450

350-450ROI (%) = _________ x100=-22.22%

450

Ou seja, por cada unidade monetária investida, aentidade recuperou apenas 0,78 ou um prejuízo decerca de 22%.

Nas actividades de do gestor de formação,recomenda-se a utilização do RCB em unidades eROI em percentagem.

A análise custo-benefício também pode ser en-tendida num plano menos matemático-formal,cumprindo uma missão de apoio à decisão doinvestimento na formação. Nesse caso, é usualproceder-se a uma listagem completa dos custos ebenefícios da formação, incluindo outros custos ebenefícios para além dos monetários.Pode assim ser construído um quadro a 2 colunascom vantagens e desvantagens do investimento naformação que facilitará a decisão.

reacção negativa(emocional e/ou comportamental, via resistência,recusa ou ausência em reuniões) das chefias directasem participarem em actividades de avaliação de nível3 e/ou 4. Sabemos à partida que, delas depende, em

reporting

Exemplo de custo não monetário:


14Formalmente, RCB pode ser igual a ROI, no caso em que os custos da formação fossem igual a zero. Seria, pois, maiscorrecto afirmar-se que o ROI é sempre igual ou inferior a RCB.

grande medida, a eficácia de uma intervenção for-mativa, quando dirigida a activos empregados.

elevação dograu de identificação à empresa.Os custos e benefícios gerados pela formação nãodirectamente quantificáveis em valor monetário de-signam-se por intangíveis.

Destaque-se ainda o facto de não existirem valoresconsiderados “óptimos” ou “aceitáveis” associados auma análise custo-benefício. Os mesmos são, regrageral, estabelecidos para cada programa/projectoformativo. Competirá ainda à organização estabeceros seus próprios níveis de desempenho a alcançar.

Uma análise custo-benefício pode ser efectuadaantes, durante e após a realização do programa/pro-jecto objecto alvo de análise.

Exige que seja desenvolvida a competência“aprender a aprender”, o que implica a demons-tração de uma atitude positiva relativamente àaprendizagem. Apresenta como principais factorescríticos: a motivação individual para aprender e adisponibilização de várias oportunidades deaprendizagem.

O desenvolvimento desta competência assumeparticular importância no contexto da construção demodelos específicos de avaliação da formação, umavez que a par de uma, cada vez maior, co-respon-sabilização dos indivíduos no que diz respeito aosrespectivos percursos de aprendizagem, surge,igualmente, uma maior co-responsabilização dosmesmos no que toca à monitorização e avaliação desaberes adquiridos, em particular, pela via da forma-ção profissional desenvolvida.

Exemplo de benefício não monetário:

(2) Aprendizagem ao longo da vida

(3) Auditoria da formação

(4) Auto-formação

A institucionalização de práticas de auditoria e/ouauto-avaliação internas pode permitir uma rápidaidentificação de aspectos a melhorar no âmbito deprojectos que se encontrem a decorrer, assim comouma melhor prepararação de futuras abordagensformativas.

A sua institucionalização implica que, à partida, es-tejam reunidas determinadas condições que con-tribuem para o desenvolvimento eficaz de todo oprocesso, designadamente:

A construção de um referencial ajustado ao contextoem que vai ser aplicadoO envolvimento da gestão de topo ao longo de todoo processoA promoção de uma cultura de melhoria contínuaA mobilização de todos os implicados no processopara a manutenção do processoO desenvolvimento de um sistema de comunicaçãoeficaz (para atempado)A preparação dos responsáveis pela sua aplicação

Distingue-se da auto-classificação e da auto-cor-recção. A primeira implica a participação do for-mando aquando da realização da respectiva ava-liação sumativa (avaliação final). Solicita-se ao for-mando que classifique o seu trabalho atribuindo-lheuma determinada nota.Na segunda, pretende-se que o formando identi-fique, quer sucessos obtidos, quer eventuais “erros”cometidos, visando a sua correcção, utilizando parao efeito um conjunto de referentes pré-estabe-lecidos.A auto-avaliação, integrando elementos dos pro-cessos anteriores, pretende ir mais além, já que

feedback

permite a um determinado indivíduo, na sequênciada identificação de necessidades de desenvol-vimento específicas, a construção e a gestão de umpercurso adequado de aprendizagem.

No contexto em estudo, este termo pode serequacionado de acordo com duas perspectivas dis-tintas:

a auto-avaliação perspectivada pelo indivíduo,enquanto agente que pode contribuir activamentepara a transformação do contexto em que intervém.Cada indivíduo avalia-se a si próprio, considerando àpartida as competências necessárias ao desempenhode determinada função. No âmbito da formaçãoprofissional, destacam-se dois actores aos quais ésolicitada, com maior frequência, uma auto-avaliação: o formador (durante e após a realização daformação), o formando (durante e após a realizaçãoda formação).a auto-avaliação perspectivada pela organização,enquanto estrutura que apresenta um desempenhopróprio e que pode instituir no seu seio mecanismosde garantia e controlo da qualidade dos respectivosserviços e/ou produtos. As práticas de auditoriainterna são disso um bom exemplo.

As entidades formadoras, quando comprometidascom o desenvolvimento de uma estratégia degarantia e controlo de qualidade dos seus produtos eserviços, desenvolvem procedimentos internos deauto-avaliação que visam uma melhor adequação,das suas soluções formativas às necessidades eexpectativas dos respectivos clientes.

Um processo de auto-avaliação pode ser de-senvolvido durante e/ou a jusante da realização deuma intervenção formativa. Recomenda-se que,sempre que possível, seja desenvolvido durante operíodo de execução da intervenção ou projectoformativo por forma a permitir uma regulação

Pág 057

inofor

atempada do processo individual de aprendizagemem curso.

Uma das limitações apresentadas pelos processos deauto-avaliação, realizadas pelos indivíduos, é o in-flacionamento dos seus resultados e consequentediscrepância dos mesmos face aos resultadosapresentados pelas respectivas hierarquias. Estefacto poderá ser ultrapassado aquando da apreciaçãoconjunta acerca de eventuais factores contextuaisque possam ter influenciado o desempenho emanálise.Confrontados com estas limitações, vários autoresaconselham a sua realização apenas quando oobjectivo da mesma é o desenvolvimento profis-sional de determinado indivíduo.

No contexto das entidades formadoras, aimplementação de um processo de auto-avaliaçãopode seguir as seguintes etapas:

Identificação de áreas-chave a manter e/ou desen-volverAuscultação de colaboradores relativamente acritérios de qualidade a utilizarIdentificação de indicadores de qualidade a alcançar(ex: níveis de desempenho desejados)Recolha de dados no terrenoElaboração de relatórios com resultados de auto-avaliaçãoEstabelecimento de prioridades, desenvolvimentode planos de acçãoIdentificação de competências a monitorar(individuais e organizacionais)Elaboração de relatórios com resultados da moni-torização efectuadaDesenvolvimento de planos de acção/correcção (senecessário)Auscultação de colaboradores para balanço deresultados.


Um dos factores críticos da metodologia sugerida é oenvolvimento/part ic ipação dos chamados

(ver definição) ao longo da imple-mentação de um processo de auto-avaliação. Ex:auscultação de clientes finais acerca de serviçosprestados pela entidade formadora.

stakeholders

(5) Avaliação “à medida”

Na definição de uma metodologia de avaliação, quese pretenda ajustada ao contexto em estudo, queaspectos poderão ser “construídos” à medida? Osaspectos de maior relevância, a considerar numcontexto em se pretenda construir uma metodologiade avaliação ajustada ao contexto em análise, são osseguintes:

Principais aspectos a considerar:

Contextos e diferentes exigem respostas de avaliação diferentes.A cada objectivo de avaliação são associadas questões ajustadas ao contexto em estudo.

stakeholders

Momento em que seformulam as questõesde avaliação


O avaliador decide acerca do método, da técnica ou instrumento, capaz de lhe fornecerinformação útil (quando considerados os interesses dos váriosem presença), em tempo oportuno e que permita recolher de forma suficientementecredível, informação acerca dos vários aspectos a avaliar num programa formativo.

stakeholders

Momento em que seidentificam os métodos,as técnicase os instrumentosa utilizar (que permitemresponder às questõespreviamente formuladas)


Se a apropriação e utilização dos resultados de uma avaliação, por parte dos seusbeneficiários, se traduz numa das principais ambições de um avaliador, este últimonão deixará de definir estratégias adequadas para o envolvimento dos respectivos“clientes”, ao longo da implementação da avaliação.

Momento em que seconstroêm “parcerias”com os beneficiáriosdos resultadosde uma avaliação

Pág 059

inofor


(6) Avaliação da formação

No contexto da avaliação de projectos formativos,podem ser consideradas as seguintes actividades/di-mensões alvo de análise: detecção e análise de ne-cessidades de formação (visa-se conhecer a situaçãode partida), concepção de conteúdos programáticos(visa-se aferir se os conteúdos programáticos foramconcebidos a partir de necessidades concretas),execução da intervenção formativa (procura-severificar em que medida o programa deu umaresposta ajustada às necessidades dos formandos),aferição de impactes decorrentes da implementaçãoda intervenção formativa (procura-se verificar se arealização da formação provocou os impactesesperados), realização de análises custo-benefício(visa-se apurar se o benefício obtido compensou ovalor investido).

A avaliação de determinado programa/projectoformativo implica vários desafios para um avaliador.As circunstâncias nas quais o programa se desen-volve podem ser alteradas ao longo da sua imple-mentação, pelo que um avaliador deverá ser capazde encontrar um equilíbrio adequado entre consi-derações teórico-científicas e pragmáticas. Implicaque o mesmo possua um portefólio de métodos etécnicas susceptíveis de serem aplicadas e ajustadasno âmbito dos contextos em análise.

Daqui decorre a dificuldade de se estabilizar umaúnica abordagem que possa ser utilizada em con-textos diferentes. Esta exigência leva muitas vezes osindivíduos, com responsabilidades ao nível da imple-mentação de projectos de avaliação, à respectivaespecialização em determinadas áreas de estudo(por exemplo, avaliações de programas comuni-tários de impacte local/regional, avaliação de planosde formação intra-empresa, etc...)

15

Embora os processos de avaliação produzamresultados e aprendizagens diferentes, a sua contri-buição para a promoção da qualidade de umprojecto formativo pode ser significativa, na medidaem que permite:

o auto-conhecimento das instituições, fazendo comque estas sejam capazes de disponibilizar informaçãorelativamente à forma como funcionam, designa-damente quanto à respectiva capacidade para cum-prirem os objectivos que preconizam;uma eficaz monitorização de programas de forma-ção, facilitando uma resposta atempada aquando dadetecção de eventuais desvios face a necessidadesdos respectivos públicos-alvo;apoiar a tomada de decisão dos vários actores comresponsabilidades ao nível da implementação dasintervenções formativas, com vista à introdução deeventuais correcções em tempo oportuno;reforçar os processos de participação interactoresenvolvidos nas acções, apoiando ainda eventuaisprocessos de negociação relativamente a aspectoscríticos a melhorar e/ou reforçar;uma melhor sustentação de opções tomadas,aquando de processos de auditoria externa;apurar os efeitos/impactes das intervenções for-mativas efectuadas, facilitando a justificação da utili-dade social dos resultados obtidos;a justificação de investimentos efectuados, assimcomo justificação de novos pedidos para intervençãona formação;a reflexão e consequente reequacionamento deestratégias de formação, assim como de ajustamentode metodologias pedagógicas utilizadas.

15Podemos considerar igualmente um programa/projecto de formação.

(7) Avaliaçãoda transferência de aprendizagens

Pressupõe que o processo de aprendizagem tenhasido eficaz. Só assim estarão criadas as condiçõesessenciais que permitem a obtenção dos resultadospretendidos.

Exige ainda uma esteita articulação entre os vários“stakeholders” implicados no processo formativo,

por forma a serem encontradas estratégias cons-ensuais, que permitam ultrapassar eventuais bar-reiras ao processo de transferência de aprendiza-gens adquiridas.

Por forma a que os diferentes “stakeholders” saibamquais as respectivas responsabilidades, no contextoda preparação de eventuais transferências de apren-dizagens, sugere-se que seja preenchida a seguintegrelha, num momento anterior à realização daformação:

Dirigente da organização

ResponsávelAntes da realização

da formaçãoDurante a realização

da formaçãoApós a realização

da formação

Director de formação

Coordenador pedagógico

Formador

Formando (etc...)

Que actividades devem ser desenvolvidas

Fonte:Baseado em Broad and Newstrom (1992)

Aquando da realização de uma formação dirigida aactivos empregados sugere-se ainda que, a mon-tante da realização da formação, sejam efectuadas asseguintes actividades, a saber:

Divulgação junto dos vários níveis hierárquicos impli-cados (directa ou indirectamente) acerca dos objecti-vos da formação.Preparação do colaborador a formar mediante arealização de uma “entrevista de saída”, que poderádestacar os seguintes aspectos:

16

qual o conteúdo programático a desenvolver;a justificação da opção pelo colaborador X;o valor acrescentado para esse colaborador epara a própria organização;a identificação de situações específicas asso-ciadas às matérias formativas a tratar;aspectos nos quais o potencial formando deveráfocalizar a respectiva atenção (aquando darealização da formação);em que condições deve ser encontrado o con-texto de trabalho, aquando do regresso do cola-borador;

16Observação: As actividades apresentadas aplicam-se às situações em que o colaborador a formar seausenta do respectivo contexto de trabalho.

Pág 061

inofor


que apoio será efectuado por parte da chefiadirecta;o que é esperado do colaborador após a rea-lização da formação;

Levantamento das várias situações problema,identificadas e analisadas na fase do diagnóstico denecessidades de formação, com vista à sua apresen-tação/discussão no momento da realização da for-mação.Realização de contratos de aprendizagem.

Após a realização da formação, sugere-se que sejaefectuada, pela chefia directa do indivíduo recém-formado, uma “entrevista de chegada”, na qualpoderão ser colocadas as seguintes questões:

Considerando o ponto de partida, qual o valor acres-centado após a realização da formação?Em que medida podem os saberes adquiridos sermobilizados para o contexto de trabalho em análise?Que tipo de saberes podem ser mobilizados nocurto, médio e longo prazo?Em que medida estão reunidas as condições neces-sárias ao processo de transferência de saberes adqui-ridos?Como pensa vir a actuar o colaborador recém-for-mado?Na opinião do ex-formando, como pode a chefiadirecta ajudar no processo?

A chefia directa assume um papel central na renta-bilização do investimento efectuado ao nível da for-mação, na medida em que é a responsável directapelo acompanhamento do colaborador de regressoao contexto de trabalho. Ficam aqui algumas dasactividades que a mesma pode vir a desenvolver:

Comparar as expectativas do formando com osresultados alcançados.Estabelecer prazos para experimentação/aplicaçãode novos conhecimentos (sugere-se a elaboração deum plano de desenvolvimento individual cuja imple-mentação possa ser monitorada).Dar ao formando após a aplicação dosnovos conhecimentos, nomeadamente, respectivoprogresso, bem como identificação de eventuaisdificuldades. Reconhecer todos os esforços queconduzam ao cumprimento dos objectivos deseja-dos.Mostrar-se disponível para aconselhar e apoiar oformando ao longo do processo de transferência desaberes, em particular aquando da resolução deeventuais problemas.Elaborar, sempre que possível, ajudas ao trabalho(elaboração de , fluxogramas/esquemas,manuais práticos de referência...)

A elaboração de plano de desenvolvimento indi-vidual pode obedecer à seguinte estrutura:

feedback

cheklists

Plan

ode

dese

nvol

vim

ento

indi

vidu

al

Font

e:Ba

sead

oem

Kirk

patr

ick

(199

7)

Dat

ade

regr

esso

aoco

ntex

tode

trab

alho

Act

ivid

ades

ade

senv

olve

r(in

diví

duos

aen

volv

er)

Áre

afu

ncio

nal

*Pr

iori

dade

sde

inte

rven

ção

*Id

entif

icaç

ãode

com

petê

ncia

sa

mob

iliza

r

Obj

ectiv

osa

alca

nçar

//m

udan

ças

apr

oduz

ir

Dat

apa

raav

alia

ção

dere

sulta

dos

Tem

poa

afec

tar

aca

daum

ada

sac

tivid

ades

Con

diçõ

espa

rare

aliz

ação

das

activ

idad

es

Nív

elde

prof

iciê

ncia

Act

ual

Des

ejad

o

Pág 063

A realização de um acompanhamento mínimo, emparticular no que toca a eventuais dificuldades deaplicação/mobilização de determinados saberesaprendizagens para os contextos de aplicação daformação, afigura-se fundamental numa perspectivade máxima rentabilização do investimento efec-tuado. Note-se que as razões para a não verificaçãodas mudanças pretendidas podem prender-se nãocom a formação em si, mas com a falta de condiçõesdos contextos que recebem essa formação.

Uma avaliação de aprendizagens pressupõe arealização de dois momentos de avaliação, um antesda formação (avaliação diagnóstica) e um outro apósa realização da mesma. Só assim poderemos ter umabase de comparação para avaliar os ganhos efectivosao nível das aprendizagens.

Considerando a taxonomia de D. Kirkpatrick,diríamos que a importância deste nível de avaliaçãotorna-se evidente se considerarmos a lógica implícitana articulação inter-níveis: se não forem aferidos osganhos em termos de aprendizagens (nível 2),poderemos estar a comprometer a realização deuma avaliação de impactes ao nível dos respectivoscontextos de aplicação. De facto, como poderemossaber com rigor se a não verificação dos resultadosesperados se deve à fraca qualidade da acçãoformativa ou à ausência de condições associadas aesses contextos de trabalho? (nível 3). Aferircorrelação entre bons desempenhos organizacionaise aplicação/desenvolvimento de novos conheci-mentos, será ainda mais difícil (nível 4).

O cumprimento dos objectivos pretendidos parauma avaliação de 2º nível, não significa que osobjectivos associados a uma avaliação de 3º e 4º

(8) Avaliação de aprendizagens

nível venham a ser igualmente cumpridos. Este factoé, regra geral, ultrapassado, sempre que são garan-tidas, à partida, as condições propícias à transferênciadas aprendizagens adquiridas/desenvolvidas (verdefinição de transferência de aprendizagens).

A existência de um grupo de controlo (que nãorecebe formação) e de um grupo experimental (querecebe formação) poderia permitir a posteriorcomparação de resultados ao nível dos respectivosdesempenhos. Neste caso, as características deambos os grupos deveriam ser semelhantes. Estaforma de avaliar não é, contudo, muito praticada nocontexto da formação profissional, já que a suaoperacionalização exige um acompanhamentopermanente das duas situações em análise, o queacarreta custos elevados.

Podemos falar de impactes positivos e negativos, deimpactes directos e indirectos e de impactes pri-mários e secundários, implicando nestes últimoscasos a aferição da cadeia de impactes previstos.

A identificação de impactes pode ocorrer no curto,médio e longo prazos, consoante o tipo de objec-tivos de formação pretendidos. Competirá aosinteressados nos seus resultados ajuizar acerca dapertinência e oportunidade de estudos destanatureza, sempre que em causa esteja a aferição deresultados numa perspectiva de longo prazo.

A análise de alguns dos estudos de impactes daformação, já realizados por vários autores comexperiência nesta matéria, permite-nos identificarum conjunto de factores críticos de sucessoassociados a estudos desta natureza:

(9) Avaliação de impactes da formação

a clara identificação da situação de partida (enfoquena realização de diagnósticos de necessidades deformação nos quais é efectuada uma identificaçãorigorosa dos objectivos finais a alcançar quer pelosindivíduos aquando do seu regresso ao respectivocontexto de desempenho quer pela organização noseu todo);a definição consensual, quer de objectivos de apren-dizagem a alcançar quer de indicadores e/ou níveisde desempenho a alcançar;a integração e apropriação de resultados de avalia-ções anteriormente efectuadas;a reflexão acerca do momento oportuno para aferi-ção de impactes decorrentes da implentação deintervenções de natureza formativa;a reflexão acerca da cadeia de impactes esperados;o envolvimento dos chave a montante,ao longo e a jusante da realização da formação;identificação, a montante da realização da formação,das condições necessárias ao processo de trans-ferência de saberes para os contextos de aplicação daformação;a reflexão acerca de eventuais influências de factoresexternos (ex: desenvolvimento simultâneo de outrasmedidas );a institucionalização de sistemas de gestão de infor-mação eficazes;a realização de análises custo-benefício (a montantee a jusante da implementação da intervenção for-mativa);

Sugere-se que os instrumentos a utilizar no âmbitodeste tipo de avaliação contemplem questões acercadas quais os respectivos públicos-alvo possam legi-timamente tomar uma posição.

stakeholders

(10) Avaliação de reacções

Aquando da aplicação de “instrumento de avaliaçãode reacções ”, sugere-se que seja verificadaa respectiva adequação às especificidades dos con-textos nos quais vai ser aplicado.

A utilização dos resultados de uma avaliação dereacção é fundamental aquando da realização deuma avaliação de aprendizagens. Deverá permitirdar uma resposta concreta à seguinte questão: emque medida foram garantidas, ao longo da realizaçãoda intervenção formativa, as condições necessáriasao desenvolvimento das aprendizagens desejadas?

Uma avaliação de reacção tenderá a ser mais eficazse, a montante da sua realização, forem garantidas asseguintes condições de partida:

Os aspectos a avaliar são do interesse dos públicos-alvo que sobre eles se vão pronunciar.A abordagem avaliativa contempla questões rela-cionadas com as expectativas pré-identificadas.Produz informação relevante para os níveis subse-quentes, ex: qual a intenção e grau de motivação doformando para utilizar, no respectivo contexto detrabalho, as aprendizagens adquiridas? Esta questãopermite aferir a percepção que o formando tem dovalor das aprendizagens até então realizadas. Permi-te ainda indagar acerca das características dos futuroscontextos de aplicação da formação.É permitida aos avaliados a elaboração de recomen-dações/ sugestões.Os instrumentos permitem reencaminhar (para osrespectivos centros de decisão), as recomen-dações/su-gestões efectuadas. Para tal, podem seridentificados os destinatários das recomen-dações/sugestões de melhoria. Este procedimentofacilita uma maior celeridade ao nível do processo detomada de decisão a efectuar por parte dos várioscentros de decisão implicados no processo forma-tivo.

standard

17

17As sugestões práticas apresentadas vão para além dos princípios enunciados pelo autor D. Kirkpatrick.

Pág 065

inofor


Os avaliados recebem, sempre que possível,atempado acerca de eventuais alterações

decorrentes da operacionalização das recomen-dações/sugestões entretanto efectuadas.

A propósito de uma avaliação de reacção, diríamosainda que, quando um “cliente” fica satisfeito com oproduto ou serviço adquirido, maior será a pro-babilidade de o vir a utilizar. Não devemos, pois,esquecer que grande parte da motivação para“provocar a mudança após a formação” tem de sercriada no “espaço” onde decorre o processo deaprendizagem. O carácter formativo de uma avalia-ção de reacções cumpre aqui um papel fundamental.

No sentido de aumentar a utilidade da avaliação dereacções, algumas entidades formadoras utilizam osseus resultados como suporte às suas políticas degestão de formadores. Por exemplo, é já usual exis-tirem anuais de formadores com base nasavaliações atribuídas pelos formandos nas questõesrelacionadas com a competência do formador. Nofinal de cada ano, algumas entidades utilizam estes

informais para premiar os formadores commelhores resultados.

Este tipo de avaliação é também bastante utilizado noapoio a políticas de melhoria da qualidade e degestão por objectivos. No início de cada ano, váriasentidades formadoras estabelecem objectivos aatingir em termos de satisfação de formandos eformadores. Por exemplo, uma entidade muitoexigente em relação aos seus formadores, pode“exigir” que todos eles obtenham determinadosníveis mínimos de proficiência.

feedback

rankings

rankings

(11) Avaliação diagnóstica

(12) Avaliaçãodo retorno do investimento (ROI)

O seu resultado é frequentemente utilizado aquandode uma avaliação de aprendizagens. Neste caso,utilizam-se as mesmas técnicas e/ou instrumentos jáaplicados a montante da realização da formação.Pretende-se, desta forma, verificar o grau de apren-dizagem conseguido por cada um dos formandos.Estas informações poderão vir a ser também utili-zadas, mais tarde, no contexto de subsequentesdiagnósticos de necessidades de formação.

Nos casos em que as práticas de diagnóstico denecessidades de formação não permitem detectar,com rigor, o “gap” existente entre um desempenhodetido e um desempenho desejado, torna-seaconselhável a realização de avaliações de naturezadiagnóstica, que permitam adequar, mais eficaz-mente, eventuais propostas formativas a necessi-dades concretas sentidas por parte dos formandos.

Esta modalidade avaliativa poderá ainda ser desen-volvida sempre que a acção de formação não resultade um diagnóstico de necessidades de formaçãopropriamente dito, mas sim da oferta dos chamados“pacotes formativos”, normalmente disponibilizadospelas entidades formadoras especializadas emdeterminadas áreas de formação.

A aplicação da fórmula do ROI exige que à partidatenham sido analisados os reais benefícios de-correntes de determinado projecto formativo. Estaanálise implicará que se considere um conjunto devariáveis tais como (1) o graus de satisfação dosparticipantes face à acção formativa desenvolvida,em particular no que respeita à utilidade dos conteú-

dos formativos (2) o grau de aquisição/desenvolvi-mento de saberes específicos; (3) o grau de aplicaçãodos saberes adquiridos/desenvolvidos em contextosde desempenho específicos; (4) a identificação demudanças concretas ao nível do desempenho daorganização, fortemente relacionadas com a for-mação. Com esta análise, procura-se compreender,de certa forma, a cadeia de impactes de determinadoprojecto formativo.

Pela complexidade metodológica que apresenta,assim como exigência ao nível da afectação de tempoe recursos para a sua aplicação, a análise do ROI só seafigura viável quando reunidas as condições neces-sárias à sua execução. Na realidade, alguns dosprojectos formativos ficar-se-ão apenas pelaabordagem de reacção, outros pela avaliação dossaberes adquiridos/desenvolvidos, outros ainda pelaavaliação da transferência dos “adquiridos” para osrespectivos contextos de desempenho. A neces-sidade por este ou aquele tipo de avaliação é, pois,efectuada de acordo com as necessidades deinformação dos clientes dessa formação.

Uma das etapas mais exigentes deste tipo de abor-dagem é precisamente a conversão dos designados“benefícios da formação” para valores monetários.Exige uma reflexão acerca do tipo de resultadosobtidos, quer estejamos a falar de resultados denatureza tangível quer intangível. Na prática, é aonível da conversão dos resultados de naturezaintangível que as dificuldades se acentuam. Transfor-mar em valor monetário benefícios decorrentes daformação, tais como aquisição de novas compe-tências (capacidade de resolução de problemas,capacidade de resolução de conflitos, etc.), aumentoda autonomia dos colaboradores, reforço do climaorganizacional, etc... nem sempre é tarefa fácil. Oestabelecimento de indicadores de medida precisos

e consensuais pode, na opinião de alguns especia-listas, ajudar a ultrapassar esta dificuldade.

Destacam-se aqui dois factores de particularimportância, a considerar aquando da decisão daaplicação da fórmula ROI: (1) quanto mais focalizadafor a formação, ou seja, direccionada para o desen-volvimento de competências organizacionais espe-cíficas, maior será a possibilidade de aferição dosrespectivos impactes; (2) o seu apuramento serátanto mais facilitado, quando mais longas e integradasforem as intervenções formativas.

É comum verificar-se uma relação sequencial etemporal entre os conceitos de “avaliação ,

e . Todavia, uma avaliaçãopode incidir, igualmente, sobre as várias fases de umciclo formativo: concepção, execução/desenvolvi-mento e apuramento de respectivos resultados. Porexemplo, no contexto de estudos prospectivos uma“avaliação ” pode incidir também sobre osresultados e impactes pretendidos para determinadaintervenção formativa.

Quando realizada de forma eficaz traduz-se numaverdadeira ferramenta ao serviço da eficiência eeficácia de um programa/projecto de formação.

Regra geral, tem o seu início com a análise do con-texto de implementação do programa. O avaliadorprocura nesta fase:

compreender a política e estratégia formativaexistente,analisar os resultados de diagnósticos de ne-cessidades de formação efectuados, designa-

18

19

ex-anteongoing ex-post ex-ante

ex-ante

(13) Avaliação ex-ante

18

19

As questões associadas quer à conversão dos resultados em valor monetário, quer a problemática do isolamento dosefeitos da formação serão analisadas, pela sua complexidade, em documento próprio.

As actividades associadas a cada uma fases descritas podem ser realizadas, quer pelo avaliador quer pelos vários“stakeholders” em presença. Encarado como verdadeiro facilitador, o avaliador deverá centrar a sua atenção nas condiçõesnecessárias à implementação de eventuais abordagens de avaliação. As actividades descritas poderão ser realizadas pelosrestantes actores envolvidos no processo de aprovação e concepção do programa formativo, sempre que não seja possívelrecorrer a um avaliador.

Pág 067

inofor


damente os problemas e as causas que exigemo desenvolvimento de planos de acção concre-tos;identificar eventuais padrões de desempe-nho/proficiência, bem como existência de prá-ticas bem sucedidas (existentes no interior ouno exterior da organização em análise);analisar as razões que justificam a opção forma-tiva (verifica em que medida a solução formativaé a mais indicada para a situação a resolver, bemcomo se a eficácia da mesma exige o desenvol-vimento de outras acções de natureza não for-mativa);analisar os métodos e as técnicas utilizados naidentificação e análise dos problemas a colmatarpela via da formação;identificar os a envolver no pro-cesso de avaliação;aferir da possibilidade de realização de análisescusto-benefício, a montante da realização daformação.

O avaliador pretende, pois, nesta fase, proporcionaro máximo de informação possível a todos os indi-víduos e/ou organizações a envolver na execução doplano de formação.

Numa segunda fase, o avaliador focaliza a suaatenção nas propostas formativas propriamenteditas:

analisa a respectiva fundamentação, verificandose, na base das mesmas, se encontra umdiagnóstico de necessidades de formação;analisa estruturação de conteúdos progra-máticos, aferindo adequação face a prioridadespré-estabelecidas;analisa coerência entre conteúdos programá-ticos e características do público-alvo a envol-ver;

stakeholders

analisa coerência entre características do pro-grama e recursos a afectar;verifica a existência de sistemas de gestão deinformação (de extrema utilidade aquando dafase de monitorização e aferição de eventuaisimpactes decorrentes da implementação doprograma formativo);verifica se foram considerados os resultados depráticas formativas anteriores (caso existam).Procura detectar eventuais “culturas de apren-dizagem” no seio da organização em análise;verifica se se encontra prevista a aplicação deeventuais procedimentos de auditoria econtrolo internos.

Este tipo de abordagem tem um objectivoessencialmente formativo. Em regra, o avaliadortrabalha nesta fase em conjunto com o gestor daformação e/ou coordenador pedagógico daintervenção formativa, por forma a que se sejamdevidamente garantidas as condições necessárias àrealização da formação.

Numa terceira fase, a atenção do avaliador incidesobre os objectivos a alcançar com a formação. Nes-ta fase, o avaliador procura garantir a existência deinformação suficiente que suporte a realização deavaliações subsequentes, ou seja, procura verificar, àpartida, se:

os objectivos foram claramente especificados(em particular no que toca a resultados aalcançar);foram aferidos níveis de desempenho/pro-ficiência a alcançar (não só pelos clientes di-rectos da formação: os formandos, mas tam-bém por outros actores tais como, formadores,coordenadores...;foi reunido consenso relativamente a: (1) cri-térios e indicadores de avaliação a utilizar; (2)

20

20Nesta fase o avaliador pode ter um papel fundamental ao nível da especificação dos objectivos pretendidos,assim como na identificação de critérios e indicadores de avaliação concretos a aplicar ao projecto formativo emcausa.

momentos para aplicação de metodologias deavaliação (em particular as avaliações de follow-up), (3) condições para transferência de apren-dizagens adquiridas, (4) actores a implicar noprocesso de avaliação.

Também designada avaliação final e avaliação deimpactes (ver definição). Algumas das actividadesque poderão contribuir para o apuramento de resul-tados concretos, aquando da implementação destetipo de avaliação são as seguintes:

Analisar os resultados de avaliações intermédias.Identificar, a montante da realização da formação, ascondições que facilitam a transferência de aprendi-zagens para os contexto reais de trabalho.Verificar em que medida esses contextos de trabalhonecessitam dos saberes adquiridos/desenvolvidospela formação.Calcular o tempo que medeia a aquisição/desen-volvimento de saberes e a respectiva transferênciapara os contextos de trabalho.Implementar planos de manutenção e/ou obser-vação do desenvolvimento /aquisição de saberes,após a transferência dos mesmos para os contextosde trabalho.

A determinação do tempo após o qual podem seravaliados os impactes de determinada acção for-mativa depende do tipo de objectivo de formaçãoem presença. Implica que, aquando da fase dadeterminação de objectivos a obter com a formação,seja igualmente determinado o momento paraverificação de concretização dos mesmos, ou seja,no curto, médio e/ou longo prazo.

(14) Avaliação ex-post

(15) Avaliação externa

(16) Avaliação formativa

Numa avaliação externa, o processo tem o seu iníciocom a compreensão dos objectivos da avaliaçãopretendida. O avaliador responsabiliza-se, segui-damente, pela orientação metodológica de todo oprocesso, decidindo, autonomamente, acerca dasmelhores estratégias de avaliação a aplicar.

Autores, com experiência ao nível da aplicação destetipo de avaliação, alertam para a necessidade deserem desenvolvidas, ao longo da realização de umaavaliação externa, as articulações necessárias com osrespectivos utilizadores finais, por forma a que osmesmos possam vir a receber os resultados preten-didos.

Defendem ainda uma efectiva articulação com even-tuais avaliadores internos, que pode e deve ser efe-ctuada sem prejuízo da isenção necessária exigida aoavaliador externo. Neste caso, visa-se apenas ade-quar melhor a proposta avaliativa às necessidadesdos indivíduos e/ou organizações que pretendem vira utilizar os seus resultados.

No contexto de uma avaliação de natureza forma-tiva, o formando é considerado o protagonista doprocesso. Esta avaliação pode ser, neste caso,operacionalizada da seguinte forma: auto-avaliaçõesrealizadas pelos formandos, avaliações dos mesmosrelativamente a determinadas características doprocesso de aprendizagem, tais como, conteúdosprogramáticos, recursos e métodos pedagógicos,desempenho do formador, etc...

O formador (ou outros indivíduos que contribuem,ao longo do processo de aprendizagem, para o

Pág 069

inofor


cumprimento dos objectivos de aprendizagem, taiscomo, tutores, mediadores, animadores, coorde-nadores pedagógicos, supervisores...), pode serigualmente chamados a pronunciar-se acerca dograu de consecução dos objectivos pedagógicos,bem como de eventuais aspectos a melhorar rela-tivamente a actividades pelas quais se responsa-bilizam.

Alguns agentes externos (ou seja, os não directa-mente implicados na realização da formação), po-dem também participar sempre que para tal sejamsolicitados. Ex: No caso de formações dirigidas ajovens com dificuldades específicas (ex; portadoresde deficiência), é comum auscultarem-se as res-pectivas famílias ao longo do processo formativo, jáque os objectivos de formação passam muitas vezespela elevação da capacidade de socialização dessesjovens. A articulação com as respectivas famíliastorna-se assim fundamental, já que poderão pronun-ciar-se acerca dos resultados alcançados até ao mo-mento.

Uma das principais funções de um avaliador interno éa sensibilização e a mobilização dos restantesimplicados no projecto formativo, para a respectivaparticipação no processo de avaliação. Competeainda ao avaliador interno demonstrar a utilidadedessa avaliação para todos aqueles que nela venhama participar.

Aquando da implementação de uma abordagem deavaliativa centrada na participação dos respectivosactores, um avaliador interno assume normalmenteum papel de facilitador, ou seja, assume responsa-bilidades ao nível da orientação metodológica doprocesso avaliativo, visando a identificação das me-lhores estratégias de avaliação a seguir.

(17) Avaliação interna

Podem ainda ser-lhe incumbidas responsabilidades,tais como:

Garantir a organização e a gestão das fontes de in-formação.Participar na fase do diagnóstico de necessidades deformação (designadamente ao nível da definição deobjectivos a atingir com um processo de avaliação).Participar nas fases da concepção e implementaçãode um processo avaliativo, assim como respectivaprodução de resultados (excepto no contexto deuma avaliação de carácter independente).Participar na fase da monitorização de eventuaissistemas de avaliação internos.Participar no âmbito de eventuais avaliações externas(ex: aquando da realização de auditorias externas),preparando a organização para a realização dasmesmas.Envolver e mobilizar os elementos internos à orga-nização para a respectiva participação ao longo doprocesso avaliativo.Participar na fase da tomada de decisão (este aspectoconstituí um dos principais factores críticos desucesso de uma avaliação interna).Participar na fase da implementação de eventuaisrecomendações, analisando posteriormente osrespectivos resultados.(...)

O termo remete para a fase da execução daformação, momento em que podem ser tomadasdecisões no sentido da melhoria da intervençãoformativa que se encontra a decorrer. Aqui o con-tributo de um avaliador será o de monitorar a qua-lidade dessa intervenção formativa, contribuindopara o cumprimento dos objectivos pré-definidos.

on-going

(18) Avaliação on-going

As questões que norteiam este tipo de avaliação sãoas seguintes:

Em que medida o programa formativo satisfaz asnecessidades da população para a qual está a serdirigido?Em que medida o desenvolvimento dos conteúdosprogramáticos, bem como actividades de suporte,estão de acordo com o pré-estabelecido?Em que medida nesta fase podem ser detectadasmudanças concretas ao nível dos comportamentosdos participantes na acção formativa?Em que medida os recursos mobilizados para aformação estão a ser optimizados?

É no contexto de uma avaliação que podemser realizadas as designadas “avaliações rápidas”,sendo as avaliações de reacção um bom exemplodeste tipo de prática.Uma avaliação pode produzir informa-ções relevantes para os seguintes :

para o avaliador, na medida em que os seus resul-tados o ajudam a interpretar os resultados de umaavaliação de impactes; permite que o mesmo con-siga fornecer informações aos actores envolvidos naexecução da acção, por forma a apoiar a respectivatomada de decisão; permite ainda que o mesmo sepronuncie acerca das características do programa deuma forma mais sustentada;

para os financiadores, na medida em que recebem,ao longo da execução do programa, informaçõesacerca de respectivas taxas de execução, grau deaceitação do programa pelos seus beneficiáriosdirectos, eventuais impactes entretanto produzidos,dificuldades encontradas ao longo da execução doprograma, indicadores contabilístico-financeiros.Estas informações serão úteis aquando da decisãoacerca da continuação, reestruturação oucancelamento do programa.

on-going

on-goingstakeholders

para os gestores da formação, na medida em quepermite introduzir, de forma atempada, correcçõese/ou alterações no programa caso venham a sernecessárias.

para os formadores (monitores, tutores...) e for-mandos, na medida em que possibilita aos mesmosidentificarem eventuais desvios face ao pré-esta-belecido, facilitando a apresentação de propostasconcretas de melhoria da acção em curso.

Ao incidir nas actividades formativas propriamenteditas, apresenta como principais objectivos:

garantir que o estabelecido a montante da realizaçãoda formação seja cumprido, exercendo aqui a suafunção de controlo (implica levar em conta os resul-tados obtidos aquando da realização de uma ava-liação );identificar eventuais aspectos a melhorar, exercendoaqui a sua função formativa;garantir as condições que permitem a realizaçãoeficaz de uma avaliação de resultados (pressupõenão perder de vista os resultados finais a alcançarcom a formação articulação com a fase de avaliação

);fornecer indicadores de actividades de apoio à toma-da de decisão dos implicados no processo.

À semelhança de uma avaliação , que exigeuma prévia identificação de níveis de desempe-nho/proficiência a alcançar, também no contexto deuma avaliação devem ser consideradosníveis de desempenho/proficiência a alcançar. Porexemplo, quando se diz que algo é “suficiente” ou “adequado”, deveríamos perguntar logo de seguida :“suficiente” relativamente a quê?. Se estivermos afalar de desempenhos realizados, deveríamosperguntar: o que nos leva a dizer que o desempenhoé “adequado” ? Que padrões de desempenho forampré-estabelecidos?

ex-ante

ex-post

ex-post

on-going

Pág 071

inofor


Na esmagadora maioria das entidades formadoras, aresponsabilidade por esta monitorização do proces-so formativo é remetida para o Coordenador Pe-dagógico, que pode ou não ser o responsável pelaconcepção da metodologia e instrumentos de ava-liação a utilizar.

A escolha de abordagens de natureza qualitativa ouquantitativa deve ser efectuada em função das ques-tões de avaliação em presença (ver definição de“questões de avaliação”).

Existem autores que preferem o desenvolvimentodeste tipo de avaliação em detrimento de aborda-gens de natureza quantitativa. Defende-se, todavia,que o ideal será sempre o recurso a métodos deavaliação quer de natureza qualitativa quer de natu-reza qualitativa, aplicados de acordo com as particu-laridades dos respectivos contextos de aplicação.

Quando metodologias de natureza qualitativa sãotrianguladas (ver definição de triangulação) commetodologias de natureza quantitativa, o resultado énormalmente uma maior satisfação dos seusutilizadores.

A opção pela aplicação de vários métodos, regrageral, designada por triangulação, reforça a validadedas informações recolhidas, na medida em quepermite verificar a congruência dos resultante de-correntes da aplicação dos vários métodos.

(19) Avaliação qualitativa

(20) Avaliação quantitativa

(21) Avaliação sumativa

Uma avaliação sumativa implica a identificação/cons-trução dos referentes com base nos quais serãoefectuados juízos de valor (ver definição de “refe-rente” e de “juízo de valor”).

Pode ser realizada pela própria entidade que executao projecto de formação ou pode ser incumbida auma entidade externa. Embora existam autores quedefendem que deva ser realizada por entidadesexternas, assiste-se actualmente a novas correntesque defendem uma abordagem mista, ou seja,aconselham a participação/envolvimento deavaliadores internos ao processo, por forma agarantir que os resultados da avaliação vão aoencontro das necessidades e expectativas dos seusutilizadores.

No contexto de uma avaliação de aprendizagens,assumindo um carácter classificativo e certificativo,pode processar-se através da realização de testes,provas, trabalhos práticos, entre outros, que permi-tem medir o desempenho de determinado for-mando relativamente aos objectivos pedagógicospré-definidos, ou seja, aferição do respectivo grau deaprendizagem.

No contexto de uma avaliação de desempenhosindividuais verificados num determinado contexto detrabalho, poderão ser desenvolvidos várias abor-dagens que resultam na atribuição de uma determi-nada “cotação” relativos aos desempenhos obser-vados.

No contexto de uma avaliação de impactes podeprocessar-se através do desenvolvimento deabordagens que visam apurar o retorno do inves-timento na formação, nas quais se procuram aferirquais os resultados líquidos da formação (verdefinição de análise custo-benefício, por exemplo).

(22) Avaliar a coerência

(23) Avaliar a conformidade

Regra geral, trata-se de responder à seguinte ques-tão:

Os módulos, os conteúdos programáticos, asmetodologias de aprendizagem, os formadores, oshorários, as cargas horárias, documentação, etc.foram seleccionados e organizados de forma inte-grada e lógica tendo em conta os objectivos da for-mação?

No contexto da empresa, verificar a coerência daformação leva-nos a colocar ainda outras questões,tais como:

O plano de formação foi concebido de acordo como previsto no âmbito do plano estratégico da em-presa?As competências profissionais a desenvolver pelaformação foram identificadas de acordo com agestão previsional existente, bem como comeventuais planos de investimentos?A escolha das estruturas a mobilizar para a formaçãoconsiderou os objectivos pedagógicos a desenvol-ver?Os projectos de formação consideraram as particu-laridades dos respectivos contextos de desenvolvi-mento?A escolha do tipo de novas tecnologias a utilizar noâmbito do projecto formativo teve em conta odomínio das mesmas por parte dos participantes naformação?(...)

Considerando os respectivos objectivos, sugere-se aaplicação deste critério de avaliação num contexto

de avaliação . Pode, no entanto, ser igual-mente aplicado num contexto de preparação dedeterminado projecto, designadamente ao nível dagarantia das condições que facilitam a sua imple-mentação.

Para se poder avaliar a conformidade é necessárioque os requisitos, prescrições, procedimentos ounormas estejam devidamente especificados e comu-nicados aos seus utilizadores em tempo útil.

No contexto da formação, verificar a conformidadede algo leva-nos a colocar questões, tais como:

Em que medida a actuação do coordenador pedagó-gico se apresenta de acordo com o estabelecido aonível da respectiva descrição de funções?Em que medida estão a ser operacionalizados osprincípios estabelecidos no manual de qualidade daformação?Em que medida estão a ser seguidos os princípios deorientação relativos à gestão financeira do projectoformativo?(...)

A sua realização exige que a montante da execuçãoda formação, sejam claramente identificados osobjectivos a alcançar com a formação. Implica adiscussão acerca de eventuais critérios e indicadoresde avaliação. O avaliador deve ser capaz de apoiar,sempre que possível, a construção de “bons” indi-cadores, ou seja, que traduzam de forma rigorosa arealidade que se pretende avaliar, assim como quesejam úteis para os respectivos utilizadores (significaque possam ser utilizados no âmbito da respectivatomada de decisão). Um dos obstáculos à aferição daeficácia de um projecto prende-se, pois, com a nãoconcretização desses critérios e indicadores a avaliar.

on-going

(24) Avaliar a eficácia

Pág 073

inofor


Saber em que medida um determinado programa deformação produziu os resultados desejados, traduz-se na questão central, sempre que se pretendeavaliar a respectiva eficácia. A segunda questão pren-de-se com a utilidade desses resultados para os utili-zadores dos produtos e/ou serviços providenciadospelo programa formativo (o programa foi útil paraquem?).

Verificar a eficácia de algo leva-nos a colocarquestões, tais como:

Os resultados obtidos correspondem aos objectivospré-estabelecidos?Os objectivos de aprendizagem foram alcançados?Em que medida determinados resultados organiza-cionais são consequência de acções formativas?A organização formadora aprendeu com o proces-so?Em que medida foram criadas as condições neces-sárias para a verificação da transferência de conhe-cimentos adquiridos?Foram observadas as alterações desejadas ao níveldos contextos de desempenho em análise?Foram observados resultados não previstos?Qual o retorno do investimento realizado?

A avaliação de um projecto de formação segundo ocritério da eficiência implica normalmente averificação de procedimentos internos à organizaçãoque demonstrem que os decisores do mesmo con-seguem garantir e controlar os pontos-chave quedeterminam a eficiência das actividades, pelas quaisse responsabilizam. Neste sentido, as práticas deauditoria interna são já consideradas boas práticas,capazes de elevar, de forma significativa, a eficiênciade determinado projecto de formação.

(25) Avaliar a eficiência

No contexto da formação profissional, verificar aeficiência de algo leva-nos a colocar questões, taiscomo:

Os equipamentos mobilizados para a formaçãoestão a ser optimizados?A experiência pedagógica da equipa técnica afecta àformação está a ser capitalizada?A experiência pedagógica do corpo de formadoresestá a ser bem aproveitada?Está esgotado o potencial de exploração de recursosutilizados em acções anteriores?Verifica-se uma boa gestão dos recursos técnico-pedagógicos disponibilizados?O orçamento disponível está a ser bem aplicado?A capacidade instalada da entidade está a ser opti-mizada?O cronograma do projecto está a ser cumprido?(...)

Sugere-se que este tipo de avaliação seja realizado,preferencialmente, a montante da realização da for-mação. Pode todavia ser efectuada durante e após asua realização.

No contexto da formação, verificar a oportunidadede algo leva-nos a colocar questões, tais como:

A proposta formativa surge em tempo oportuno, ouseja, dá uma resposta atempada às necessidades decompetências previamente identificadas?Os formandos receberam a documentação de apoioà medida das respectivas necessidades de informa-ção?Os formandos receberam os resultados deavaliações intermédias em tempo útil, ou seja, per-mitiu melhorar desempenhos ao longo da execuçãoda formação?

(26) Avaliar a oportunidade

A preparação dos agentes de formação envolvidosno projecto de formação (em particular os forman-dos) foi realizada atempadamente?Os comportamentos e resultados verificados aquan-do da transferência de aprendizagens adquiridas,bem como os impactes ao nível do todo organiza-cional foram atingidos no momento certo?(...)

Considerando os respectivos objectivos, sugere-se aaplicação deste critério de avaliação num contextode avaliação .

Na prática, trata-se de garantir que as necessidadesmanifestadas pelos vários envolvidos,directa ou indirectamente, no projecto formativo,sejam efectivamente consideradas.

Neste sentido, a aplicação deste critério exige quesejam tidos em conta os objectivos definidos nosvários níveis. Por exemplo: objectivos globais ouestratégicos, gerais, específicos e/ou operacionais(implica, regra geral, a construção de uma árvore deobjectivos que permita identificar, com toda aclareza, as articulações existentes entre os vários

de um projecto.

Os resultados deste tipo de exercício assumemparticular importância numa fase em que se pretendaidentificar eventuais cadeias de impactes, decorren-tes do desenvolvimento de determinada interven-ção formativa).

Verificar a pertinência da formação leva-nos a colo-car questões, tais como:

Existe correspondência entre objectivos de forma-ção e necessidades organizacionais a colmatar?

ex-ante

stakeholders

stakeholders

(27) Avaliar a pertinência

Os objectivos definidos para o curso são os maisadequados, considerando as necessidades pré-iden-tificadas?De entre as estratégias pedagógicas possíveis, asescolhidas são as mais adequadas?(...)

Considerando os respectivos objectivos, sugere-se aaplicação deste critério de avaliação num contextode avaliação , designadamente, aquando daaplicação de metodologias de avaliação de impactesda formação.

Verificar a utilidade da formação leva-nos a colocarquestões, tais como:

Em que medida a formação desenvolvida propor-cionou efectivo valor acrescentado aos indivídu-os/organizações que nela participaram (por exem-plo, uma determinada promoção, a criação de rique-za por parte de uma organização...?Em que medida os beneficiários directos do projectoformativo (formandos) estão satisfeitos com os resul-tados e impactes da formação?Em que medida as chefias directas viram solucio-nados os problemas que deram origem ao pedido deformação?(...)

Desenvolver um projecto de formação assentenuma lógica sistémica passa, essencialmente, pelaidentificação dos inputs e outputs relativos a cadauma das fases do ciclo da formação, o que permitecriar e manter, de forma permanente e atempada, osfluxos necessários de informação inter-fases, asso-ciadas a determinado ciclo formativo.

ex-post

(28) Avaliar a utilidade

(29) Ciclo de formação

Pág 075

inofor


O esforço, ao nível do desenvolvimento de práticasde diagnóstico de necessidades e de acompa-nhamento e avaliação da formação, resulta naelevação da qualidade da formação desenvolvida, jáque permite uma maior adequação das propostasformativas às necessidades e expectativas dosrespectivos beneficiários.

Numa perspectiva prática, a construção de umreferencial de competências nem sempre é tarefafácil. A natureza inobservável das mesmas induzfrequentemente em erro os profissionais da for-mação, criando dificuldades de distinção entretarefas/actividades a realizar e competências a mo-bilizar (saberes de natureza cognitiva, saberes-fazertécnicos e saberes-fazer relacionais). Sugere-se,numa fase inicial do processo, a identificação con-creta das tarefas/actividades a desenvolver, seguidada identificação dos saberes necessários à execuçãodas mesmas.

A identificação de um referencial de competênciaimplica ainda a real compreensão dos empregosnum sentido mais amplo e prospectivo, o quepermitirá identificar com maior facilidade asactividades nucleares e complementares a desen-volver, tal como respectivas tendências de evolução,contextos de aplicação e respectiva variabilidade.

A competência pode ser avaliada mediante aobservação da mobilização de comportamentosespecíficos para determinado contexto de trabalho(neste caso, a análise deverá incidir nos compor-tamentos que produzem os resultados esperados).Este aspecto assume particular relevância aquandoda avaliação da transferência de aprendizagensadquiridas, uma vez que a mesma poderá vir a incidir

(30) Competência profissional

sobre níveis de desempenho pré-estabelecidos.Aqui a questão passaria a ser a seguinte: orammobilizados os saberes necessários ao cumprimentodos objectivos pré-estabelecidos?

Numa perspectiva de gestão de competências umdos desafios que se coloca é precisamente a aferiçãodo potencial de transferibilidade de determinadascompetências para diferentes contextos de trabalho,assim como entre diferentes profissões. Num con-texto de franca mobilidade inter-empregos e con-textos de trabalho, a identificação da base decompetências comuns torna-se aqui uma actividadefundamental.

Redigir ou formular uma competência implica utilizarum ou mais verbos de acção que devem descrevercomportamentos observáveis com a indicação deum nível de proficiência esperado.

A título de exemplo, apresenta-se seguidamenteuma das possíveis arrumações de competências nocontexto de uma organização e respectivo processode monitorização e avaliação. Note-se que, aestrutura apresentada assentou numa reflexão sobreum conjunto de procedimentos que surgem fre-quentemente associados à identificação de com-petências de determinada organização, a saber:

a) A identificação das competências estratégicas adesenvolver no contexto de uma organização,também designadas por “macro-competências(associadas às ou “forças motrizes”daorganização).

b) A identificação das competências transversais, quepermitem uma melhor gestão das competências,numa óptica de respectiva mobilização em distintoscontextos de desempenho.

f

driving forces

c) A identificação de competências específicas, asso-ciadas às actividades de carácter mais operacional e,regra geral, associadas a determinado contexto detrabalho.

d) A identificação de competências-chave, associadasa determinadas áreas de negócio/funcionais daorganização, tais como: a área da qualidade, a áreacomercial e marketing, a área produtiva, etc...

e) Identificação de “níveis de proficiência”/ níveis dedesempenho desejado. Remete para a construçãode sistemas de monitorização de desenvolvimentode competências. A elaboração de planos deverificação de progresso face a níveis de profi-ciência/desempenho a alcançar pode traduzir-senum instrumento eficaz ao nível do acompanha-mento da evolução dessas competências.

f) A validação dos referênciais de competências porindivíduos de reconhecida legitimidade e capacidadede intervenção nas matérias em discusão.

g) Identificação de níveis de proficiência/desem-penho mínimos a alcançar. Estes mínimos são,normalmente, definidos com base na identificaçãoprévia de níveis de qualidade mínimos ou aceitáveis,a garantir por parte dos responsáveis por deter-minado contexto de trabalho.

Neste caso a organização deverá ajustar eventuaisreferenciais existentes, no sentido da construção doseu próprio referencial no qual irá integrar umconjunto de competências específicas validadas ereconhecidas pelos vários intervenientes na cons-trução do referencial a utilizar.

h) Identificação das condições necessárias à mobi-lização das competências pretendidas.

No exemplo que se apresenta, de seguida, verifica-se apenas a identificação das competências estraté-gicas, seguida da identificação do respectivo “cluster”de saberes, que no caso que se apresenta, surgemcomo competências transversais a desenvolver portodos os indivíduos da organização em análise.

21

21“ O termo “transversal” traduz a presença simultânea em diferentes contextos de elementos similares e permiteincorporar características comuns a diferentes empregos”.... “Nesta perspectiva, a construção e/ou mobilização decompetências transversais potencia o percurso em espaços de evolução profissional segundo uma dupla lógica: (1) umalógica de fileira profissional no interior de uma mesma família (de empregos) e (2) uma lógica de mobilidade “transversal”a outros domínios profissionais. “ In Gomes, J. (1999:7).

Pág 077

inofor

Focalização no cliente

Competências estratégicas Respectivo significado

Capacidade de comunicação

Desempenho direccionadopara a obtenção de resultados

Espirito de iniciativa

Capacidadepara auto-avaliação

Identificação de competências estratégicas22

Capacidade de planeamentoe organização

Trabalhar em equipa

Capacidadede auto-aprendizageme transmissãode conhecimentos

Identificar as expectativas e necessidades dos respectivos clientes (internos e externos)

Comunicar de forma eficaz com todos os membros da organização, aplicando as técnicasmais adequadas a cada situação.

Desenvolver as respectivas actividades por forma a alcançar os resultados pretendidos

Analisar as diversas situações de trabalho e tomar as decisões mais adequadas

Apreciar o trabalho realizado e desenvolver as acções necessárias face à identificaçãode eventuais desvios relativamente aos objectivos pré-estabelecidos

Calendarizar e controlar as actividades de forma a obter os resultados pretendidos,afectando tempo para eventuais inversões no planeamento

Promover e manter bons relacionamentos com os restantes colegas de trabalho

Desenvolver activamente as respectivas competências, transmitindo, sempre que possível,os conhecimentos adquiridos (quer formal quer informalmente)


Competências estratégicas “cluster” de saberes (Saberes cognitivos, técnicos e relacionais)Competências mobilizáveis

23

Identificação de “cluster” de saberes associado a cada competência estratégica

Demonstrar um conhecimento profundo acerca das necessidades dos respectivosclientes internos e externosResponder atempadamente quer a clientes internos quer a clientes externosPrestar um serviço personalizado a cada um dos respectivos clientes (internos e externos),independentemente da respectiva cultura, género ou línguaProcurar exceder as expectativas dos respectivos clientesAgir de forma cordial com clientes insatisfeitosAgir de acordo com as diversas expectativas dos respectivos clientes

Capacidade de comunicação Escutar e considerar as opiniões dos colegas de trabalhoConhecer as opiniões dos restantes colegas de trabalho no contexto de domíniosde intervenção comumUtilizar um léxico perceptível por todosDemonstrar convicção na apresentação dos respectivos argumentosGarantir confidencialidade sempre que solicitada

(...)

22

23

A identificação deste tipo de competência é efectuada, regra geral, com base na definição de objectivos estratégicos aalcançar pela organização.

Elementos constitutivos da competência. A este conjunto de saberes surge normalmente a identificação das condiçõespara a respectiva mobilização (não referidas no exemplo apresentado).

24

25

Ao conjunto de competências ditas “transversais” são normalmente associadas as competências específicas, inerentes acada contexto de trabalho em análise. Os modelos de avaliação incidem, regra geral, sobre o conjunto de competências,transversais e específicas, associadas a cada contexto de trabalho (com maior enfoque ao nível das competênciasespecíficas).No exemplo apresentado, as competências estratégicas coincidem com as competências transversais a desenvolver.Noutros contextos organizacionais tal poderá não acontecer. Neste último caso, a organização define, de acordo com aestratégia de negócio pretendida, que investimento pretende vir a fazer no que toca a desenvolvimento de competênciasdos respectivos colaboradores (estabelecimento de planos de gestão do respectivo capital de competências), e quais ascompetências a valorizar e desenvolver , identificando e destacando as que se relacionam efectivamente com os respectivosobjectivos estratégicos.

Os níveis de proficiência a alcançar variam consoante as necessidades de cada organização. Tal como referido, Le Boterfrecorre a três níveis: principiante, confirmado e perito. Uma das questões que se coloca no que toca a análise dos níveis deproficiência é a seguinte: que evidências deverão ser analisadas por forma a dizer que o indivíduo se encontra no nível A ouB?

Demonstrarum conhecimentoprofundo acercadas necessidadesdos respectivos clientesinternos e externos

Focalização no cliente (competência estratégica e transversal)Identificar as expectativas e necessidades dos respectivos clientes (internos e externos).

(...)

cluster de competênciasa mobilizar24 competências a monitorar /avaliar

Nívelde proficiência

desejado25

Demonstrar um conhecimento profundo acerca do negóciodos vários clientes (internos e externos), respectivos produtose/ou serviços, bem como interlocutores privilegiadosIdentificar com relativa facilidade tendências ao nível das mudançasnas preferências dos consumidoresDetectar eventuais oportunidades de negócioAntecipar eventuais necessidades dos consumidoresActualizar os restantes colegas

Nível 3

Níveis de proficiência desejados

Nível 1: Realiza as actividades com apoio da chefiaNível 2: Realiza as actividades com relativa autonomia, havendo lugar apenas a validação final do produto/serviço

concebido/prestadoNível 3: Realiza as actividades com total autonomia

Caso a organização decidisse pela importância deuma observação mais aprofundada, relativamente acada um dos saberes poderia ainda vir a reflectiracerca das acções inerentes à competência: “de-monstrar conhecimentos profundos acerca das

necessidades dos respectivos clientes internos eexternos”.

Daqui decorre que quanto maior for o detalhe emtermos de competências a mobilizar, maior será origor em termos de respectiva monitorização/a-valiação.

Pág 079

inofor


26Nota: A esta grelha de avaliação poderão ser associadas as competências específicas para igual avaliação.

Avaliação de competênciasestratégicas

(Identificar os pontosque exigem necessidades

de desenvolvimento)

Avaliação com base na verificação dos resultados alcançados26

Área funcional:

Titular:

Comentários(Devem ser discriminados os tipos de saber

a desenvolver,no caso de identificação de comportamentos

com necessidades de desenvolvimento)

Nívelde

proficiênciaactual

Nívelde

proficiênciadesejado


Identificar as expectativase necessidadesdos respectivos clientes(internos e externos).

Demonstra umconhecimento profundoacerca do negócio do cliente,respectivos produtos e/ouserviços, bem comointerlocutores privilegiados;

Identifica comfacilidade tendênciasao nível das mudanças naspreferênciasdos consumidores;

Detectaoportunidades de negócio;

Ponto 1:

Ponto 2:

Ponto 3:

Foram detectadas as seguintes necessidadesde desenvolvimento:

Ponto 1:

Ponto 2:

Nos relatórios da produção destacam-se os sucessivosatrasos na recepção da informação acerca do feedbackdo cliente face a avaliação dos protótipos dos produtos.O atraso na recepção da informação referida tem vindoa comprometer os prazos de entrega dos produtosfinais junto dos respectivos clientes.

De acordo com os resultados do inquérito aplicadojunto dos clientes (segmento A), foram detectadosos seguintes comportamentos com necessidadesde desenvolvimento:

Fraco conhecimento acerca das especificidades doproduto manifestado por parte das equipade vendas do Segmento A.

Quanto às expectativas dos clientes internos:

Quanto às expectativas dos clientes externos:

Ponto 1:

onto 2:

Ponto 3:

Ponto 4:

Ponto 5:

Ponto 6:

Nível 1

P Nível 1

Nível 2

Nível 2

Nível 2

Nível 2

Níveldesejado:executar asactividadescom totalautonomia

Relativamente à avaliação das competências aquiapresentadas (de natureza estratégica), o modelo de

a valiação para monitorização e verificação de pro-gressos poderia ser, a título de exemplo, o seguinte:

Detecta eventuaisoportunidades de negócio;

Antecipaeventuais necessidadesdos consumidores;

Actualiza osrestantes colegas

Ponto 4:

Ponto 5:

Ponto 6:

Obs: Caso sejamidentificadas“boas práticas”,(tais como estratégiasbem sucedidas,comportamentos nãoprevistos mas com forteimpacte ao nível dosresultados)deverãotraduzir-se em novascompetências

Maior articulação entre sector comercial e sectorde produção;Verificação do grau de conhecimento que ambosos sectores apresentam acerca dos respectivosobjectivos e expectativa de resultados.Apuramento do nível de desconhecimento acercados produtos e/ou serviços dos clientes, juntodas equipas de vendas com prestação aquémdo desejado.Desenvolvimento de uma intervenção formativa,para aquisição/desenvolvimento dos saberes abaixoidentificados.

(Identificar o tipo de saber (saberes cognitivos,técnicos e ou/sociais/relacionais)

Recomendações:

Saberes a adquirir e/ou desenvolver:

Níveis de proficiência:

Nível 1 (Comportamento com necessidades de desenvolvimento)Nível 2 (De acordo com o nível desejado)Nível 3 (Excedeu as expectativas)Nível 4 (Indivíduo em fase de integração na função)

Como facilmente se poderá verificar, uma identifi-cação de competências implicará igualmente areunião de consenso relativamente ao nível de apro-fundamento das actividades a observar.

Acrescente-se que a abordagem apresentada émeramente ilustrativa do tipo de prática desen-volvida em matéria de identificação de competênciase respectiva avaliação. Outras mais existem comcontornos diferentes e, consequentemente, comresultados igualmente diferentes.

(31) Contrato de aprendizagem

Quando existem, os contratos de aprendizagempodem ser utilizados como referentes.A elaboração de um contrato de aprendizagem sur-ge, regra geral, associado à execução das seguintesactividades:

Articulação entre o projecto profissional individual eo projecto organizacionalEstabelecimento de objectivos organizacionaisIdentificação de competências concretas a desen-volver pelos indivíduos (traduzidas num conjunto de

Pág 081

inofor


saberes específicos a mobilizar após a realização daformação)Identificação do nível de competência detido nomomentoIdentificação e análise de existentesIdentificação do período de tempo a afectar ao pro-cesso de aprendizagem que vise colmatar essasnecessidadesElaboração de um contrato de aprendizagem assen-te no conjunto de necessidades manifestadas pelosvários intervenientes no processo de aprendizagemAcompanhamento do formando ao longo davigência de um contrato de formação no sentido deo motivar e de lhe providenciar todo o apoio neces-sário

No final de um contrato de aprendizagem ambas aspartes fazem, normalmente, um balanço acerca dosresultados obtidos, visando a elaboração de umnovo (se necessário) plano de aprendizagem (Verdefinição de transferência de aprendizagens para ocontexto de trabalho). A gestão de percursos indi-viduais de formação será, desta forma, igualmentefacilitada.

Um critério não é susceptível de ser directamenteobservado, ou seja, não se pode “observar directa-mente” a pertinência de algo. O que pode serobservável e mensurável são os indicadores. Porexemplo, a taxa de execução pedagógica (TEP) deum determinado curso é quantificável em termospercentuais (%). O seu resultado traduz-se, nor-malmente, num indicador de eficácia da formação .

Recorrendo à prévia definição de critérios de ava-liação e respectivos indicadores, o avaliador podeajuizar, numa fase posterior, acerca do cumprimento

gaps

27

28

(32) Critério de avaliação

ou não desses critérios. Por exemplo, poderá avaliarse o programa ou plano de formação foi ou nãoeficaz. Voltando ao exemplo da TEP, o avaliador poderecorrer às seguintes categorias para a formulaçãodo seu juízo de valor:

Como se poderá verificar, se a média da TEP paraum determinado plano de formação for avaliadaem 79%, de acordo com os valores de referênciado avaliador, o plano será considerado “muitoeficaz”.

Devemos considerar, no entanto, o seguinte: mes-mo conseguindo uma percentagem de 100% noque toca à taxa de execução pedagógica, isso nãogarante que o plano de formação mantenha omesmo grau de eficácia, caso o avaliador venha autilizar outros indicadores de eficácia. Se se con-siderar como indicador de eficácia o grau de satis-fação dos formandos (GSf) obtido no final de cadacurso, o facto da TEP ser elevada não garante, àpartida, que o grau de satisfação dos mesmos sejaigualmente elevado.

Devemos, pois, ter em conta que um determinadocritério pode ter mais do que um indicador e que osresultados podem ser incoerentes entre indicadores.

Intervalo TEP (%) Interpretação

0-24

25-49

50-74

75-100

Nada eficaz

Pouco eficaz

Eficaz

Muito eficaz

Volume real de formação27

28

TEP= ________________________ x100Volume máximo de formação

A TEP corresponde, obviamente ao inverso da taxa de absentismo.

Quando o avaliador possui mais do que um indica-dor por critério é usual existir uma ponderação decada critério para formulação do juízo final. Con-tinuando o nosso exemplo, se a verificação deeficácia tivesse como únicos indicadores a TEP e oGSf, o avaliador poderia adoptar a seguinte fórmulapara apoiar a sua avaliação:

Eficácia (%) = (TEP x 0,4) + (GSf x 0,6)

Se o GSf tivesse sido (em média) 70%, teríamos oseguinte resultado:

Eficácia (%) = (79 x 0,4) + (70 x 0,6)Eficácia (%) = 31,6 + 42Eficácia = 73,6 %

Teríamos, pois, o juízo final segundo o qual o planode formação teria sido eficaz (apesar de muito eficaznum dos indicadores).Este exemplo muito simples chama, no entanto, aatenção para um aspecto muito importante: bastariaque a ponderação fosse inversa, para que o juízo devalor fosse também diferente:

Eficácia (%) = (79 x 0,6) + (70 x 0,4)Eficácia (%) = 47,4 + 28Eficácia = 75,4 %

A ponderação reflecte, pois, decisões tomadas peloavaliador que, desejavelmente, deverão traduzir asnecessidades dos diferentes “stakeholders”.

Um exemplo da aplicação desta noção poderá ser oque a seguir se apresenta:

(33) Custo de oportunidade

No orçamento de uma família, como contabilizar oscustos da decisão de inscrever um dos membros dafamília com 16 anos num curso de formaçãoprofissional de 2 anos na área das novas tecnologias ?

A maior parte das famílias, no seu processo detomada de decisão, levaria em conta custos como aspropinas, custos de transporte, livros, material es-colar, etc. No entanto, para além daqueles custos, acontablização não estará correcta até ser consi-derado o custo de oportunidade daquela decisãopara a família: se, em vez da opção pela formação, afamília tivesse decidido pela entrada imediata dojovem no mercado de trabalho, o dinheiro que esteteria oportunidade de ganhar a título de saláriopoderia ter contribuído para reforçar o orçamentofamiliar durante aqueles dois anos. Imaginemos que afamília faria com que 50% do salário revertesse afavor do orçamento comum; então o custo deoportunidade inerente à opção pela formaçãoprofissional seria (para os 2 anos): Custo deoportunidade = 28 meses x salário médio mensal x50%

O mesmo custo é também considerado por algumasorganizações, quando interessadas em comparar osbenefícios a obter com a formação e o custo relativoà ausência do colaborador do respectivo posto detrabalho.

Importa distinguir, no âmbito deste glossário, o signi-ficado das expressões “levantamento de necessida-des” e “diagnóstico de necessidades”:

O primeiro surge, regra geral, associado à identi-ficação de problemas, relativos a desafios do pre-

29

(35) Diagnósticode necessidades de formação

2924 meses mais 4 se usufruisse de subsídio de férias e Natal.

Pág 083

inofor


sente ou do futuro, que na opinião dos responsáveispor essa identificação, podem ser colmatados pelavia da formação. Não recorre a qualquer tipo deanálise acerca da origem dos mesmos. Aqui seincluem as chamadas , que remetem para aselecção de um conjunto de áreas de formaçãoespecíficas, com vista à elaboração de um plano deformação.

O segundo, integrando o primeiro, destaca-se pelorecurso a técnicas de análise de problemas visando aidentificação das respectivas causas. Destacam-seaqui, por exemplo, a aplicação de alguns métodos etécnicas específicos, tais como: a metodologia da“árvore de problemas”, o diagrama de causa e efeito,o diagrama de Pareto, os grupos de discussão, aanálise , o , o inquérito (entrevistae/ou questionário), a observação, etc... Este tipo deanálise proporcionará, ao contrário da abordagemanterior, um conjunto de informações essenciais à

checklists

swot brainstorming

elaboração de um plano de formação, que se pre-tenda devidamente sustentado e melhor direccio-nado às necessidades dos públicos a envolver.

Identificar, à partida, qual a postura da organização(reactiva e/ou antecipatória), face à política formativaa seguir, traduz-se num procedimento essencial numcontexto em que se pretendam aferir impactesdecorrentes de intervenções formativas desenvol-vidas. Implica dar resposta às seguintes questões:

Qual a política formativa a seguir?Que resultados se esperam obter com a intervençãoformativa?Quando e como deverão ser aferidos e avaliados?...

De uma forma sucinta, apresentam-se, seguidamen-te, as etapas consideradas essenciais a desenvolverno âmbito de um diagnóstico de necessidades de for-mação:30

30São apresentadas apenas as etapas cruciais a considerar no âmbito de um diagnóstico de necessidades de formação (estanota metodológica prende-se essencialmente com as acções formativas dirigidas a activos empregados).

3132

São aqui apresentadas apenas as questões consideradas críticas quando consideradas as etapas referidas.Ver definição de “Plano de formação”.

Etapas

Caracterização da situaçãode partida

Questões criticas31

Quais as condicionantes da minha envolvente interna e externa?Que desafios são esperados?Que recursos humanos possuo actualmente?Os recursos que possuo são suficientes e reúnem as competências necessáriasao cumprimento dos objectivos pretendidos?

Identificação da situação desejadaou ideal (traduzida em algosusceptível de ser alcançado)

Que níveis de desempenho/proficiência individual e/ou organizacionalsão pretendidos?Pretendo alcançar os objectivos pré-estabelecidos, no curto, médioou longo prazo?

Esta informação assume uma importância crucial no âmbito de avaliações quevenham a ser realizadas, uma vez que a identificação de níveis de desempenho(individuais e/ou organizacionais) esperados, constitui um dos referentesmais importantes de uma avaliação.

Identificação do existenteentre aquilo que é desejadoe aquilo que existe.

gap

Que indicadores de desempenho (de um indivíduo e/ou de um colectivo)devem ser considerados aquando da caracterização e análise doencontrado? Que referentes são considerados? Níveis anteriores de desempenho?Níveis de desempenho obtidos pela concorrência?...Que interlocutores-chave devem ser contactados?As causas dos problemas apontados foram devidamente identificadas?Se não, que técnicas de análise de problemas podem ser utilizadas?Qual a gravidade do ou desfasamento encontrado?Qual a natureza da necessidade encontrada?

gap

gap

Identificação das razõesque conduziram à existênciadesse /desfasamento.gap

Que estruturas ou indivíduos estarão relacionados com as causas dos problemasidentificados?Que processos estarão relacionados com o problema identificado?Os problemas identificados deverão ser solucionados pela via da formação?Se não, que outras medidas poderão ser desenvolvidas?

Estabelecimento de prioridadesrelativamente a necessidadesa colmatar.

Que indivíduos devem ser mobilizados, em primeiro lugar, para a formação?Caso não seja possível executar toda a formação desejada, que capacidadesdeverão desenvolver numa primeira fase (que saberes deverãoadquirir/desenvolver)?Quais as principais mudanças esperadas ao nível do comportamento dessesindivíduos, aquando do seu regresso ao respectivo contexto de trabalho?Que resultados deverão ser alcançados pelos mesmos, no curto, médioe longo prazos?

Este ponto assume particular relevância já que nem sempre são visíveis,em muitos dos relatórios de diagnósticos realizados, as prioridades a seguir,o que pode dificultar a tarefa de quem se incumbe, numa fase posterior,pela elaboração de um eventual plano de acção.

Preparação de planos de acção.32

Que proposta formativa será a mais adequada?Que métodos pedagógicos serão os mais adequados?Que carga horária deverão ter as intervenções formativas?(...)

Dadas a diversidade e especificidades dos contextosde análise, sugere-se que as metodologias de diag-nóstico de necessidades de formação sejam devida-mente ajustadas aos respectivos contextos de apli-cação. Implica analisar com cuidado eventuais inqué-ritos-padrão, já que o mesmo poderá negligenciarinformação importante relativamente a determinadotipo de competências a desenvolver. Sempre quepossível, torna-se, pois, preferível recorrer a méto-dos assentes em estudos de caso baseados na cara-cterização de desafios/problemas concretos.

Devemos ter sempre presente que qualquer quesejam os resultados obtidos devem satisfazer sempreas necessidades de informação dos actores que deladependem. Aqui se destacam os seguintes actores:os responsáveis pelo planeamento e concepção daformação, os responsáveis pela execução da for-mação, bem como todos os que venham a assumirresponsabilidades ao nível da avaliação das inter-venções formativas (internos e/ou externos à orga-nização).

Os resultados podem ser disseminados ao longo daexecução da formação (caso se trate de relatóriosintermédios integrados num contexto de avaliaçãoformativa), ou no final da execução da formação(caso se trate de uma avaliação final - de resultados eimpactes-integrada num contexto de avaliaçãosumativa).Na disseminação de resultados obtidos com aavaliação podem ser realizadas sessões de sensi-bilização/formação, eventos específicos tais comoseminários, , colóquios, publicações,etc...

workshops

(36) Disseminação de resultados

Pág 085

inofor

Relativamente à fase da disseminação dos resultadosde uma avaliação, várias são as actividades a de-senvolver, com fortes implicações ao nível da eficáciadessa avaliação:

Identificação, a montante da realização da formação,de todos os interessados nos resultados da avaliaçãoda formação (implica a identificação dos centros quepodem tomar decisões ao longo e depois da exe-cução do processo formativo, visando a sua melho-ria).Estabelecimento de uma estratégia de disseminaçãode resultados (implica a apresentação dos mesmosjunto dos respectivos implicados no processoformativo).Devolução aos vários clientes da formação, da(s)parte(s) que lhe(s) dize(m) directamente respeito(implica a elaboração de relatórios “personalizados”e adequados às diferentes expectativas em pre-sença). A elaboração de sumários executivos perso-nalizados são um bom exemplo a seguir.Evitar que os resultados da avaliação (seja intermédiaou final) sejam utilizados para fins distintos dos pré-estabelecidos no plano de avaliação.Garantir a utilização dos resultados produzidos,sempre que tal seja possível (apelo à rentabilizaçãodo tempo, esforço e dinheiro, a favor de uma maioreficiência e eficácia da formação).

Não podemos afirmar, em termos absolutos, queum instrumento é sempre 100% fiável. Só após aaplicação do mesmo se pode determinar, partindodos seus resultados, que itens poderão ser apro-veitados. Esta é uma das várias razões pelas quais oprocesso de testagem de um instrumento assumeparticular importância.

(37) Fidelidadedos instrumentos de avaliação


(38) Garantia de qualidade

Se aplicarmos a definição referida ao contexto daformação profissional, depressa verificamos que aavaliação a efectuar tenderá a focalizar-se em doisaspectos fundamentais: (1) no valor acrescentado//benefício produzido por determinado processoformativo no seu todo (ou processos inerentes, taiscomo diagnóstico de necessidades, concepção,implementação, etc...), e (2) no grau de en-volvimento dos respectivos “clientes finais”, ou, parausar uma expressão mais utilizada no contexto daformação, dos implicados, directa e/ouindirectamente no projecto formativo, ao nível dadefinição do produto/serviço pretendido.

A presença de uma multiplicidade de actores torna oprocesso de avaliação em algo mais complexo, já queteremos igualmente diferentes expectativasrelativamente ao nível de qualidade a alcançar. Nestesentido, torna-se imprescíndível a prévia deter-minação do nível de qualidade desejado. Implica,regra geral, o desenvolvimento de verdadeiros “pro-cessos de negociação” interactores.

Assumindo a formação profissional como um pro-cesso em si mesmo, diríamos que a noção de ga-rantia de qualidade será operacionalizada no con-texto de cada uma das fases de um determinado cicloformativo. Neste sentido, os dispositivos de obser-vação/avaliação serão aplicados à fase do diagnósticode necessidades de formação, planeamento, con-cepção e implementação e ainda sobre o própriosistema de acompanhamento e avaliação de re-sultados (intermédios, finais e de impacte).

Os sistemas de garantia de qualidade, aplicados aocontexto da formação profissional, visam, regrageral, responder às seguintes questões:

stakeholders

a) O diagnóstico de necessidades de formação foicorrectamente efectuado, ou seja, identificou deforma rigorosa, quais as competências profissionais adesenvolver?b) Os resultados das análises de custo-benefício(realizadas previamente), permitiram efectuar asmelhores opções? Foram consideradas outras alter-nativas?c) As acções a desenvolver são pertinentes, opor-tunas e propostas em conformidade com a estratégiaglobal da organização?d) As soluções formativas são coerentes quandoconsideradas as competências profissionais a de-senvolver?e) foram aplicados dispositivos de avaliação dia-gnóstica por forma a identificar o nível de conhe-cimentos de partida dos participantes nas acçõesformativas?f) A selecção dos agentes a intervir na execução daformação obedeceu a critérios de selecção e ava-liação explícitos?g) O projecto formativo desenvolve-se (ou desen-volveu-se) de forma eficiente?h) foram criadas as condições necessárias aoprocesso de transferência de saberes adqui-ridos(desenvolvidos para os contextos reais de de-sempenho?i) O sistema de acompanhamento e avaliação daformação dá uma resposta concreta às váriasnecessidades de informação dos váriosem presença? Foram negociados e divulgados oscritérios e indicadores de avaliação a utilizar?

As preocupações inerentes ao desenvolvimento deum sistema de gestão da formação, recaem sobre-tudo, sobre as condições necessárias à imple-mentação de determinada política formativa.

stakeholders

(39) Gestão da formação

Existem, de facto, vários factores que quando pre-sentes, podem favorecer a eficácia da mesma:

a) clara definição dos papéis que cada um dos actoresdeverá assumir aquando da implementação dapolítica formativa. Neste sentido, a mesma deveráassumir uma forma escrita, devendo ainda seramplamente divulgada junto de todos os respon-sáveis pela sua operacionalização;b) o envolvimento da direcção da organização, emparticular no que diz respeito à disponibilização demeios suficientes para a implementação da mesma,assim como mobilização dos vários actores para asua concretização;c) estreita articulação com as políticas de recursoshumanos existentes. Neste contexto, a gestão daformação, em particular quando direccionada para arealização de necessidades de competências numaperspectiva previsional/antecipatória, poderáassumir um papel essencial uma vez que estará,paralelamente, a apoiar a gestão de competênciasexistente.Neste sentido, uma actividade de natureza formativanunca será um acto isolado, mas sim uma parteintegrante de um processo global de gestão e dedesenvolvimento de recursos humanos. Uma dasfunções de um sistema de avaliação da formação seráaqui a de demonstrar em que medida a parte “for-mação” contribuiu para o desenvolvimento dessesrecursos.d) a sua implementação deverá estar ao serviço daconcretização da hierarquia de objectivos da orga-nização (estratégicos, específicos (níveis intermé-dios) e operacionais). Este aspecto assume uma im-portância extrema quando considerado o contextoda avaliação da formação, já que sempre que sedesejar aferir eventuais impactes da formação aonível do todo organizacional, torna-se necessáriocompreender a “cadeia de objectivos” da própriaorganização.

Pág 087

inofor

(40) Indicador de avaliação

A sua compreensão passa pela identificação do cri-tério que lhe é inerente, uma vez que existe umaclara relação de dependência dos indicadores deavaliação relativamente às características dos res-pectivos referentes. Implica que a determinação deindicadores válidos seja efectuada em função danatureza dorealidade objecto de avaliação. Questãoa colocar nesta fase: de querealidade objecto deavaliação estamos a falar?

A fase da determinação de indicadores de avaliaçãoexige que, à partida, estejam reunidas determinadascondições que garantem o respectivo sucesso, a sa-ber:

a clara identificação dosrealidade objecto de avalia-ção, bem como respectivos critérios de avaliação;a demonstração da legitimidade dos actores queescolhem e/ou definem os indicadores;a existência de coerência entre indicadores escolhi-dos, objectivos preconizados (ex: pela organizaçãobeneficiária da formação), avaliação realizada e utili-zação de resultados.

Acrecente-se que a escolha do indicador a observarcondiciona, normalmente, a escolha do tipo de ins-trumento de avaliação a utilizar, pelo que se reforça aideia de que a escolha de eventuais instrumentos deavaliação deverá efectuar-se em função, fundamen-talmente, dos critérios e indicadores a utilizar. Nesteúltimo caso, importará distinguir de que tipo de indi-cador estamos a falar: indicadores (ex: taxas dedesperdícios, número de reclamações, número depeças produzidas...) ou (ex: indices de satisfaçãodo cliente, índices de , graus motivacio-nais...)

hard

softturnover


(41) Inputs de avaliação

(42) Juízo de valor

Devemos ter sempre presente que as “saídas ou” de cada uma das fases de um ciclo for-

mativo, podem constituir as “entradas ou inputs” dasfases subsequentes, significa, por exemplo, que osresultados de um processo de avaliação, serãoeventualmente considerados inputs ou fontes deinformação de um diagnóstico de necessidades deformação.

Para que a formulação de juízos de valor ocorra,algumas das questões a colocar antes de realizarqualquer avaliação, é a seguinte: o que é esperado daparte de quem vai ser avaliado? Foram claramentedivulgados os critérios a utilizar na avaliação arealizar? Os avaliados receberam orientações clarasacerca da melhor forma para produzirem os resul-tados desejados?

Note-se que quanto maior for a riqueza e variedadedos dados obtidos, melhor será a fundamentaçãodos juízos de valor. Pressupõe a utilização de umaampla gama de instrumentos de recolha de infor-mação (ver definição de triangulação).

Será sempre aconselhável que um juízo de valorcomporte uma indicação sobre o(s) referente(s)relativamente ao qual é feito.

A máxima transparência ao nível da formulação dejuízos de valor resulta numa maior aceitação ecredibilidade do processo avaliativo, quer por partedos destinatários da avaliação quer por parte dosutilizadores dos seus resultados. Implica que a mon-tante sejam identificado(a)s e dado(a)s a conhecer:

outputs

os referentes de partida;os responsáveis pela determinação desses refe-rentes (trata-se de saber se os potenciais avaliados“reconhecem” direitos aos que assumem essa res-ponsabilidade, ou seja, se lhe é reconhecida legitimi-dade para o fazer);os critérios de avaliação a utilizar;os responsáveis pela formulação dos juízos de valor(trata-se de saber quem pode fazer um juízo de valorsobre a realidade avaliada);os destinatários dos resultados da avaliação;as formas adequadas para a devolução dos resul-tados aos “avaliados”.

Na presença de resultados não previstos, o avaliadordeverá aferir o respectivo grau de importância juntodos actores implicados (directa e/ou indirectamente)no processo e estabilizar, com os mesmos, eventuaispadrões de referência que permitam elaborar osjuízos de valor pretendidos.

Num contexto de aprendizagem em que se procuradesenvolver saberes de natureza cognitiva, socio-afectiva e/ou psicomotora, a formulação de even-tuais juízos de valor decorrentes de avaliaçõesefectuadas poderá considerar estas três realidadesou apenas uma parte. Neste último caso sugere-seque seja distinguida claramente a parte objecto-alvode avaliação. Na formulação de juízos de valorsugere-se, ainda, que sejam consideradas eventuaisponderações relativamente a alguns critérios deavaliação aplicados (ver definição de “critério deavaliação”).

O desenvolvimento de práticas de meta-avaliaçãopode contribuir de forma significativa para uma maioradequação dos modelos de avaliação utilizados, bem

(43) Meta-avaliação

Pág 89

inofor

como para uma maior sofisticação e rigor dos mes-mos. Pode ainda contribuir para a criação e institu-cionalização gradual de uma cultura de avaliação emfavor de um efectivo reforço da imagem da própriainstituição que a realiza.

Numa meta-avaliação podem ser considerados osseguintes aspectos :

O tipo de referencial utilizado (ex: uso de referenciaisde avaliação já testados e validados)A experiência dos responsáveis pela aplicação domesmoO tipo de actores implicados nos processos deavaliaçãoO tipo de estratégias de mobilização de actoresutilizadoO grau de estruturação e sofisticação do modelo deavaliaçãoO grau de flexibilidade e adequabilidade do modelode avaliação preconizadoO tipo de fontes de informação utilizadas nas abor-dagens de avaliaçãoA forma como é aplicado o modelo de avaliaçãoutilizadoA qualidade dos resultados e impactes decorrentesda aplicação do modelo avaliativo (em idênticos oudiferentes contextos)A qualidade dos relatórios finais relativo a resultadosde avaliações desenvolvidasA utilidade dos resultados para os respectivos utili-zadoresO grau de exequibilidade das recomendações pro-duzidas (exige que seja verificada efectiva devoluçãoaos (centros de decisão) respectivos)Os custos associados à implementação do modeloavaliativo

Trata-se de um campo fértil para a actuação de con-

33

stakeholders

sultores independentes, com competências nestamatéria, já que a meta-avaliação faz apelo a um con-junto de competências muito específicas, muito difícilde encontrar na generalidade dos profissionais deformação. Não se tratará, pois, de exigir este tipo decapacidades a todos os que assumem, de umamaneira geral, responsabilidades ao nível do desen-volvimento de práticas de avaliação.

A construção de modelos de avaliação capazes dedar uma resposta adequada a necessidades veicu-ladas por parte dos seus utilizadores finais parece sera opção mais adequada num contexto caracterizadopela multiplicidade de abordagens avaliativas.

Embora não exista uma única metodologia deavaliação, que possa ser aplicada a todas as situaçõesobjecto de avaliação, podem, no entanto, ser cons-truídos modelos avaliativos específicos com base emreferenciais de avaliação existentes. Para tal, deverá oavaliador, responsável pela orientação metodológicado processo de avaliação pretendido, ser capaz deajustar esse referencial às exigências dos contextosem análise.

Á medida que se passa de um nível para o seguinte, oprocesso de avaliação torna-se mais complexo,exigindo, normalmente, mais tempo e recursos. Aquestão da maior complexidade e/ou dificuldade, naaplicação dos vários níveis de avaliação, pode serultrapassada mediante a realização de um bomdiagnóstico de partida, no qual constem claramenteos objectivos a alcançar.

(44) Metodologias de avaliação

(45) Níveis de avaliação

33Observação: A esta lista de aspectos podem ser acrescentados outros sempre que tal seja desejado pelo utilizador finaldos resultados.


(46) Objectivode aprendizagem (pedagógicos)

Para além da “mecânica” da construção dos obje-ctivos de aprendizagem devemos olhar para a suapertinência, validade e legitimidade, isto é: porquêaquele objectivo, como se chegou a ele e quemdeterminou que aquele conteúdo deve ser um obje-ctivo?

Torna-se mais difícil a definição de objectivos deaprendizagem em actividades humanas muito com-plexas e que habitualmente integram competênciase conhecimentos tácitos (p. ex. liderança e gestão)ou em contextos de trabalho em que os processosse apresentam indeterminados. Normalmente asorganizações que trabalham com objectivos deaprendizagem transparentes revelam uma orga-nização de processos de trabalho também trans-parentes, sendo o inverso igualmente verda-deiro.

Recomenda-se que o profissional de formação sub-meta os objectivos de aprendizagem que discutiu/a-nalisou aos seguintes verificadores:

De que ponto de vista está redigido o objectivo? Doformador ou do formando?São claras as características e necessidades de quemvai alcançar o objectivo?É respeitada a estrutura do “triplo C”?Os comportamentos, as condições e os níveis deperformance desejados presentes no objectivotraduzem a realidade profissional?As capacidade implícitas no objectivo podem serdemonstradas/desenvolvidas durante a aprendiza-gem?As formas de organização da formação previstas (p.ex. formação em sala, em contexto de trabalho, adistância, etc.) são coerentes com a natureza dosobjectivos?

Qual a “extensão” do objectivo? específico? Opera-cional? intermédio? Global?Os objectivos estão hierarquizados? Existem prece-dências?Estão definidos os pré-requisitos necessários à aqui-sição de determinado objectivo?Como e quando vai ser verificado se o objectivo foiou não atingido?

Considera-se, normalmente, que um objectivo deaprendizagem bem definido é “meia - formação”preparada.De facto, um objectivo é alcançado quando a pessoaconcretiza o desempenho aí determinado, dentrodas condições e critérios definidos e demonstracapacidade de transferir e adequar, compropriedade, essas “aquisições” para outros contex-tos de trabalho/aprendizagem.

Um exemplo da aplicação da estrutura “triplo C”poderá ser o seguinte:

No final da sessão/intervenção formativa, o forman-do deve ser capaz de:

Elaborar um relatório técnico de acordo com asespecificações existentes (a formulação de um obje-ctivo de aprendizagem pressupõe a utilização deverbos de acção);

Após a identificação do tipo de saber a mobilizar,importa identificar as condições necessárias à realiza-ção da acção pretendida:

Elaborar um relatório técnico de acordo com asespecificações existentes, utilizando para o efeito osoftware X (a identificação das condições pararealização da acção pretendida assume uma im-portância crucial aquando da realização de umaavaliação da tranferência de aprendizagens paradeterminado contexto de desempenho.

Pág 091

inofor

Identificadas as condições de realização, importadefinir níveis de desempenho a alcançar.

Elaborar um relatório técnico de acordo com asespecificações existentes, utilizando para o efeito osoftware X e sem ultrapassar a data limite de entregado mesmo ao respectivo cliente interno.

Como se poderá verificar, neste caso não sãoidentificados quais os impactes pretendidos com aformação. Após a definição do nível de desempenho(ou comportamento esperado por parte do indi-víduo), poder-se-ia ainda definir que tipo de impacteseria o desejado, quer ao nível do indivíduo quer aonível da respectiva área funcional quer ainda ao níveldos resultados da própria organização, como porexemplo:

: ele-vação do respectivo grau de autonomia (passagemdo nível 1 (fraca autonomia) para o nível 2 (suficienteautonomia). Neste caso, o enfoque estaria centradonos resultados obtidos e não na observação deste oudaquele comportamento.

:alteração do grau de satisfação do cliente interno(passar do grau de satisfação 3 (razoável), para 5(muito bom)).

: ele-vação do grau de cooperação interunidades funcio-nais (atingir nível: “muito bom”).

Como se poderá verificar, a definição de objectivos aalcançar pretende-se sempre com as expectativas enecessidades dos “stakeholders” envolvidos no pro-cesso avaliativo. Identificar as diferentes ópticas erespectivas necessidades de informação, traduz-seassim num dos principais critérios de sucesso de umprocesso avaliativo.

Resultados pretendidos relativos ao indivíduo

Resultados pretendidos relativos à área funcional

Resultados pretendidos relativos à organização

(47) Plano de avaliação

Sugere-se que a planificação de um processo deavaliação seja efectuada em função dos resultados deeventuais diagnósticos de necessidades de formação.Nos relatórios finais destes últimos poderão constarjá as principais orientações a seguir no que toca àavaliação da formação proposta.

Aquando do planeamento das actividades de ava-liação sugere-se que seja dada especial atenção aosrecursos disponíveis, já que a falta dos mesmos podecondicionar, de forma significativa, a eficácia de umprocesso avaliativo. Aqui não se incluem apenasrecursos humanos e financeiros. O recurso “tempo”é fundamental em qualquer abordagem de avaliaçãoque se pretenda reflexiva e direccionada para aaprendizagem dos seus intervenientes.

Neste sentido, recomenda-se que seja disponibi-lizado tempo suficiente para a elaboração das ques-tões de avaliação, para a selecção dos métodos e dastécnicas a utilizar, assim como, para o estabeleci-mento de estratégias de envolvimento de actores.

Um plano de avaliação deverá fornecer informaçãosuficiente relativamente ao tipo de abordagem deavaliação a aplicar a cada agrupamento de questõesde avaliação. Implica que essas abordagens tratem deforma diferenciada as várias situações a avaliar. Esteprocedimento permite compreender melhor ascaracterísticas de cada contexto em análise.

Um plano de avaliação poderá revestir a forma deum documento escrito estruturado de acordo comos seguintes pontos:

Enquadramento da proposta avaliativa (Qual o con-texto de partida?)

34

34As questões referidas deverão ser colocadas a montante da realização de qualquer processo de avaliação da formação.


Objectivos da avaliação (O quer se pretende alcan-çar com a avaliação?)Âmbito e dimensões a avaliar (O que se pretendeavaliar? Que questões de avaliação deverão nortear aabordagem de avaliação?)Fontes de informação disponíveis (Que referentesde partida existem? A que fontes de informação pre-tendo recorrer?)Metodologias de avaliação a desenvolver (Que tipode abordagem de avaliação vai ser implementada?Uma abordagem participativa, independente....?Responsável pela orientação metodológica doprocesso de avaliação (Quem orienta o processo?)Intervenientes a mobilizar para o processo e respe-ctivas estratégias de envolvimento (Quem deve par-ticipar no processo? Que responsabilidades deverãoassumir?)

Técnicas e instrumentos a aplicar (Como vão serrecolhidos os dados?)Recursos materiais a mobilizar (Que recursos po-dem ser disponibilizados?)Análise de dados e apresentação de resultados (Co-mo vão ser analisados os dados? Como vão ser apre-sentados os resultados?)Resultados a apresentar (O que deve ser o produtofinal da avaliação?)Divulgação de resultados (Junto de que centros dedecisão devo disseminar os resultados? Como vai serrealizada essa disseminação?)Datas de realização (Em que momentos se vai reali-zar a avaliação?)Custos a afectar (Que recursos financeiros terei quemobilizar para o projecto?)

A título de exemplo, apresenta-se de seguida, umagrelha de suporte ao planeamento de um processode avaliação:

Iden

tific

ação

dos

obje

ctiv

ospa

raca

daum

dos

mom

ento

sde

aval

iaçã

oa

dese

nvol

ver

Ava

liaçã

oex

-pos

t:

Mom

ento

sde

aval

iaçã

o

Oqu

ese

pret

ende

aval

iar?

(pre

tend

e-se

que

seja

mid

entif

icad

osos

“obj

ecto

s”/

dim

ensõ

esa

aval

iar)

Que

ques

tões

deav

alia

ção

deve

rei e

fect

uar

para

cada

umdo

sob

ject

os/d

imen

sões

aav

alia

r( e

stas

ques

tões

perm

item

iden

tific

arco

mfa

cilid

ade

quai

sos

crité

rios

deav

alia

ção

aut

iliza

r)

Que

indi

cado

res

deav

alia

ção

pode

rei

esta

bele

cer

para

cada

umdo

scr

itéri

osid

entif

icad

os?

Que

acto

res

deve

rei

impl

icar

nopr

oces

soe

aqu

ees

trat

égia

s,pa

rare

spec

tivo

envo

lvim

ento

,po

dere

i rec

orre

r?

Que

inst

rum

ento

sde

aval

iaçã

opo

dere

iut

iliza

r?

Qua

ndo

deve

rei

aplic

aros

inst

rum

ento

sde

aval

iaçã

o?

Que

mde

vere

cebe

ros

resu

ltado

sav

alia

tivos

?

Com

ode

vere

iap

rese

ntar

osre

sulta

dos

daav

alia

ção?

Oqu

ese

ráim

port

ante

aval

iar

am

onta

nte

dare

aliz

ação

dafo

rmaç

ão?

Oqu

ese

rápe

rtin

ente

aval

iar

aqua

ndo

dare

aliz

ação

dafo

rmaç

ão?

Oqu

ese

ráim

port

ante

aval

iar

após

aco

nclu

são

dafo

rmaç

ão?

Ape

nas

aqui

siçã

ode

conh

ecim

ento

s?O

uta

mbé

mim

pact

esap

ósa

fase

datr

ansf

erên

cias

dos

novo

ssa

bere

spa

raos

cont

exto

sre

ais

detr

abal

ho?

Ava

liaçã

o:

on-g

oin

g

Ava

liaçã

o(o

uin

icia

l):

ex-a

nte

Ava

liaçã

o

(ou

inic

ial

quan

dopr

evis

ta)

ex-a

nte

Ava

liaçã

o

(qua

ndo

prev

ista

)

on-g

oin

g

Ava

liaçã

oex-p

ost

(48) Plano de formação

A montante da elaboração do plano de formação,podem ser colocadas questões que visam garantir aqualidade do mesmo, tais como:

Que tipo de resposta formativa deve ser dada aoconjunto de necessidades de formação identificado?(analisar/estabelecer política formativa)As razões que justificam as necessidades apontadassão suficientemente conhecidas?Os objectivos pretendidos para o curto, médio elongo prazos são suficientemente conhecidos?Que necessidades de formação devem serprioritariamente resolvidas?Os indivíduos a implicar no processo formativo fo-ram suficientemente sensibilizados para a neces-sidade de provocar a mudança pretendida?A organização dispõe de meios (humanos, materiaise financeiros) suficientes para a resolução dessasnecessidades?Aquando da adjudicação da concepção e da execu-ção do plano formativo a uma entidade externa, sãodevidamente especificados, no âmbito do respe-ctivo caderno de encargos, os objectivos de apren-dizagem (e finais, na óptica da organização) a atingir?Foram identificados os indivíduos que, para além dosformandos, devem ser implicados no processo?Foram claramente identificadas as responsabilidadesdos mesmos?Os princípios da política formativa são claros? (Apostana formação interna? Aposta na formação qualifi-cante, de actualização e /ou reconversão...?)Que intervenção/participação é esperada por partedos parceiros sociais?(...)

É um documento cuja elaboração é feita normal-mente pelo responsável da formação da empre-sa/instituição e contempla, regra geral, os seguintesaspectos:

a política formativa a seguir;a caracterização do ponto de partida (fonte de infor-

mação: diagnóstico de necessidades de formação);a identificação do público-alvo a abranger;a identificação dos resultados a obter, ou seja, dascapacidades/competências a desenvolver/mobilizarpelos potenciais formandos após a formação;especificação de prioridades a seguir;as estratégias de envolvimento/preparação de acto-res a implicar no processo (formandos, respectivaschefias, formadores, monitores...);a identificação dos recursos humanos, materiais efinanceiros a afectar;as estratégias a seguir ao nível da selecção e elabo-ração dos suportes didáctico-pedagógicos;as estratégias a seguir aquando da execução dasacções, designadamente as que contribuam parauma melhor adequação da intervenção formativa àsespecificidades do público a abranger;as estratégias a seguir ao nível do acompanhamentoe controlo de execução do plano de formação;as estratégias a seguir no âmbito da verificação eavaliação de resultados alcançados com a formação;identificação dos responsáveis pela gestão, organi-zação e operacionalização do plano;a definição de eventuais planos de contingência

Recomenda-se que as questões centrais de avaliaçãosejam colocadas a montante da realização da forma-ção. Implica uma estreita articulação com os bene-ficiários (directos e indirectos) da formação. Podem,todavia, surgir outras no decurso e no final da imple-mentação da mesma, de acordo com os interessesmanifestados por parte dos seus actores mais dire-ctamente implicados no processo formativo.

Sugere-se ainda que sejam equacionadas antes dequalquer decisão acerca do tipo de métodos e técni-cas de avaliação a aplicar.

As questões de avaliação podem agrupar-se de acor-do com aspectos específicos a observar, designa-damente:

(49) Questões de avaliação

Pág 095

inofor


(utilidade) da intervenção formativa propriamentedita.

Remete para uma análise dos resultados dodiagnóstico de necessidades de formação, bem comocaracterísticas do contexto no qual se pretende vira intervir (ver definição de avaliação )

Questões relacionadas com a fundamentação

ex-ante

Que tipo de situações-problema estão na base da proposta formativa?Quais as características do público-alvo a abranger?Quais as respectivas necessidades?Que outras propostas (de natureza não formativa)foram equacionadas por forma a resolver as situações-problemasidentificadas?...

Remete para a fase de elaboração e adequaçãode conteúdos programáticos, definição de objectivospedagógicos, elaboração/adequação de recursosdidáctico-pedagógicos....

Questões relacionadas com a concepção

da intervenção formativa.Qual o perfil de entrada do formando?Que tipo de competências deverão ser adquiridas/desenvolvidas?Qual o momento oportuno para o desenvolvimento dessascompetências?Que tipo de proposta formativa poderá ajustar-se às necessidadesa colmatar?...

Remete para a análise das condições a garantira montante e ao longo da implementação da acção.Ex: fase da selecção e preparação dos agentesa mobilizar para a realização da formação:formadores, monitores, tutores.... mobilizaçãode recursos materiais adequados, etc. Trata, regrageral, das questões relacionadas com uma avaliaçãoque incide sobre o processo formativo.

Questões relacionadas

com o desenvolvimento/execução da formação.

Foram reunidas as condições necessárias à realização da formaçãopretendida?Que perfil de formador/monitor/tutor... se afigura adequadopara a consecução dos objectivos pedagógicos propostos?Em que medida os objectivos de aprendizagem estão a serou foram alcançados?O desempenho do formador corresponde ao desejado?...

Remete para uma análise que incide sobreos objectivos de aprendizagem e, eventualmente,finais (perspectiva da organização), assim como,identificação de respectivos critérios e indicadoresde avaliação.

Questões relacionadas com os resultados finais

a obter ( ).outcomesForam verificados os impactes desejados (ao nível do desempenhodo indivíduo, da organização e/ou da comunidade no qual aquelesse inserem)?Foram detectados impactes não previstos?....

Remete para a realização de análises custo-benefícioa montante e a jusante da realização da formação.

Questões relacionadas com as análises

custo-benefício.

Os benefícios (valor acrescentado previsto) do programa formativojustificam os investimentos efectuados?Ou “o desenvolvimento de uma solução formativa acarreta menoscustos quando comparada com outras propostas de intervençãodisponíveis”?

Ou, ainda, quando posicionados no pós formação:

“Os recursos materiais foram suficientemente optimizados?”“Os “resultados líquidos” do programa (ver definição de ROIe Análise Custo-Benefício) justificam os investimentos efectuados?...

(50) Recomendações

Quando elaboradas “à pressa” podem pôr em causaas actividades de avaliação anteriormente desen-volvidas, pelo que deverá ser dedicado tempo sufici-ente para a sua feitura.Por forma a serem úteis, deverão chegar junto dosseus destinatários em tempo oportuno, conside-rando a respectiva necessidade de tomada de deci-são.

Por forma a garantir a utilidade e consequente apro-priação das recomendações elaboradas, sugere-seque sejam realizadas as seguintes actividades (basea-do em Patton 1996):

Negociar, com os diversos centros de decisão, anatureza e o conteúdo de um relatório final.Elaborar as recomendações com base nas infor-mações que decorreram da análise de dados recolhi-dos no terreno.Destacar, de entre o conjunto de recomendações aapresentar, as recomendações relativas a assuntoscentrais.Considerar as preferências dos seus potenciais utili-zadores. Pode ser solicitada pelos mesmos a apre-sentação de várias alternativas de acção. Neste caso,o avaliador poderá indicar vantagens e desvantagensrelativas a cada uma das propostas de acção, deixan-do o respectivo cliente decidir acerca da acção maisadequada.Identificar (sempre que possível) os custos e bene-fícios implicados na execução de alguma recomen-dação efectuada, bem como eventuais custos decor-rentes da não execução das mesmas.Elaborar recomendações que estejam relacionadascom o campo de intervenção dos respectivos utiliza-dores. Importa evitar que os mesmos recebam re-comendações sobre as quais não vão poder actu-ar/decidir.

Elaborar recomendações claras e precisas. Implicaque as mensagens sejam suficientemente explícitaspor forma a serem compreendidas numa primeiraleitura pelos respectivos utilizadores.Identificar a forma mais adequada para a apresen-tação das recomendações. Implica aferir, por exem-plo, as implicações políticas associadas a cada umadas recomendações efectuadas e eventuais reacçõesdos respectivos utilizadores. O envolvimento dosinteressados nos assuntos mais problemáticos, aolongo da respectiva análise, pode atenuar eventuaisreacções aquando da apresentação dos relatóriosfinais de avaliação.Dedicar tempo suficiente para a elaboração dasrecomendações. Facilita uma maior reflexão acercados resultados obtidos, bem como a realização deeventuais reuniões com os seus potenciais utiliza-dores;Delinear estratégias que possibilitem a execução dasrecomendações efectuadas. Não raras vezes, sãorealizadas sessões de apresentação de resultados,elaborados sumários executivos dirigidos a cada umdos centros de decisão em causa, entre outros. Éaconselhável que, sempre que possível, o avaliadordemonstre, nesta fase, total disponibilidade paraefectuar eventuais follow-ups, após a operacio-nalização das medidas de acção propostas.

Num referencial devem constar todos os elementosque permitirão identificar as diferenças ou desviosrelativamente a eventuais indicadores de resultados aalcançar.

Na elaboração de um determinado referencialtorna-se essencial:

(51) Referencial de avaliação

Pág 097

inofor


validar as fontes de informação, assim como o tipo deinformação a utilizar;garantir, por parte dos vários actores implicados noprocesso, um grau de convergência adequado rela-tivamente a critérios e indicadores a utilizar;determinar os indicadores de avaliação a utilizar;

Em termos de resultados, deve permitir dar respostaàs seguintes questões (enumeram-se apenas as prin-cipais):

Que tipo de resultados se pretende obter com aintervenção de avaliação?Quais os elementos/objectos alvo de estudo signi-ficativos a considerar no processo de avaliação?Que referentes serão utilizados (por ex: que critériose indicadores de avaliação serão utilizados?)O que permite concluir que este ou aquele resultadoé “bom” ou “mau”?

Para avaliar torna-se, pois, imprescindível que seconheça bem o que se vai avaliar e que se utilizem,por exemplo, critérios e indicadores precisos. Estesdeverão ser claramente identificados no sistema dereferência a utilizar.

Aquando da comparação de resultados obtidos comdeterminada situação de partida, podem ser utiliza-dos referentes, tais como:

(53) Referente

Níveis de desempenho conseguidos em programasformativos anteriormente desenvolvidosResultados de uma amostra representativa dos pro-gramas desenvolvidos até à dataObjectivos previstos para o programa formativo emanáliseNíveis de desempenho já alcançados por cada umdos participantes (auto-referência)Padrões de desempenho estabelecidos por orga-nizações externas (ex: instituídos no contexto de au-ditoria externas)Resultados obtidos pela concorrênciaNíveis mínimos de actuação de cumprimento obri-gatório (ex: requisitos mínimos de sistemas de certifi-cação/acreditação...)Padrões/níveis de desempenho de referência (a al-cançar no curto, médio e/ou longo prazos)Resultados a alcançar, estabelecidos pelos váriosactores em presença(...)

A título de exemplo, apresenta-se uma estruturaçãode um relatório final, baseada nos trabalhos deWeiss, C.H., a saber:

(54) Relatório de avaliação

1.Sumário Executivo

2. Descrição do Planode Formação

3. Descrição da avaliação

Questões de avaliação abordadasBreve descrição do plano de formação (enfoque ao nível dos objectivos a alcançar)Principais conclusões da avaliação (apresentadas por nível de avaliação)

Descrição sumárias das “descobertas” de avaliação mais importantesRecomendações diferenciadas dirigidas a cada tipo de stakeholder envolvido

Estratégias para disseminação de resultados

Finalidades e objectivosPlano original de actividadesActividades (realmente) desenvolvidas durante o plano de formaçãoCaracterísticas do contexto no qual foi implementadoS envolvidos (directa ou indirectamente) no projecto formativoIndivíduos e/ou organizações interessados nos resultados da avaliação.

Questões-chave de avaliação

Condução da avaliaçãoElaboração do modelo de avaliaçãoPeríodo de tempo para respectiva aplicaçãoMétodos de recolha de dados (justificação de opções metodológicas)Métodos utilizados na análise da informação (resumo, em detalhe nos anexos)Papel do avaliadorPapel dos actores envolvidos no processo avaliativo

Resultados produzidosDescobertas mais relevantes (associadas às necessidades de informação dosrespectivos “stakeholders”)Limitações do estudo efectuado (identificação de eventuais dificuldades naconcretização dos objectivos da avaliação).ConclusõesInterpretação de resultados (formulação de juízos de valor)

Elaboração de recomendações

Enfoque nos aspectos a melhorar em futuros processos de avaliação.

Este ponto assume extrema importância, já que permite efectuar um reconhecimentoformal acerca da participação/envolvimento de todos aqueles que permitiram arealização da formação. Este aspecto é ainda mais importante no contexto deavaliações de natureza participativa.

Metodologia (desenvolvimento de aspectos técnicos).Grelhas de dadosTranscrições seleccionadas de material narrativoetc...

takeholders

5. Sugestões para avaliaçõesfuturas (opcional)

7. Anexos

6. Agradecimentos

Pág 099

inofor


Alguns dos factores críticos associados à apresen-tação de relatórios de avaliação são os seguintes:

Elaboração de sumários executivosApresentações suportadas em esquemas, gráficosilustrativos da realidade observada, que permita umafácil e rápida leitura dos resultados obtidosIdentificação de tendências/cenários futurosIdentificação de múltiplas estratégias de dissemina-ção de resultados, de acordo com a realidade decada um dosApresentação de recomendações que sejam fáceisde operacionalizarDiscurso construtivo e pedagógico

É importante e indispensável a elaboração de um oumais Sumários Executivos com as principais conclu-sões do trabalho de avaliação e recomendações aosrespectivos utilizadores. Sugere-se que seja estru-turado por forma a facilitar a eventual tomada dedecisões (ver definição de “recomendações”).

Existe um conjunto de factores críticos que podecontribuir para um maior ou menor uso dos resul-tados de uma avaliação, a saber:

A relevância da informação obtidaO nível de comunicação existente entre avaliadorese utilizadores dos resultadosA utilidade dos resultados no contexto da tomada dedecisão dos seus utilizadoresEnvolvimento e participação dos utilizadores no pro-cesso avaliativo

stakeholders

(55) Resultado da avaliação

(56) Sistema de gestão de informação

As vantagens decorrentes da concepção e imple-mentação de um sistema de gestão de informação(SGI), no domínio da formação, são, fundamental-mente, as seguintes:

Permite a auto-avaliação da estrutura responsávelpela realização das actividades formativasFacilita a monitorização da execução das actividadesde um plano de formação (em paticular as relativas àexecução do mesmo), disponibilizando informaçõesque permitem (entre outros): elaborar , em tempooportuno, relatórios acerca da satisfação dos clientesde uma intervenção formativa; elevar o grau departicipação dos actores implicados na formação;analisar determinados indicadores de actividade;identificar eventuais incidentes críticos; compararresultados de anteriores intervenções formativas;controlar de uma forma mais eficaz os custos doprograma, etc.Quando eficazmente concebido permite a gestãointegrada de um processo formativo(...)

A sua construção implica que sejam desenvolvidas asseguintes actividades:

Identificação das actividades, acerca das quais osistema deve produzir informaçõesIdentificação da natureza e do tipo de informaçãoconsideradas relevantesIdentificação dos momentos e métodos de recolhade dadosProdução de informação útil, do ponto de vista dosrespectivos utilizadoresDivulgação da informação útil junto das partes inte-ressadas

Sugere-se que estas actividades sejam realizadasquer por parte da entidade que realiza formaçãoquer por parte da entidade que se responsabilizapela integração dos respectivos colaboradores apósa realização da formação.

Um sistema de gestão de informação poderá, porum lado, apoiar uma entidade formadora no con-texto da implementação de um sistema específicoque garanta a qualidade das suas intervenções e, poroutro, quando concebido pela entidade beneficiáriada formação, tenderá a focalizar-se, sobretudo, nosresultados decorrentes da transferência de saberesadquiridos para os contextos reais de desempenho,assim como respectivos impactes, quer ao nível damelhoria da performance dos indivíduos quer darespectiva área funcional quer, ainda, da organizaçãono seu todo.

Destaque-se que, dos 9 apresentados,nem todos apresentam o mesmo nível de impor-tância para quem tem a responsabilidade de con-duzir a avaliação. Por exemplo, osidentificados em (8) e (9) serão apenas informadosdos resultados, não contribuindo, regra geral, para aavaliação em si mesma. Caberá, pois, ao avaliadoridentificar os -chave a mobilizar para oprocesso (aqueles que exercem maior influênciasobre o processo de avaliação propriamente dito).

No domínio da avaliação, a questão que permite aidentificação dos é a seguinte: a quempodem ser úteis os resultados de uma avaliação?

stakeholders

stakeholders

stakeholders

stakeholders

(57) Stakeholder

Trata-se de identificar todos os indivíduos e/ou en-tidades a quem serão devolvidos os resultados ava-liativos, por forma a suportar a respectiva tomada dedecisão com vista à melhoria do projecto formativoem curso e/ou de intervenções futuras.

Algumas das etapas a seguir quando conhecidos osenvolvidos num determinado projecto,

podem ser as seguintes:

Definir estratégias de envolvimento dos mesmos noprojecto formativo que se pretende realizar (um dosmomentos propícios para o fazer é a fase dodiagnóstico de necessidades de formação)Garantir o seu envolvimento durante a realização daformação (poderão dar “pistas” que conduzam aalterações no programa numa óptica de adequaçãopermanente do mesmo)Envolver os chave do processo nasfases da construção do referencial de avaliação, davalidação de dimensões a avaliar e da elaboração derelatórios finais de avaliação, designadamente aonível da validação dos resultados obtidos. Estavalidação é fundamental para garantir a utilidade daavaliação, isto é, para aumentar a probabilidade doseu uso no âmbito dos respectivos processos detomada de decisão. Para que este envolvimento sejareal, devem ser efectuadas (sempre que possível)reuniões com os mesmosEstabelecer canais de comunicação eficazes quefacilitem a eventual interacção entre os diferentes

Por forma a identificar claramente o tipo deenvolvido num projecto formativo, bem

como a natureza do seu envolvimento, sugere-seque seja utilizada a seguinte grelha:

stakeholders

stakeholders

stakeholders

stakeholder

Pág 101

inofor


Stakeholder envolvido

Questões de avaliaçãoque pretende

ver respondidas (relacionadas coma respectiva necessidade

de informação)

Grau de envolvimento /responsabilidades no processo

avaliativo

(58) Técnica de amostragem

Na amostragem dirigida, determinadas unidades sãoseleccionadas por razões várias em função dos inte-resses do avaliador.Os métodos aplicados com maior frequência são:

. Constituida emfunção da disponibilidade e acesibilidade dos respon-dentes.

. A amostra é constituída emfunção da opinião de uma ou mais pessoas, uma vezapresentando um bom conhecimento acerca dascaracterísticas da população em estudo.

. Consiste, numa primeirafase, em escolher, de modo aleatório, um conjuntode elementos de uma dada população e, numasegunda fase, escolher outros elementos adicionaispor indicação dos primeiros. Neste sentido, podeser considerada uma forma específica de amos-tragem intencional.

. Semelhante ao métodomulti-fásico, já que a realização de uma segundaamostragem só é decidida após a análise dos resul-tados obtidos na fase anterior. Aqui, os elementoscontinuam a ser intencionalmente escolhidos.

. Algo seme-

a amostragem por conveniência

amostragem intencional

a mostragem snowball

a amostragem sequencial

o método de amostragem por quotas

lhante à amostragem aleatória estratificada, traduz-seno seguinte: associa-se uma determinada quota acada estrato (grupos previamente seleccionados)que seja proporcional à sua representação na po-pulação e assegura-se que um número mínimo deelementos faça parte da amostra, para cada estratoespecificado. Pretende-se assim obter uma amostraque seja semelhante à população em certas cara-cterísticas pré-especificadas, ditas de característicasou variàveis de “controlo”.

Exemplo: se na população a estudar se encontram25 % de indivíduos do sexo masculino, na amostra aseleccionar deverão constar os mesmos 25% deindivíduos do sexo masculino, sendo neste caso adimensão da amostra a referência a considerar.

Numa amostragem por quotas, as proporções dosvários subgrupos na amostra reflectem a sua distri-buição dentro da população.

Na amostragem aleatória, o critério de selecção dasunidades é o do acaso.

Teoricamente, a amostragem aleatória é semprepreferível à intencional por questões relacionadascom a validade dos resultados da avaliação.

A amostragem aleatória (também designada poramostragem probabilística) é um procedimento quegarante que as unidades seleccionadas para avaliaçãosejam representativas da população de que foramextraídas. Não obstante ser considerado o métodomais caro, ganha em relação aos restantes, quanto àfiabilidade dos resultados obtidos. Os métodos maisfrequentemente utilizados são os seguintes:

. Cada elemento douniverso a estudar tem a mesma probalibidade deser seleccionado. Existem duas formas que permi-tem obter uma amostra deste tipo: a da lotaria e ados números aleatórios.

. Método também desig-nado por quasi-aleatório, uma vez que não per-miteque todos os elementos do universo em causa te-nham a mesma probalibilidade de ocorrência.Etapas:

a) Cálculo do rácio:

N(dimensão do universo/população)K=_______________________________

n(dimensão da amostra)

Caso se defina que k=2 (significa que a dimensão daamostra seria constituída por metade da dimensãodo universo em análise. Se K=20, então obteriamosuma amostra de apenas 5% desse universo.

b) Seleccionar de forma aleatória um númerono intervalo [1,k], que servirá como ponto departida bem como de primeiro elemento daamostra. O segundo elemento será identificadoao adicionar ao primeiro valor obtido o rácio K.Os restantes elementos da amostra resultampela adição sucessiva do mesmo rácio aos nú-meros que se vão precedendo.

Amostragem aleatória simples

Amostragem sistemática

Um exemplo da aplicação deste tipo de amostragemsão os inquéritos por telefone que visam determinarníveis de audiência de determinados programas te-levisivos.

. Obtém-se separando oselementos de uma população em grupos, mutu-amente exclusivos , denominados estratos, se-leccionando-se a partir destes uma amostra aleatóriasimples dentro de cada estrato. A aplicação destemétodo exige que se conheçam as características douniverso em análise. Apresenta resultados maiseficientes quando se tratam de amostras de pequenadimensão e claramente representativas.

. Aplicada em populaçõesque se encontram divididas em reduzidos númerosde grupos ou clusters, que apresentam uma dis-persão idêntica à população em análise. Numaprimeira fase são seleccionados aleatoriamentealguns grupos, incluindo-se posteriormente, na a-mostra, todos os elementos pertencentes aos gru-pos seleccionados.

. Semelhante ao métodoanterior anterior, no que se refere à respectivadefinição e etapas a desenvolver. Apenas se destaca ofacto do processo anteriormente descrito poder sermultiplicado, caso os grupos estejam subdivididosem subgrupos, etc... (recurso à “estrutura em ár-vore”).

. Distingue-se da anteriorpelo facto das amostragens efectuadas em momen-tos distintos incidirem sobre as mesmas unidadesamostrais. Ex: aplicação de um inquérito a umaamostra específica. Após o apuramento dos res-pectivos dados decide-se retirar da mesma amostrauma outra à qual será aplicado um segundo inquérito(este procedimento pode repetir-se de acordo comas necessidades de informação dos utilizadores dosrespectivos resultados).

Amostragem estratificada

Amostragem por clusters

Amostragem multi-etapas

Amostragem multifásica

35

35Significa que nenhum dos elementos da população pode estar simultaneamente presente em dois ou mais estratos.

Pág 103

inofor


Na prática da avaliação da formação, em particular aque incida sobre os efeitos da formação, surgemmuitos obstáculos ao recurso a uma amostragemaleatória, que incida sobre um conjunto de colabo-radores de uma empresa inseridos em planos deformação anuais ou pluri-anuais:

muitos dos ex-formandos podem ter saído en-tretanto da empresa em análise;as chefias directas desses ex-formandos podem terassumido outras funções ou transitado para umaoutra empresa;os mesmos ex-formandos e respectivas chefias di-rectas estão envolvidos em vários cursos/acções deformação, podendo vir a ser seleccionados mais doque uma vez para a avaliação da formação. Isto podelevantar problemas no que diz respeito ao incómodocausado às actividades produtivas da empresa, sendonecessário cruzar este factor com o da representati-vidade.os formadores, sobretudo quando externos, podemnão estar disponíveis para participar na avaliação.

Por forma a ultrapassar algumas destas questões,recomenda-se que sejam aferidas as características,quer dos formandos, quer dos contextos a elesassociados, aquando da fase da identificação das res-pectivas necessidades de formação. Algumas dessascaracterísticas poderão ser igualmente aferidas aolongo da realização da formação.

Permite optar pelo método mais adequado a aplicara determinada situação em estudo. Nem sempre osmétodos aparentemente mais eficazes são os maisadequadas a determinado contexto. Por exemplo:num contexto em que se denote alguma saturaçãorelativamente à aplicação de inquéritos por questio-

(59) Triangulação

nário, o avaliador pode optar pela escolha de outrastécnicas que reúnam maior aceitação.

Em contextos de claras restrições orçamentais, adiversificação de métodos e de técnicas gera sempremaiores custos, pelo que os benefícios resultantespoderão ser (aparentemente) insuficientes para jus-tificar o investimento. Nestes casos, o avaliador po-derá ajuizar da suficiência ou insuficiência da aplicaçãode um único método e demonstrar junto dos res-pectivos a utilidade do uso da trian-gulação (Implica responder a duas questões centrais:que tipo de decisões estão na base do pedido deavaliação? Que resultados serão necessários obterpara que essas decisões possam vir a ser tomadas?)

Uma questão relacionada com a validade de con-teúdo pode ser a seguinte: em que medida um ins-trumento de avaliação, que pretenda aferir se os ob-jectivos de aprendizagem foram efectivamentealcançados, produz informação relacionada com oobjectivo da avaliação pretendido?

Uma outra questão relacionada com a validade deum instrumento, pode ser a seguinte: o formando vaiser avaliado relativamente ao conjunto de saberesadquiridos/aperfeiçoados pela via da formação ou vaiser efectuada apenas uma a avaliação parcial (porexemplo, que incida apenas sobre os saberesrelacionais/sociais adquiridos)?. Esta questão éimportante, já que, não raras vezes, acontece seremaplicados instrumentos de avaliação , quenão incidem sobre as competências - chave desen-volvidas/adquiridas através da realização da for-mação, mas antes sobre aspectos generalistas depouca importância para os seus beneficiários (ex:formandos, chefias...) quando considerados osresultados da avaliação.

stakeholders

standard

(60) Validade dos instrumentos de avaliação

No contexto da avaliação da formação, uma preo-cupação frequente em relação à validade consisteem garantir, p.e., que um inquérito de nível 3(utilizando a terminologia de D. Kirkpatrick) consigamedir de facto as alterações nos comportamentoscausadas ou fortemente influenciadas pela formação.

Existem várias formas de abordar a questão davalidade de um instrumento. A ideal será sempreaquela que reúne maior consenso relativamente aotipo de medida a utilizar, o que implica uma aus-cultação junto dos actores envolvidos no processo.

Observações

04Parte»»»Sites e serviços

de apoio relacionadoscom o domínio da avaliação

A disponibilização de um conjunto de sites e serviçosde apoio à pesquisa de informação, no domínio daavaliação, constitui o objecto de análise da terceira eúltima parte deste primeiro caderno.

Num quadro no qual coexistem múltiplas abor-dagens avaliativas, e, por conseguinte, múltiplasaprendizagens e experiências, verifica-se uma, cadavez maior, possibilidade de desenvolvimento e aper-feiçoamento de intervenções de carácter avaliativo.

As particularidades e exigências dos contextos deaplicação da avaliação exigem, cada vez mais, aidentificação e aplicação de metodologias ajustadasàs necessidades de informação dos vários actores empresença. O responsável pela gestão e imple-

mentação de processos avaliativos poderá recorrer,actualmente, não só a bibliografia já existente, comotambém a outras experiências e aprendizagensdescritas por outras entidades com responsabi-lidades ao nível da execução da formação. Nesteúltimo caso, são de destacar os estudos de caso, osartigos, os estudos de avaliação, assim comoseminários, workshops dedicados à temática daavaliação, encontrados num conjunto de sites agoradivulgados neste caderno.

A divulgação desta informação faz apelo directo aodesenvolvimento de uma atitude proactiva, de auto-conhecimento, e por conseguinte, de auto-aprendizagem, das entidades que pretendemdesenvolver e/ ou aperfeiçoar as suas práticas deavaliação.

Sites e serviçosde apoio relacionados com o domínio da avaliação

Banco Mundial

Sociedade Americanapara o Desenvolvimento da FormaçãoASTD

European Comission

(http://www.worldbank.org ouhttp://www.obancomundial.org)

Disponibiliza um conjunto de informações/instru-mentos que permitem efectuar a monitorização daavaliação. Destaque para os estudos de avaliação emetodologias para monitorização da avaliação, bemcomo para os links associados à temática da avaliação.Em http://www.worldbank.org/evaluation/toolkit//toolkits and handbooks/ encontrará alguns instru-mentos com interesse.

(http://www.astd.org/)

Permite o acesso a Fóruns de Discussão associados àtemática da formação (Learning communities). Sãoabertos e gratuitos a todos os profissionais quepretendam obter ou trocar informações. Destaquepara os estudos relacionados com a temática daavaliação avaliação, abordagem ROI e “PerformanceImprovement”.É ainda possível obter uma versão electrónica daParte II de "Training Outcomes Evaluation, 1999Measurement Kit"em http://www.raosoft.com/downloads/astd.html/

(http://europa.eu.int/comm/)

Permite o acesso a documentos relacionados com atemática da avaliação da formação, designadamentealguns guias de apoio à aplicação de metodologias deavaliação. São de destacar os guias disponibilizadosnos quais podem ser encontradas algumas sugestõesque visam apoiar o utilizador na obtenção de melho-res resultados aquando da aplicação de modelos ava-liativos.

Pág 109

inofor

Destaque para:http://europa.eu.int/comm/budget/evaluation/keydocuments ehttp://europa.eu.int/comm/europeaid/evaluation/methods/guidelines_en.pdf

(http://www.ncver.edu.au )

Permite aceder a informações subordinadas ao temada educação/formação profissional. Permite quesejam efectuados downloads de textos/estudosintegrais relacionados com a temática da avaliação,dos quais se destacam os estudos dedicados àaplicação da metodologia Return on Investment(Retorno do Investimento - ROI).

(http://www.wmich.edu/evalctr/checklists/ )

Permite o acesso a um conjunto deelaboradas por um conjunto de especialistas emmatéria de avaliação, tais como Daniel Stufflebeam,Michael Scriven , Michael Patton, entre outros, quevisam apoiar o utilizador ao nível da aplicação econtrolo de qualidade das respectivas metodologiasde avaliação. Estes instrumentos podem serparticularmente úteis aquando da institucionalizaçãode procedimetos de auditoria interna no quadro dodesenvolvimento de projectos de formação.

checklists

NCVER - National Centrefor Vocational Education Research, Ltd.

The EvaluationCenter Western Michigan University


Produtose serviços disponibilizados pelo INOFOR36

FORMEI - Base de Dados de Formação, Educa-ção, Emprego e Inovação

EBSCO online

. Trata-se de uma base dedados que permite efectuar pesquisas relativas aodomínio supracitado, por palavra(s) em: Título,Autor, Colecção, Assunto, Resumo e ClassificaçãoCRC, Palavras-chave (todos os campos) e ISBN ouISSN. Permite ainda efectuar outras pesquisas deacordo com as necessidades dos respectivosutilizadores. Esta base de dados pode ser consultadaa partir de qualquer um dos terminais disponibiliza-dos ao público no espaço do CRC, ou remotamentea partir da internet ( ). Esta base dedados contém mais de 5000 registos bibliográficos,relativos a livros, periódicos, audiovisuais, documen-tos electrónicos e recursos técnico - pedagógicos. Asreferências correspondentes a documentos electró-nicos de acesso remoto permitem a entrada imedia-ta nos respectivos textos integrais.

. Serviço que disponibiliza o acesso atextos integrais de artigos científicos publicados emrevistas e jornais electrónicos, através de diversasformas de pesquisa, bem como o acesso por título auma série de publicações periódicas em linha assi-nados pelo INOFOR. Destaque para os jornaiselectrónicos dedicados à temática da avaliação.

www.inofor.pt

Emerald

Proquest

OCDE

. Base de dados que permite o acesso ime-diato ao texto integral dos artigos da MCB Publishingpublicados desde 1994, nas áreas da Gestão, Admi-nistração, Produção, Qualidade, Ciências Docu-mentais e Engenharia. Destaque para os artigos rela-tivos ao diagnóstico de necessidades de formação eavaliação da formação.

. Recurso integrado a bases de dados decolecções electrónicas que contém milhões deartigos publicados em jornais e revistas científicas.Através do INOFOR pode aceder às bases de dadosABI/Inform Research (orientada para a Economia,Gestão e Gestão do Conhecimento em contextosorganizacionais), Career and Technical Education(vocacionada para a Formação Profissional, Avaliaçãodo Desempenho e Desenvolvimento da Carreira) eEducation Complete (nas áreas do Ensino, Educaçãoe Formação). Através deste serviço podem serconsultadas cerca de 2500 publicações, entre asquais se destacam as especilizadas no domínio daavaliação.

. Biblioteca em linha da Organização para aCooperação e Desenvolvimento Económico, comum motor de busca que permite o acesso ao textointegral de monografias, periódicos e bases de dadosde estatísticas. Recomendam-se igualmente as refe-rências relativas à área da avaliação.

36Os produtos e serviços mencionados serão consultados ou requisitados a partir de terminais próprios (CRC do Inofor erestantes CRC) mediante a utilização de uma password específica, com excepção da base de dados FORMEI. Podem aindaser solicitadas, junto dos centros referidos, pesquisas relativas a temáticas específicas. Para tal, basta enviar um email como respectivo pedido de informação para [email protected] ou [email protected].

Pág 111

inofor


Outros Sites a consultar

Observações

Referências bibliográficas

ABREU, J.M.B. (1996) -

Ed. rev. Lisboa: Faculdade dePsicologia e de Ciências da Educação daUniversidade de Lisboa.

AIRASIAN, W. P. (2001) -. Fourth ed. Boston :

McGraw-Hill

ANDERSON, G.(et al.) (1996) -. London: Kogan Page

BARBIER, J.M. (1990) - .Porto: Afrontamento, D.L. 1990(*)

BARTEL, A. P. (2000) - “Measuring the employer'sreturn on investments in training: evidence fromthe literature”. In NCVER (2001) -

.[ EmLinha] . Disponível na WWW:<URL:http://www.ncver.edu.au/research/core//Cp0007aag.pdf>

BARTRAM, S. ; GIBSON, B. ( 1999) -

. Amherst: HRD Press.

BASARAB, D. J. ; ROOT, D. K. (1992) -

. Boston:Kluwer Academic Publishers.

BEE, F. ; BEE, R. (1994) -. London: Institute of personnel and

management.

Construção de umreferencial de avaliação de qualidade da formaçãoprofissional no IEFP.

Classroom assessmentconcepts & applications

Learningcontracts : a practical guide

A avaliação em formação

Research at aglance, returns on investment in training

Evaluationtraining: a resource for measuring the results andimpact of training on people, departments andorganizations

TheTraining evaluation process: a practical approachto evaluating corporate training programs

Training needs analysisand evaluation

Pág 113

inofor

BROAD M., L, ed.lit. (1997) -

. Alexandria, Virginia: ASTD.

BELLIER, S. (1999) -. Paris: Editions Liaisons (*)

BROAD M., L. , ed. lit. (1997) -

. Alexandria, Virginia:ASTD.

CAETANO, A. (1996) -. Lisboa: Editora

RH.

CAPELA, Carlos (et al.) (2000) -

. Lisboa: Inofor.

CAPUCHA, L. (et al.) (1996) - Metodologias deavaliação: o estado da arte em Portugal.

, nº 22, 1996, pp. 9-27.Edição especial sobre Metodologias de Avaliação.Lisboa: CIES/ISCTE

CARNEIRO, R. ( 2000) 20 anos para vencer 20décadas de atraso educativo. In Carneiro ( et al.)(2001) -

. Lisboa: Ministério da Educação. TomoI.

FIGARI, G. (1996) - .Porto Editora

FISHER, S. G.(1996) -

. Amherst:HRD Press

Transfering learningto the workplace: seventeen case studies from thereal world of training

Ingénierie en formationd'adultes

Transferinglearning to the workplace: seventeen case studiesfrom the real world of training

Avaliação de desempenho:metáforas, conceitos e práticas

Métodos einstrumentos para a antecipação de novascompetências e para a adaptação dos sistemas deformação profissional: contributo para o relatóriodo Cedefop

Sociologiaproblemas e práticas

O futuro da educação em Portugal,tendências e oportunidades: um estudo de reflexãoprospectiva

Avaliar: que referencial?

Establishing the value oftraining: practical tools and techniques forcalculating training costs and returns


GARLICK, P; DES KEMP (2001) -. Comunicação

apresentada na conferência “Best Practice TrainingEvaluation (2001). Melbourne (Austrália), 2001.

GEERTSHUIS, S. (et al.) (2002) -. Disponível na WWW:<URL:

http://www.emerald-library.com>

GOMES, J. (1999) -

. Lisboa: Inofor.

GUBA, E., LINCOLN, Y. (1989) -. Newbury Park: CA: Sage.

GUPTA, K. (1999) -. San-Francisco: Jossey-Bass.

HASHIM, J. (2001) -. Disponível na

WWW:<URL: http://www.emerald-library.com>

KIRKPATRICK, D. (1998) -

. Alexandria: ASTD (*)

KIRKPATRICK, D.L. (1998 - A) -. San

Francisco: Berrett-Koehler (*)

KNOWLES, M.S. (1995) -

.Alexandria, Virginia: ASTD.

LE BOTERF, G. (1997) -. Paris: Les Éditions

d'Organisation (*)

Return oninvestment (ROI), training model

Evaluation ofworkplace learning

Contributos para umacartografia das competências transversais:construção do real ou mito?

FourthGeneration Evaluation

A practical guide to needsassessment

Training evaluation : clients'roles

Another look atevaluating training programs: fifty articles fromtraining & development and technical trainingmagazines cover the essentials of evaluation andreturn-on-investment

Evaluatingtraining programs: the four levels, 2 ed

Designs for adultlearning: practical resources, exercises and courseoulines from the father of adult learning

De la competence à lanavigation professionelle

nd

LE BOTERF, G. (1999) -. Paris: Les Éditions d´Organisation.

MAGER, R. F. (1997) -

. 3 ed. Atlanta: Center forEffective Performance.

MCCLELLAND, S. B. (1995) -.

Westport: Quorum.

MEIGNANT, A. (1999) - .Lisboa: Publicações D.Quixote (*)

MOY, J. ; MAC DONALD, R. (2000) -. [ Em Linha]

.Disponível na WWW:<URL:http://www.ncver.edu.au/research/proj/nr8012.pdf>

PATTON , M. (1997) -. 3rd ed.

Thousand Oaks : Sage. (*)

PEREZ, C. (2001) -.

Paris : La documentation Française.

PERRENOUD, P. (1999) -. Porto Alegre:

Artmed.

PETERSON, R. (1998) -

. 2 ed. London: Kongan Page.

PHILLIPS, J. J (1997) -. 3 ed.

Houston: Gulf. (*)

L'ingénierie descompetences

Preparing instructionalobjectives: a critical tool in the development ofeffective instruction

Organizationalneeds assessment: design, facilitation and analysis

A gestão da formação

Analysingenterprise returns on training

Utilization-focusedevaluation, the new century text

Évaluer les programmesd'emploi et de formation: l'experience américaine

Avaliação, da excelênciaà regulação das aprendizagens”

Training needsassessment: meeting the training needs for qualityperformance

Handbook of trainingevaluation and measurement methods

rd

nd

rd

PHILLIPS, J. J. (1997-A) -

. Improving Human Performance Series.Houston: Gulf Publishing (*)

PHILLIPS, P. P. (2002) - .Atlanta, Georgia: CEP Press. (*)

PORTUGAL. Comissão Interministerial para oEmprego (2001) -

,. Lisboa : MESS, ICT.

PORTUGAL. INSTITUTO PARA A INOVAÇÃONA FORMAÇÃO (2002) - Acreditação: Guia deApoio ao Utilizador do Sistema de Acreditação.Lisboa: Inofor.

PORTUGAL. INSTITUTO PORTUGUÊS DAQUALIDADE (2001) ed. Lit. -

. Elab. CT 80 (APQ).Caparica: IPQ.

REIS, E. (et al.) (2001) - .Lisboa: Sílabo. Vol. 2.

ROBISON, D.G. ; ROBISON J.C, (1989) -

. San-Francisco:Jossey-Bass

RODRIGUES, M.J. (1993) -

. Lisboa: Dinâmia

ROSSI, P. (et al.)(1999) -. 6th ed. Thousands Oaks : Sage. (*)

Return On Investment intraining and performance improvement programsa step-by-step manual for calculating the financialreturn

The Bottomline on ROI

Terminologia de formaçãoprofissional

NP EN ISO9000.2000: sistemas de gestão da qualidade:fundamentos e vocabulário

Estatística aplicada

Training for impact: how to link training to businessneeds and measure the results

Avaliação eaprendizagem social : uma proposta demetodologia

Evaluation : a systematicapproach

Pág 115

inofor

SALGADO, C.M.T. (1997) -. Lisboa: Texto.

SCRIVEN, M. ( 1991) - . 4thed. Newbury Park: Sage.

SIMPSON, P. ; LYDDON, T. (1995) -

. Disponívelna WWW:<URL:http://www.emeraldlibrary.com>

SOYER, J. (1999) - . 2ª edição.Paris: Éditions d'Organisation.

SULEMAN, F. (et al.) (2002) -, 2ª

ed. Lisboa: Inofor.

TILLING, M. ; NASH, P. (2000) -

. Aldershot: Gower.

UNIÃO EUROPEIA. COMISSÃO (2000),

. [ Em Linha].Disponível na WWW: <URL:http://europa.eu.int/comm/education/life//memopt.pdf>

VALADARES, J. ; GRAÇA, M. (1998) -. Lisboa: Plátano (*)

VALENTE, A. C. (1999) -.

Lisboa: Inofor.

Avaliação daformação: interface escola/empresa

Evaluation thesaurus

Differentroles, different views: exploring the range ofstakeholder perceptions on an in-companymanagement development programme

Fonction formation

Manualmetodológico : estudos sectoriais prospectivos

Standards-basedtraining and development: self-assessment,organisation and trainer development strategiesand tools

“Memorando sobre aprendizagem ao longo da vida:documento de trabalho dos serviços da Comissãodas Comunidades Europeias

Avaliandopara melhorar a aprendizagem

Perfis e Competênciasestratégicas: uma perspectiva intersectorial


VAN DEN BERGHE, W. (1998) -

. Luxembourg:Office for Official Publications of the EuropeanCommunities.

WALL, A, ; OTTEWILL, R. (2000) -

Indicators inperspective: the use of quality indicators invocational education and training

Deliveringcontextual material on a vocational business and

public sector programme

Evaluation

The 2000ASTD - Training and performance yearbook

. Disponível naWWW:<URL: http://www.emerald-library.com>

WEISS, C.H. (1997) - . Prentice Hall.

WOODS, J. ; CORTADA, J. (2000) -. New

York: Mcgraw-Hill.

(* )Referências bibliográficas aconselhadas.

R. Soeiro Pereira Gomes, nº 7

Edifício América, 2º, sala 29

1600 - 196 LISBOA

Tel: +351 217 946 200

Fax: 7 946 201

[email protected]

www.inofor.pt

+351 21

Ministério da SegurançaSocial e doTrabalho

Em que medida poderá a avaliação daformação ser encarada como umverdadeiro instrumento ao serviço de umprocesso de aprendizagem? Esta apresenta-se como uma das questões centrais nocaderno que agora se apresenta.Encarar a avaliação da formação não sócomo um processo que nos permite aferireventuais impactes decorrentes deintervenções formativas, mas também comoum “espaço” que potencie a reflexão e, porconseguinte, aprendizagens que possamdecorrer do desenvolvimento de práticasavaliativas, traduz-se numa ideia cada vezmais veiculada por aqueles que, suportadosno conhecimento e experiências járealizadas no domínio da avaliação daformação, investem nestas matérias. Este, épois, um dos desafios que actualmente secoloca a muitas das entidades/indivíduos queintervêm na formação profissional: o de“saber comunicar de uma “forma diferente”num contexto de natureza avaliativa”.

Instituto para a inovaçãona formação

inofor

Documents

Colec..o Avalia..o n. 01 - elearning.iefp.pt · 007 009 013 019 051 105 Índice Prefácio Introdução PARTE 1 Apresentação do caderno Parte 2 Terminologia utilizada no contexto