CURSO DE FORMAÇÃO EM AVALIAÇÃO DA EXTENSÃO UNIVERSITÁRIA

Disciplina 5

Sistema de Monitoramento e Avaliação para Extensão

Edite da Penha Cunha – UFMG

Marilia Barcellos Guimarães – UFMG

Agosto/2013

Roteiro da aula

• Gestão da Extensão Universitária • Monitoramento e avaliação • Indicadores • Níveis e dimensões da avaliação da Extensão Universitária • Sistema de monitoramento e avaliação • Sistema de Informação • Desafios para a estruturação de um Sistema de

Monitoramento e Avaliação • Atividade em grupo • A experiência da UFMG na implementação de um Sistema de

Monitoramento e Avaliação • Atividade em grupo

Sistema de Monitoramento e Avaliação para Extensão

Implementação

Planejamento

Monitoramento

e avaliação

Gestão da Política de Extensão Universitária

Política Nacional de Extensão – FORPROEX, 2012

• Conceito de extensão universitária

• Objetivos

• Diretrizes para as ações de extensão

• Princípios

• Financiamento

• Avaliação

Referencial político-conceitual

Monitoramento e Avaliação (Shapiro, s.d., p.3)

Monitoramento é uma coleta sistemática e a análise da informação de como um projeto ou organização progride. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento identificar quando as coisas não estão andando corretamente. • Segundo Vaitsman (2006) comporta dois processos distintos e

interligados: • acompanhamento dos programas – atividade interna - feito a

distância; • checagens locais -tipo de pesquisa rápida, qualitativa - presencial

Avaliação é a comparação do real impacto do projeto em relação ao planejamento. Averigua o que foi formulado para ser realizado com o que foi feito e como isso foi alcançado Tanto o monitoramento como a avaliação são realizados por meio de indicadores

Indicadores

São valores / sinais /fatores / variáveis que possibilitam medir alguns aspectos da realidade, as mudanças, o progresso ou os resultados e produtos de uma atividade ou processo, num determinado período de tempo. Os indicadores permitem monitorar e/ou avaliar se os objetivos e as metas estabelecidos estão ou não sendo alcançados, focalizando a eficiência, eficácia e efetividade/impacto

Institucional

• Política de Gestão • Infraestrutura • Relação Universidade - sociedade • Plano Acadêmico • Produção Acadêmica Ações de extensão

• Interação Dialógica • Interdisciplinaridade e Interprofissionalidade • Indissociabilidade Ensino – Pesquisa – Extensão • Impacto na Formação do Estudante • Impacto e Transformação Social A partir desses níveis de monitoramento e avaliação e das dimensões que os compõem, deverão ser definidos indicadores

Níveis e dimensões da avaliação da Extensão Universitária

(do grego sietemiun significa "combinar", "ajustar", "formar um conjunto")

Conceito presente em nossas vidas: tudo é ou faz parte de um sistema WIKIPÉDIA - um conjunto de elementos interconectados, de modo a formar um todo organizado Aurélio – “Combinação de partes que, coordenadas, concorrem para certo fim.”

Sistema

Composto por dois subsistemas relacionados e independentes entre si e organizados com base em distintos procedimentos, metodologias e instrumentos • Subsistema de Monitoramento - processo contínuo de acompanhamento

do desempenho dos programas em relação às metas, em que os resultados podem ser medidos por meio de indicadores produzidos regularmente com base em diferentes fontes de dados

• Subsistema de Avaliação - tem por objeto a análise dos produtos e dos resultados, referentes aos programas e ações desenvolvidos, em relação aos objetivos e metas estabelecidos

A avaliação e o monitoramento são elementos relacionados, porém distintos, que se complementam na gestão de uma política e seus programas/projetos. O monitoramento é importante, mas suas informações não são suficientes para se obter uma avaliação. A avaliação julga o que acontece e o monitoramento acompanha o que acontece.

Sistema de Monitoramento e Avaliação (VAITSMAN, 2006 - p.27)

Sistema de Monitoramento e Avaliação da Extensão

O que é Um conjunto organizado de indicadores e instrumentos, para o acompanhamento e avaliação da extensão e das suas ações, que devem dialogar entre si e com a gestão. Importância para a extensão • Suporte para a gestão:

• Viabiliza o acompanhamento da efetividade do planejamento – correções de rumo

• Contribui para a apreensão e análise da realidade da Extensão Universitária e subsidia a tomada de decisões

• Contribui para ajustar as ações de extensão aos objetivos da Política de Extensão

É a expressão utilizada para descrever sistema, seja ele automatizado (que pode ser denominado como Sistema de Informação Computadorizado) ou manual, que abrange pessoas, máquinas, e/ou métodos organizados para coletar, processar, transmitir e disseminar dados que representam informação para o usuário e/ou cliente.

Fonte: wikipédia

Sistema de Informação

Constitue-se como ferramenta utilizada para a melhoria dos processos, aperfeiçoamento dos produtos e serviços prestados e, também, no apoio à tomada de decisão

Sistema de Informação

“Um sistema de informação possui três componentes ou funções básicas de interação que transformam dados em informação útil” (O´Brien, 2004) • Entrada consiste no registro das ações no sistema (usuário produtor de informação) • Processamento envolve processos de transformação que convertem insumo/dados (entrada) em produto/informação (processo de organização, analise e manipulação dos dados) • Saída consiste na transferência de elementos produzidos por um processo de transformação até o seu destino final na forma de relatórios impressos, apresentações gráficas, dados a serem enviados para outros sistemas de informação, entre outros

Auxilia na gestão da extensão ao permitir

• o registro das ações e disponibilização de dados • a identificação e o acompanhamento das ações • a sistematização dos dados para construção de indicadores • a elaboração de relatórios • a socialização das informações da extensão Seus dados constituem uma fonte para a estruturação do Sistema de Monitoramento e Avaliação

Sistema de Informação

• Definição de um referencial conceitual comum sobre monitoramento e avaliação • Institucionalização da função de monitoramento e avaliação • Estabelecimento de uma política de informação que institua regras e padrões em relação aos sistemas de informações, às tecnologias utilizadas, à integração entre bases de dados e à infraestrutura • Definição e produção de indicadores • Desenvolvimento de instrumentos para o levantamento de informações • Estruturação de uma base de dados com variáveis selecionadas para a construção dos indicadores • Desenvolvimento de ferramentas informacionais para o tratamento da informação

Desafios para a estruturação de um Sistema de Monitoramento e Avaliação da Extensão

Universitária

• Construção de um sistema para a extensão em parceria com instituições de caráter nacional, como o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), do MEC e articulado com os sistemas de monitoramento e avaliação já existentes; por exemplo, o Censo da Educação Superior • Incorporação da Extensão Universitária no processo de avaliação da Educação Superior, com definição de indicadores, metodologias e instrumentos, e apoio à implantação de sistemas de informação e gestão informatizados no conjunto das instituições • Atualização dos sistemas de informação e de avaliação da Extensão Universitária vigentes • Superação da prática de registro de dados isolados

Desafios para a estruturação de um Sistema de Monitoramento e Avaliação da Extensão

Universitária (FORPROEX, 2012)

Atividade 1

Na sua instituição existe sistema de monitoramento e avaliação da extensão?

Se sim, como está organizado? - O que é monitorado/avaliado - Componentes: processos, instrumentos, sistema(s) de informação - Estrutura e sujeitos envolvidos - Periodicidade - Indicadores - Diálogo com a gestão da extensão

Se não existe, indique porque ainda não foi criado e se há perspectiva de criação.

A experiência da UFMG

Implementação de um Sistema de Monitoramento e Avaliação

Extensão da UFMG

• Estrutura de gestão • Proposição e aprovação de ações de extensão • Número de ações em 2012 • Financiamento

• Sistema on-line de registro das ações de extensão – Sistema de Informação de Extensão (SIEX/UFMG)

• Questionário on-line de avaliação , pelo bolsista, dos programas e projetos contemplados com bolsas de extensão

• Trabalhos de extensão apresentados por alunos durante Encontro Anual de Extensão

• Instrumentos de avaliação institucional da extensão - FORPROEX

• Relatórios SIGPROG dos programas/projetos contemplados pelo PROEXT

Instrumentos e processos

• Procedimentos de análise de mérito das ações de extensão pelos colegiados das unidades de origem dos coordenadores dos programas/projetos • Sistema de bolsas de extensão

• submissão de propostas - editais de bolsas • processo de seleção – requisitos para análise da proposta e de mérito • registro e controle dos bolsistas • avaliação da ação • controle de pagamento dos bolsistas

Instrumentos e processos

Finalidade: propiciar suporte à gestão da extensão na UFMG

Objetivo: auxiliar a PROEX e os CENEX a gerir as atividades de extensão desenvolvidas no âmbito da UFMG

Descrição: é um sistema de informação da Extensão e um sistema de cadastro e gerenciamento de dados que pode ser acessado on-line e permite o registro, o armazenamento e a disponibilização dos dados das ações

Sistema de Informação de Extensão (SIEX/UFMG)

Formato: concebido para diferentes usos e grupos de usuários: uma interface para docentes e técnico-administrativos registrarem suas ações de extensão; outra para visitante consultar essas ações , e outra para os CENEX e a PROEX aprovarem as ações Relatórios: para o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira MEC-INEP, para a Avaliação Institucional da UFMG, para a Pró-Reitoria de Planejamento da UFMG e para a Comissão Permanente de Pessoal Docente. Monitoramento PROEX – categorias, evolução Georeferenciamento

Sistema de Informação de Extensão (SIEX/UFMG)

Implantação de uma metodologia de avaliação da extensão para efeito de alocação de vagas docentes

• Extensão como processo formativo – alocação de vagas

considera a produtividade acadêmica em extensão, somada às atividades de docência (graduação e pós-graduação) e de pesquisa

• Avaliação alinhada às diretrizes de extensão nacionalmente

consolidadas • Busca induzir transformações na realidade da extensão da

UFMG: • Incentivar a expansão da atividade extensionista na UFMG • Incentivar uma crescente estruturação orgânica e a

articulação das atividades de extensão • Fomentar a qualificação das ações de extensão realizadas

pelos departamentos - observância das diretrizes de extensão

1 - Percentual de professores do departamento que se dedicam às ações de extensão

2 - Ações de extensão desenvolvidas pelo departamento - pontuadas de acordo com suas características e sua incidência nas diretrizes de extensão

Indicadores para alocação de vagas docentes

• Variáveis que qualificam as ações:

• Participação do aluno - indicador da diretriz impacto na formação do discente

• Caráter interdepartamental / interunidades - indicador da diretriz interdisciplinaridade

• Articulação/ vinculação a programas e/ou projetos - indicador da articulação de ações

• Produtos acadêmicos - indicador do impacto social

• Cursos - “equivalente aluno” (carga horária do curso X número de concluintes)

• Evento – período de realização

• Prestação de serviço – número de vezes ou período em que é realizada

Indicadores para alocação de vagas docentes

CAMPO FORMULÁRIO SIEX PROGRAMA PROJETO CURSO EVENTO PRESTAÇÃO

SERVIÇO

Status = Ativo ou Concluído X X X X X

Unidade X X X X X

Departamento X X X X X

Programa Vinculado X X X X

Projeto Vinculado X X X

Equipe

Coordenador da ação

Docentes de outros departamentos

e/ou unidades

Bolsista

Discente Não-Bolsista

X X X X X

Carga horária X

Realizações = data de início/término X

Execuções = data de início/término X

Resultados Específicos = Tipo de prestação

de serviços e o nº vezes X

Resultados – nº concluintes X

Produções - existência X X X X X

Fonte de dados: SIEX

Geração dos indicadores

Geração dos indicadores

Pesos por tipo de ação: • Programa = 3

• Projetos = 2

• Cursos = 1

• Eventos = 1

• Prestações de Serviços = 1

Pesos entre ações de mesmo tipo:

PESOS

Programa Projeto Curso Evento Prestação de Serviços

< 2 = 1,6

2 a 4 = 2,4

> = 5 = 3

Sem Vincu. = 1,5

Com Vincu. = 2

C * CH Dias Institucional Contratual

C * CH

até 500 = 0,4

de 501 a 1600 = 0,7

> 1601 = 1

1 a 2 =0,4

de 3 a 4 = 0,7

>= 5 = 1

até 3,99 = 0,4

de 4 a 7,99 = 0,7

>= 8 = 1

1 a 3 =0,4

de 4 a 10 = 0,7

>= 11 = 1

Tempo Nº

Desafios gestão do SIEX:

• Técnicos - usabilidade e aprimoramento do Sistema e construção de novos relatórios gerenciais

• Político-institucional - envolvimento e implicação

dos usuários para o registro das ações de extensão e a sua atualização, visando a padronização dos dados

Geração dos indicadores

Implementado processo de adequação do SIEX, de revisão dos registros das ações de extensão e de mobilização da comunidade acadêmica.

Criado o Curso de Aperfeiçoamento em Metodologias de Monitoramento e Avaliação da Extensão Universitária para formação dos profissionais envolvidos com a extensão na UFMG

Definido pesos e construído instrumento matemático

Geração dos indicadores

Comentários finais

• Vontade política institucional

• Sistema de monitoramento e avaliação – conjunto articulado de instrumentos

• Construção de sistema – processual

• Caráter contextual

• Indicadores

• Diálogo com a gestão

Atividade 2

Propor estratégias para a construção ou reorganização do Sistema de Monitoramento e Avaliação das ações de extensão a partir do contexto da sua IES, na perspectiva do seu diálogo com a gestão da Extensão: - Indicadores - Processos, instrumentos - Sistema(s) de informação - Estrutura e sujeitos envolvidos

LAUDON, Kenneth C.; LAUDON, Jane P. Sistemas de Informações Gerenciais: administrando a empresa digital. 5. ed. São Paulo: Prentice Hall, 2004. 562p O´BRIEN, James A. Sistemas de Informação e as decisões gerenciais na era da Internet. 2. ed. São Paulo. Editora Saraiva, 2004. 526p. Política Nacional de Extensão Universitária, FORPROEX, 2012 ROBBINS, S. P. (2000), Administração – Mudanças e Perspectivas. São Paulo: Saraiva. Cap. 5: Sistemas de Planejamento. SIEX/UFMG - Sistema de Informação da Extensão da Universidade ... https://sistemas.ufmg.br/siex/ SHAPIRO Janet. “Monitoramento e Avaliação” (Documento de Trabalho), (s/d) TERTO, Ana Luisa V. O processo de produção e sistematização de informação dos programas e projetos de extensão e o uso do sistema de informação da extensão da UFMG: um estudo a partir da perspectiva compreensiva. Texto qualificação de Dissertação Mestrado, ECI - UFMG, 2012 VAITSMAN, Jeni; RODRIGUES, Roberto Wagner S; PAES-SOUSA, Rômulo. (2006), O sistema de avaliação e monitoramento das políticas e programas sociais: a experiência do Ministério do Desenvolvimento Social e Combate à Fome do Brasil. Brasília, DF: Unesco

Referências