G e r e nci a e fe ct i va del Si s t ema G eneral d e Re ga l í a s a t r a vé s de l M o ni to r e o , E va lu a ció n y Ge sti ó n d e l Conocimiento Effective management of the General RoyaltiesSystem through Monitoring, Evaluation and KnowledgeManagement
Gerencia efectiva del Sistema General de Regalías
a través del Monitoreo, Evaluación y Gestión del
Conocimiento
Effective management of the General Royalties
System through Monitoring, Evaluation and Knowledge
Management
PREFACIO
Los siguientes reportes son producto de un intenso año
de investigación, seguimiento del
cliente, desarrollo de soluciones innovadoras y
trabajo colaborativo. En ellos describimos las
herramientas y enfoques utilizados por nuestro
equipo para la implementación de soluciones
prácticas y efectivas.
Sabemos que el funcionamiento de un sistema
tan complejo como el de las regalías presenta grandes
desafíos. Sin embargo, también es una
excelente oportunidad para profundizar la relación entre el
centro y las distintas regiones del
país y para generar una dinámica de colaboración entre
todas las partes, enfocada en el desarrollo
territorial.
Departamento Nacional de Planeación de
Colombia ha logrado obtener impresionantes
resultados, de los que ambas partes deben estar
orgullosas. Espero que podamos continuar
trabajando juntos en el futuro próximo, para seguir
asistiendo al desarrollo sustentable de
Colombia.
COMO LEER ESTOS DOCUMENTOS 104
APOYO A LA IMPLEMENTACIÓN DEL SISTEMA GENERAL 105 DE
REGALÍAS DE COLOMBIA
MARCO GENERAL DEL SGR Y SU REFORMA 105
APOYO DE TBA-GA 108
Resumen ejecutivo 112
EL CONCEPTO 112
LAS RECOMENDACIONES 113
Introducción 116
Monitoreo 119
A. APROXIMACIÓN CONCEPTUAL: ¿QUÉ ES MONITOREO?
119
B. HERRAMIENTAS DE MONITOREO Y SEGUIMIENTO 122
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA –
132 MONITOREO
D. LECCIONES APRENDIDAS EN MONITOREO 135
B. HERRAMIENTAS DE EVALUACIÓN 144
C. LECCIONES APRENDIDAS 162
A. ENFOQUE PRAGMÁTICO 168
B. LOS PRINCIPIOS O CRITERIOS BÁSICOS DE LA OECD
169
C. UNA APROXIMACIÓN MIXTA 170
D. APROXIMACIÓN SISTEMÁTICA DE LA ‘TEORÍA DE
CAMBIO’ 171
A. APROXIMACIÓN CONCEPTUAL, ¿QUÉ ES LA GESTIÓN
173 DEL CONOCIMIENTO?
Gestión del Conocimiento 173
B. HERRAMIENTAS DE GESTIÓN DEL CONOCIMIENTO 177
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA –
185 CONCURSO PARA LA IDENTIFICACIÓN DE BUENAS PRÁCTICAS
EN EL SGR
D. LECCIONES APRENDIDAS 189
Recomendaciones generales 193
C. CONCLUSIÓN 198
COMO LEER ESTOS DOCUMENTOS
El presente documento tiene como objetivo dar una introducción a la
serie
de tres documentos sobre el apoyo a la implementación del Sistema
General
de Regalías (SGR) de Colombia, y en ese sentido se presentan 3
tomos que
se corresponden a los diferentes frentes de apoyo del
proyecto:
1. Construcción de Consenso Regional para el
Desarrollo,
2. Aportes Metodológicos para la Comunicación
Estratégica, y
3. Gerencia Efectiva del SGR a través del Monitoreo,
Evaluación y Gestión
del Conocimiento,
Estos documentos tienen por objeto sintetizar los alcances y
resultados de
cada uno los sets de herramientas y metodologías de apoyo para el
desarrollo
de proyectos, con las características de la cooperación técnica
realizada con
el Departamento Nacional de Planeación (DNP) de la República de
Colombia.
En los tres casos, cada documento indica y describe las
herramientas y
enfoques para abordar soluciones prácticas y efectivas a cada uno
de los temas
planteados. Se presenta también la experiencia de trabajo y
aplicaciones de
estas herramientas, ajustadas en general al DNP y al SGR en
particular. Y por
último, concluimos con las lecciones aprendidas y recomendaciones
prácticas
Este enfoque, de perspectiva práctica para instituciones de
desarrollo,
se apoya en la visión de Tony Blair
Associates – Government Advisory
(TBA-GA),
basada en su filosofía del effective delivery, que contribuye al
logro de objetivos
de gobiernos e instituciones gubernamentales.
Los tres documentos se pueden leer sin ningún orden
preestablecido, dado
que son de naturaleza independiente entre sí.
APOYO A LA IMPLEMENTACIÓN DEL SISTEMA GENERAL DE
REGALÍAS DE COLOMBIA
El Plan Nacional de Desarrollo de Colombia identifica a las
industrias
extractivas como uno de los principales motores del crecimiento
económico
y el desarrollo social del país. El sector sigue siendo una de las
actividades
de mayor crecimiento en Colombia; ha contribuido de manera
significativa
al crecimiento del PIB reciente y la inversión extranjera, y ha
beneficiado a
los gobiernos nacionales, las regiones y la sociedad en general. El
gobierno se
ha embarcado en un desafiante viaje a generar un mayor desarrollo
del sector.
En Chile, las regalías mineras están centralizadas y hacen parte
del
presupuesto de la nación, mientras que en Perú una parte de las
regalías
está destinada a las regiones productoras y otra al gobierno
nacional.
En el caso de Colombia, el SGR es un sistema que compensa a las
regiones
productoras y redistribuye otra proporción a regiones no
productoras, para
garantizar un desarrollo más equitativo. Igualmente cuenta con los
fondos
de ahorro y estabilización, y el fondo de ahorro pensional
regional, que
representan un avance importante en la gestión de recursos
no-renovables
para asegurar beneficios a generaciones futuras, más allá de la
vida de los
recursos minerales.
La economía colombiana, al igual que la de América Latina,
atraviesa
desde principios del siglo XXI una bonanza minero-energética
fundamentada
tanto en el aumento observado y esperado de la producción de
petróleo, carbón
y otros minerales, como de sus precios internacionales. Esta es una
situación
que debe manejarse adecuadamente para evitar desencadenar una
crisis como
la vivida a finales del siglo pasado.1
MARCO GENERAL DEL SGR Y SU REFORMA
En julio de 2011, el Gobierno de Colombia logró aprobar
enmiendas
constitucionales a los artículos 360 y 361 de la Constitución
Nacional. La
reforma llevaba el nombre de la ‘Reforma del Régimen de Regalías:
Equidad,
Ahorro, Competitividad y Buen Gobierno’, en la práctica
conocido como el
Figura 1: Distribución de regalías antes y después del
SGR
Fuente: DNP, 2014.
operaciones por el Decreto Presidencial 4923, emitido el 26 de
diciembre
de 2011.
A diferencia del sistema anterior, donde el 80% de los
ingresos totales
por regalías se mantenía en los municipios, departamentos y
regiones
productoras, el SGR introdujo un sistema de distribución de las
regalías más
equitativo y eficiente, como observamos en la Figura 1.
Desde su implementación, el nuevo sistema ha impulsado el
crecimiento
inclusivo en todo el país, por lo que estratégicamente, está
diseñado para
promover el desarrollo regional. Bajo la ley, el gobierno nacional
no puede
beneficiarse de cualquier producto SGR, o utilizar el SGR para
financiar
sus gastos. El SGR se destina a financiar proyectos de desarrollo a
nivel
regional, que tienen el potencial de generar impacto en el
desarrollo de
los departamentos y municipios. El SGR tiene muchos elementos
innovadores
y positivos:
• Refleja el compromiso del país con el desarrollo regional y
la distribución
equitativa de la riqueza, al poner el énfasis en beneficiar a las
zonas más
pobres en primer lugar.
• Promueve la integración regional y el establecimiento de
prioridades
colectivas, obligando al trabajo conjunto de las autoridades
territoriales
y nacionales por el beneficio de toda la región, y no sólo de sus
propias
circunscripciones (departamentales o municipales).
Colombia’s Royalties System
Before 2011
Increasing gaps
After 2011
80% of resources Savings and investment funds
Funds were focused on 8
departments
10% of Royalties go to Science,
Technology and Innovation Fund
DOCumENTO INTRODuCTORIO 107
• Reconoce que los beneficios especiales de la extracción de
recursos no
renovables deben ser distribuidos en todo el país y no acumulados
en
las áreas donde se extraen, refinan, o desde donde se envían los
recursos.
• Establece un fondo de estabilización que permite amortiguar
ciclos
económicos difíciles, ahorrando en épocas de bonanza.
• Parte de los recursos, también forman parte de un fondo
adicional cuyo
objetivo es salvar la enorme brecha entre los recursos disponibles
y pasivos
reales del FONPET.2
• Finalmente, además se reservan recursos para propósitos
estratégicos
de más largo plazo, como la ciencia y la tecnología, y el mapeo de
los
recursos minerales y fósiles.
El 17 de mayo de 2012 fue expedida la ley que reglamentó la nueva
forma
de distribuir las regalías, por lo que en estos 25 meses de
funcionamiento,
las regalías se han distribuido entre todos y para
todos.
Es importante señalar que con el antiguo sistema, el 80% de las
regalías
se destinaban al 17% de la población, es decir, sólo 2 de cada 10
colombianos
podían disfrutar de las regalías; ahora todos se benefician de esos
recursos,
porque llegan a los 32 departamentos de Colombia.
Además, se le brinda a las regiones los recursos y las
capacidades para
que gestionen su propio desarrollo. Por lo que poner en marcha este
ambicioso
sistema ha requerido de muchos esfuerzos y conocimientos a nivel
nacional,
departamental y municipal. El DNP, como líder en la implementación
del
SGR, ha apoyado a las Alcaldías y Gobernaciones para que
fortalezcan sus
competencias en la operación del sistema y desarrollo de
capacidades locales
para su implementación.
Colombia tiene hoy en día el modelo más moderno de Monitoreo
y
Evaluación que controla el desempeño de los 5.847 proyectos
aprobados por
20 billones de pesos;3 hace seguimiento en terreno de 1.500
proyectos cada
año, y hace evaluación de otros 700 proyectos con estándares
OCDE.
Es importante señalar que en el marco del SGR, se están creando
incentivos
que permitirán por primera vez en la historia que los departamentos
del país
trabajen de manera conjunta en proyectos de alto impacto. Este es
el caso de
las regiones de Centro Sur-Amazonía y Pacífico, quienes firmaron un
acuerdo
para desarrollar proyectos de manera conjunta.
Con esta distribución más equitativa de las regalías, se han
generado
encadenamientos productivos y un crecimiento conjunto más
equilibrado en
diversas áreas de la economía, que han impulsado el crecimiento de
nuevos
sectores de desarrollo, como se evidencia del Figura 2.
Fuente: TBA-GA, sobre datos SGR, DNP, 2014.
prósperas. Los departamentos no productores de 1995 a 2011 (en 17
años)
recibieron $2.75 billones del Fondo Nacional de Regalías; ahora con
la reforma,
esos departamentos han aprobado $9 Billones en tres años de 2012 a
2014.
APOYO DE TBA-GA
Dada la complejidad del SGR, con grupos de intereses
divergentes,
capacidades heterogéneas y ambiciosas metas de ejecución del
sistema, el
proyecto requirió de la combinación de un intenso pensamiento
estratégico
a nivel político y técnico. TBA-GA con su amplia experiencia, apoyó
y supervisó
el equipo durante los 12 meses de trabajo, proporcionando
orientación y
dirección in situ a través de su interacción en el día a día y
talleres con el
equipo local, transmitiendo al DNP estos aportes en las
recomendaciones
y actividades de las diferentes etapas del proyecto.
El equipo permanente estaba compuesto por un director senior, un
gerente
de proyecto y tres consultores quienes cuentan con una reconocida
experiencia
en planificación regional y desarrollo,deliverology y estrategias
de crecimiento
inclusivo. Además cuentan con experiencia en gestión en gobiernos
y/o en
posiciones en las consultoras líderes globales del mundo en
estrategia y
desarrollo económico.
Sumado a ello, desde Londres se complementó el apoyo con
expertos
sectoriales y socios de la red global de TBA-GA quienes combinaron
la
experiencia práctica y los puntos de referencia internacional
apoyando
el equipo local.
Teniendo en cuenta los análisis previos al proyecto, se
identificaroncuatro
grandes áreas en las que el equipo de TBA-GA colaboraría con el
gobierno
colombiano para reforzar aspectos estratégicos en la implementación
del SGR:
Unexamen exhaustivo de la aplicación del nuevo régimen hasta el
momento ,
la identificación de los posibles riesgos y desafíos en la
implementación, y la
recomendación de medidas correctivas;
crear un proyecto de este tipo. Más específicamente, mecanismos
sólidos
para la coordinación del trabajo de los Órganos Colegiados de
Administración
y Decisión OCAD de diferentes niveles, asegurando la convergencia
hacia
estrategias comunes de desarrollo regional;
Desarrollo de herramientas y procesos de clase mundial para
el seguimiento
de la entrega de proyectos clave, el seguimiento de la evolución de
los resultados
globales, así como la evaluación y la elaboración de
recomendaciones /
lecciones aprendidas de los proyectos ya ejecutados;
y
Desarrollo de una estrategia de comunicación sólida para el
marco territorial
de la nación, para transmitir adecuadamente sus objetivos de
competitividad
regional, la innovación y la equidad social.
Además de estos temas, se identificaron otras cuestiones
conexas más
generales de apoyo para fortalecer al DNP en su conjunto, como por
ejemplo,
realizar ajustes en la estructura y organización del DNP, para
cumplir su papel
como líder de gestión de proyectos de inversión en el país en el
marco del SGR.
RESULTADOS INICIALES DEL PROYECTO
Los diagnósticos iniciales confirmaron, entre otros resultadosa
nivel regional ,
que no se estaban generando sinergias de escala en proyectos
regionales y/o
inter-regionales. Esto es una excesiva fragmentación y atomización
de los
recursos en proyectos de bajo impacto.
Además, las regiones no cuentan aún hoy con la
institucionalidad regional
adecuada para apoyar los megaproyectos regionales que estamos
ayudando
a generar: estructuración, contratación y supervisión, sin embargo
se logró
articular y coordinar a distintos departamentos para que generaran
proyectos
con vocación e impacto regional.
En términos de Monitoreo y Evaluación, el proyecto encontró que
había un
alto sub-registro de información, debido en parte a la falta de
claros incentivos
para la carga de datos por parte de algunos actores. La información
registrada
en el Sistema de Monitoreo, Seguimiento, Control y Evaluación
SMSCE, tenía
un mayor enfoque en procesos y ejecución financiera que en
resultados, lo cual
dificulta la toma de decisiones estratégicas. Asimismo, se
identificó que el SGR
no contaba con una adecuada estrategia de Gestión de conocimiento
que le
permitiera aprender y mejorar continuamente (a nivel local,
regional y central)
de las diversas experiencias en la aprobación y el desarrollo de
proyectos.
Y en las comunicaciones estratégicashacía falta resonar mucho
más los
logros y beneficios del nuevo SGR a través de una estrategia de
comunicaciones
estratégicas sobre el SGR, que permeara a todas las audiencias.
Esto
demostraba la falta de una estrategia de articulación con las
oficinas de
comunicaciones de los actores del SGR para canalizar los mensajes
claves
del SGR.
Luego de 12 meses de trabajo conjunto con los equipos del DNP y en
las
110 DOCumENTO INTRODuCTORIO
diálogo entre los departamentos, con lo que se logró trabajar con
una mayor
colaboración en el desarrollo de proyectos de alto impacto
regional. Además,
se comenzaron a incorporar procesos y herramientas de consenso
más
estructurados (político y técnico) para la identificación futura de
proyectos.
Vale destacar también que se apoyó a las regiones en una
estrategia para
la creación de instituciones y fortalecimiento de capacidades
regionales, para
liderar estos procesos a través de reuniones y talleres de trabajo
conjunto y la
identificación de una cartera de proyectos. Un buen ejemplo de los
beneficios
del desarrollo institucional regional y del logro concreto de
resultados, ha
sido el proyecto del Plan Regional de Turismo para el Centro Sur de
Colombia,
donde se involucran 5 departamentos y actores privados para
impulsar el
sector turístico en la región.
En el trabajo apoyando al SMSCE se apoyó el desarrollo de la
gestión
basada en resultados, y toma de decisiones a través de un sistema
transparente
y eficaz de seguimiento y evaluación con estándares de la OCDE.
Junto a ello se
fortaleció al DNP con herramientas prácticas y metodologías de
seguimiento y
evaluación (procesos, manuales, caja de herramientas, indicadores,
cuadro de
mando, IT especificaciones). Además, se apoyó en un programa de
incentivos
para premiar historias de éxito y diseño de una estrategia de
Gestión del
Conocimiento.
Los resultados alcanzados permiten dar un uso más transparente
de
los recursos de regalías y de esta manera también aumentar la
confianza
ciudadana en el SGR y las instituciones públicas.
Finalmente, el fortalecimiento de la función de
comunicaciones
estratégicas en el DNP generó la orientación sobre la estrategia
de
comunicación con una función profesionalizada incorporando
herramientas
de mejores prácticas para fortalecer la aplicación de la estrategia
(análisis
de los medios de comunicación, los mensajes estratégicos,
narrativa). Esto
permitió alcanzar gradualmente un mejor posicionamiento del SGR y
del DNP.
SÍNTESIS DE PRINCIPALES LOGROS
El proyecto de TBA-GA junto con el DNP, logró un progreso
importante
alcanzando entre otros logros:
• Proyectos de transformación regionales de apoyo a la
sostenibilidad de los
procesos de paz: Plan Paz-cifico, plan para los cuatro
departamentos con
69 proyectos identificados que desarrollarán la región y llevar la
paz a sus
ciudadanos
• Región Centro Sur: cinco departamentos acordaron el
desarrollo de un Plan de
Desarrollo Turístico como motor para el desarrollo social y
económico después
de los conflictos
• Profesionalización de la oficina de comunicación del
DNP: Se generó un cambio
de un manejo táctico a un enfoque estratégico en la comunicación de
los éxitos
de la reforma general del SGR
DOCumENTO INTRODuCTORIO 111
• Altos funcionarios del DNP entrenados como
portavoces, y en la comunicación
de mensajes clave coherentes para los medios de
comunicación
• Sistemas de seguimiento y evaluación pueden cambiar las
normas nacionales
a nivel de la OCDE: DNP espera para monitorear y evaluar alrededor
de 2.000
proyectos de GRS cada año con las metodologías
implantadas
• DNP decidió que el nuevo sistema de M&E del SGR
se implementará a nivel
nacional y abarcará todos los sectores de desarrollo
Los esfuerzos del gobierno nacional para fortalecer la
implementación del
SGR en generar mayor coordinación regional, complementado con un
sistema
de monitoreo y seguimiento con metodologías sólidas y rigurosas,
que apoyan
la transparencia y fortalecen la confianza, y una mayor visión
estratégica de
las comunicaciones de los avances y desafíos que se van alcanzando,
han
permitido alcanzar resultados transformadores para Colombia. El
apoyo a
los departamentos por parte del gobierno nacional en la
implementación
de este complejo sistema, representa una oportunidad clave para
desarrollar
mayor confianza nación-región, y por lo tanto generar una dinámica
más
colaborativa en el desarrollo sostenible del país.
Tony Blair Associates Government Advisory (TBA-GA) se enfoca
en dar
apoyo a diferentes gobiernos para introducir o fortalecer buenas
prácticas
de Gobernabilidad, y en este ámbito, un tema de vital importancia
para la
gobernabilidad es la capacidad de registrar el progreso, los
obstáculos y
resultados de las políticas públicas, programas y proyectos de
desarrollo.
El presente documento recoge el apoyo que TBA-GA brindó al
Departamento
Nacional de Planeación (DNP) y al Sistema General de Regalías (SGR)
en los
temas de Monitoreo, Evaluación (M&E) y Gestión del Conocimiento
(GC). Los
aportes en estos temas y las herramientas presentadas en este
documento,
representan una forma de manejar estratégicamente la medición,
análisis y
aprendizajes en la gestión pública.
El objetivo es lograr que el M&E trascienda de ser un requisito
operativo-
administrativo, y se constituya en una estrategia de largo plazo
para
incrementar el impacto de los proyectos, la transparencia y el
aprendizaje.
El proceso liderado por TBA-GA pasó por tres temas:
RESumEN EjECuTIvO 113
1. Monitoreo.El monitoreo permite al SGR y sus actores,
identificar y valorar
los posibles problemas y logros alcanzados. Constituye la base para
la
adopción de medidas correctivas, tanto estratégicas como
operacionales,
con el fin de mejorar el diseño, forma de aplicación y calidad de
los
resultados obtenidos.
2. Evaluación.Es la apreciación sistemática y objetiva del
SGR y sus proyectos,
para determinar la pertinencia y el logro de los objetivos, así
como la
eficiencia, la eficacia, el impacto y la sostenibilidad para el
desarrollo.
3. Gestión del Conocimiento.Proceso cuyo objetivo es generar,
compartir
y utilizar el conocimiento tácito (know-how) y explícito (formal)
para dar
respuestas a las necesidades del SGR y de las comunidades en su
desarrollo.
LAS RECOMENDACIONES
Finalmente, la extensa experiencia de TBA-GA en este tipo de
procesos y el
análisis del proyecto han permitido desarrollar recomendaciones
para el SGR
y el DNP relativas al Monitoreo, Evaluación y Gestión del
Conocimiento.
1. Recomendaciones para el SGR
a. Establecer criterios de desempeño para la asignación de
recursos de
fortalecimiento. De esta manera se incentiva el buen desempeño,
con
el mayor motivante que son los recursos económicos, y también se
transfieren capacidades a las entidades con mayores debilidades.
b. Implementar una estrategia de incentivos para promover el
uso
eficiente y eficaz de los recursos de regalías. Un sistema de
‘premios y
castigos’ permite generar círculos virtuosos que visibilicen
el buen y el
mal desempeño, y permitirá a su vez, mejores esquemas de rendición
de
cuentas.
c. Presentar las conclusiones de M&E ante directivas SGR
y garantizar su
uso. Los resultados del M&E deben reflejarse en decisiones
estratégicas;
si la información recopilada no es utilizada, el Sistema de
Monitoreo,
Seguimiento, Control y Evaluación (SMSCE) pierde validez
d. Desarrollar un espacio interinstitucional para la
reflexión sobre los
logrosy obstáculos en elSGR.Para profundizar la utilización
del
SMSCE y aprovechar la riqueza de la información consolidada, es
recomendable crear una mesa interinstitucional para el análisis de
alto
nivel de los logros y obstáculos observados en los proyectos
financiados
con recursos de regalías, los aciertos y desaciertos en los OCAD, y
la
relevancia del triángulo del Buen Gobierno.
e. Profundizar la neutralidad y objetividad del SMSCEpara
la
confiabilidad de sus conclusiones y recomendaciones.
2. Recomendaciones para el DNP
a. Liderar el diseño e implementación de un programa de
capacitación en
M&E para todos los actores del SGR. Para fortalecer las
capacidades de
todos los actores clave del SGR, se requiere formar a las entidades
sobre
los instrumentos y conceptos del SMSCE.
b. Mejorar las plataformas de visualización de los datos.El
SMSCE
necesita una plataforma on-line para visualizar los datos y
análisis de
información, que incluya el uso de mapas interactivos, alertas y
tableros
de mando, para dar insumos a los tomadores de decisiones y mayor
control a la Sociedad Civil.
c. Evaluar el sistema de M&E.Es una buena práctica
supervisar y evaluar,
en forma periódica, el desarrollo del SMSCE y su
funcionamiento.
d. Definir un modelo para que la información del SMSCE sea un
insumo
para el Plan de Desarrollo (PD).Las conclusiones sobre logros
y
obstáculos a partir de proyectos financiados con recursos de
regalías,
puede facilitar la integración de temas territoriales en el PD y
la
formulación de políticas públicas.
e. Crear una unidad de GC al interior del SMSCE.El mayor
valor del
SMSCE es el aprendizaje, y para gestionar ese conocimiento, se
recomienda la creación de una Unidad de GC que tenga acceso al
SMSCE, las Direcciones Técnicas del DNP, la Presidencia y
otros
ministerios.
f. Mejorar los indicadores de resultados desde la
formulación de los
proyectos, porque éstos se constituyen en un factor de éxito para
todo
sistema de M&E en la calidad de sus indicadores.
g. Calificar y desarrollar el Recurso Humano del SMSCE.
Para esto hay que
estandarizar procedimientos en el reclutamiento; se deben
desarrollar
habilidades, capacitar al personal vinculado, y se debe evaluar el
desempeño y conocimientos de los equipos SMSCE.
EL IMPACTO DEL PROYECTO
El apoyo de TBA-GA al DNP ha generado productos e impactos
positivos en
los temas de M&E y GC. Dichos resultados se han enfocado a
atender las
necesidades identificadas inicialmente en el diagnóstico de TBA-GA.
Las metodologías de monitoreo que abarcan más de 5.000 proyectos
en
1.098 municipios, y con valor superior a los 5.000 millones de
dólares, son
mandatorias por resolución, y fueron diseñadas con el apoyo del
proyecto
TBA-GA. Dicho documento incluye las orientaciones legales,
metodologías e
indicadores para monitorear el 100% de los proyectos del
SGR.
Durante este proceso, el proyecto ha transferido capacidades
al
equipo del DNP para fortalecerlo en cuanto a metodologías de
monitoreo,
RESumEN EjECuTIvO 115
a otros actores, incluyen la identificación de factores clave de
éxito,
formulación de indicadores, y estandarización de herramientas de
M&E para
homogeneizar el proceso de registro y análisis de
resultados.
En M&E, el proyecto ha apoyado la formulación de las
metodologías de
seguimiento y evaluación sujetas a estándares OCDE, que serán
presentadas
ante la máxima instancia del SGR (Comisión Rectora) para su
aprobación y
puesta en marcha en el SGR. Asimismo, se apoyó el diseño de una
evaluación
de gran escala que busca valorar la efectividad de los recursos que
el SGR ha
invertido en el fortalecimiento de entidades locales.
Una de las mayores debilidades que se identificaron durante el
diagnóstico,
fue la falta de carga de información en los sistemas de información
por parte
de entes territoriales, con brechas de hasta el 90% de falta de
información
sobre proyectos en los sistemas de información. Por este motivo el
proyecto
ha diseñado herramientas y estrategias para incentivar las buenas
prácticas
de transparencia y carga de información. En este sentido, el
proyecto ha
diseñado e implementado un concurso a escala nacional para
identificar y
premiar buenas prácticas de proyectos, con una exitosa convocatoria
al recibir
160 propuestas de un universo de 700 proyectos ejecutados. Esta
convocatoria
ha permitido identificar proyectos exitosos en cuanto a (i)
innovación, (ii)
equidad, (iii) participación, e (iv) integración regional, los
cuales pueden ser
registrados y compartidos a nivel nacional. Adicionalmente el
proyecto ha
elaborado una caja de herramientas y una hoja de ruta para
implementar
Introducción
En un contexto de recursos limitados de regalías por la explotación
de recursos
naturales, es necesario desarrollar proyectos capaces de generar
cambios
sociales significativos, medibles y replicables. Independientemente
de la
naturaleza o tipo de organización que se quiera valorar, la
administración es
en esencia es una sola, y toda administración necesita un control
de gestión
para evaluar el cumplimiento de los objetivos planteados. En este
sentido,
se considera que el SGR, está sujeto a considerar, aplicar e
implementar,
principios y herramientas de gerencia administrativa para
monitorear y
mejorar continuamente su desempeño.
La ventaja fundamental derivada del uso de un sistema de M&E,
se
resume en la reducción de la incertidumbre, la imprecisión y la
subjetividad,
con el consecuente incremento en la efectividad. Un sistema que
entregue
información periódica y confiable sobre la calidad de la gestión,
posibilitará
una mayor eficiencia en la asignación de recursos físicos, humanos
y
financieros, y una base de seguridad y confianza en su desempeño al
conjunto
de socios y destinatarios. En otras palabras, los sistemas de
M&E agregan valor
en la medida que generen información oportuna y relevante sobre el
impacto
potencial de las intervenciones que se van a implementar y el
cumplimiento
de los objetivos, de manera que los grupos de interés puedan tomar
decisiones
para mejorar la pertinencia, la eficacia, la eficiencia y la
sostenibilidad de su
inversión social.
CARACTERÍSTICAS MONITOREO – SEGUIMIENTO
EVALUACIÓN
SUJETO: Se abordan cuestiones de gestión operativa
Generalmente se centra en los aspectos
estratégicos
TEMPORALIDAD: Contínuo, regular Se
realiza en un momento concreto (Incidental,
sistemático)
METODOLOGÍA: Revisión de datos y sistemas de
información, métodos de valoración rápida
Metodologías de investigación rigurosas, herramientas más
sofisticadas
ENFOQUE: Se enfoca en aspectos operacionales, de
gestión Se enfoca en pertinencia, eficiencia,
eficacia, sostenibilidad
OBJETIVOS:
Verificar los productos, resultados e hipótesis de
desarrollo Documentar fallas, lecciones aprendidas y
buenas prácticas
Figura 1: Diferencias
entre monitoreo y
Siguiendo a diferentes autores, Gorgens and Zall (2009), Mackay
(2007),
Rugh (2004), Rits and Zall (2004) y Poister (1982), los sistemas de
M&E, son
considerados como un instrumento que debe generar información
clara
y precisa sobre el valor (económico, social y ambiental) generado
por una
organización a través de sus diferentes acciones
(proyectos).
Dada la naturaleza innovadora del SGR, su cobertura geográfica
y
diversidad de sectores, es fundamental que el SMSCE2 aporte
elementos de
aprendizaje derivados de la gestión. El éxito no debe ser medido
solamente
en términos del desempeño y los resultados de los proyectos
ejecutados con
recursos de regalías; el éxito del SGR es también el grado de
aprendizaje y
replicabilidad derivado de una experiencia transferida entre
distintos actores y
regiones.
El monitoreo y la evaluación son procesos distintos pero
estrechamente
relacionados como se ve en el Figura 1. Se prestan mutuo apoyo y
son
igualmente necesarios. El monitoreo puede facilitar datos
cuantitativos y
cualitativos, basados en la utilización de determinados
indicadores, y tales
datos pueden utilizarse en las actividades de
evaluación.
La evaluación también puede servir de ayuda al monitoreo. Puede ser
una
fuente de enseñanza que luego se podría aplicar para conseguir
innovaciones
metodológicas útiles para perfeccionar la función de monitoreo, por
ejemplo,
diseñar indicadores idóneos para futuras fases o
programas.
2 El numeral 4 del artículo 9 y articulo 100 de la Ley 1530
de 2012, en concordancia con el numeral 20 del artículo 2 del
Decreto 1832 de 2012, corresponde al Departamento Nacional de
Planeación, la administración del Sistema de Monitoreo,
Seguimiento, Control y Evaluación-SMSCE del Sistema General
de Regalías – SGR. Que el artículo 99 de la Ley
1530 de 2012, establece que la finalidad del SMSCE es velar por el
uso eficiente y eficaz de los recursos del SGR, el cual se
desarrollará de manera selectiva, con énfasis en acciones
preventivas.
MONITOREO & EVALUACIÓN – CARACTERÍSTICAS
COMPARATIVAS
OBJETO DEL M&E
El M&E son medios para un fin y no un fin en sí mismos. Muchas
veces se
concibe al M&E como una imposición, o como un resultado que hay
que
alcanzar, pero en realidad, tan solo se trata de un mecanismo útil
para
identificar problemas a tiempo, analizarlos y solucionarlos.
Específicamente
todo sistema de M&E cumple tres propósitos:
1. Es una herramienta gerencial de apoyo a la toma de
decisiones de
ejecución.
2. Genera información accesible, oportuna y de calidad para
la difusión y
transparencia en el desempeño. Esta información es útil para el
control
social, político y fiscal, y estimula la participación.
3. Es un instrumento para el aprendizaje, ya que está
concebido para medir
el éxito, no sólo en términos del cumplimiento de metas, sino
también
del análisis y entendimiento de los factores que han incidido en
su
cumplimiento, los supuestos, riesgos, lecciones y buenas prácticas
que se
van destacando a lo largo de la ejecución.
La relación entre monitoreo, evaluación y gestión del conocimiento,
debe
entenderse en forma interactiva. Ninguna de las funciones puede
emplearse
en sustitución de la otra. El objetivo del presente documento es
dar unos
lineamientos básicos desde TBA-GA:
• ¿Cómo deberían medirse los procesos y resultados del
SGR?
• ¿Cómo estandarizar procedimientos eficaces de medición a
los proyectos
• ¿Qué elementos clave hay que tener en cuenta para un
efectivo proceso de
M&E?
• ¿Qué hoja de ruta puede seguirse para gestionar el
conocimiento, las
buenas prácticas y lecciones aprendidas?
01Monitoreo
El monitoreo y la evaluación son funciones de gestión a través de
las cuales se
comprueba si los proyectos alcanzan o no sus objetivos, y si
contribuyen a las
metas establecidas. A continuación plantearemos el concepto de
monitoreo
con base en la literatura vigente, y para ello plantearemos por qué
es necesario
un proceso de M&E, su objeto, y qué aproximaciones estratégicas
se pueden
tener en cuenta para su diseño e implementación.
A. APROXIMACIÓN CONCEPTUAL: ¿QUÉ ES
MONITOREO?
El monitoreo es una función permanente, cuyo objetivo primario es
facilitar
a las principales partes interesadas las indicaciones tempranas
sobre
los progresos, o falta de los mismos, en el logro de los objetivos
de una
intervención.
El monitoreo permite a los actores involucrados, identificar y
valorar los
posibles problemas y logros alcanzados. Constituye la base para la
adopción
de medidas correctivas, tanto estratégicas como operacionales, con
el
fin de mejorar el diseño, forma de aplicación, y calidad de los
resultados
obtenidos. Además, hace posible el fortalecimiento y replicación de
los
resultados positivos.
Fuente: Basado en OCDE, análisis Tony Blair associates,
2014
‘S i no se pueden medir los resultados, no se puede
diferenciar el éxito del
fracaso; si no se puede ver el éxito, no se puede aprender de
él, y si no se
pueden demostrar los resultados, no se puede ganar el apoyo
público.’
– Basado en Rist y Kuzek
La información del M&E es de utilidad para el SGR en los
siguientes aspectos:
• Apoya la toma de decisiones estratégicas en
orientación de la ejecución
de proyectos y asignación. La información del M&E puede apoyar
las
deliberaciones oportunas de la Comisión Rectora y demás actores del
SGR,
ofreciendo evidencia del desempeño en los diversos sectores y
proyectos.
El análisis puede hacerse a lo largo del tiempo y así ayudar en
la
identificación de aciertos y desaciertos, de tal manera que pueda
motivar
el entendimiento de determinado desempeño y tener los elementos
para
tomar las medidas correctivas del caso.
• Incentiva la transparencia y apoya las relaciones de
rendición de cuentas,
revelando el desempeño, logros y aciertos del SGR. El M&E
proporciona
la evidencia necesaria para sostener fuertes relaciones de
rendición de
cuentas con la sociedad civil, Estado, comunidad internacional y
otros
actores. A su vez, una sólida rendición de cuentas puede
ofrecer los
incentivos necesarios para mejorar el desempeño.
• La identificación yanálisis de buenas prácticas, lecciones
y aprendizajes
del SGR, se registra en el SMSCE, contribuyendo así al aprendizaje
institucional que se traducirá en nuevas y mejores intervenciones a
mayor
escala. El SMSCE orientado al aprendizaje, pondrá este conocimiento
al
alcance de usuarios internos y externos.
Documenta
ción
Verificación
Comunicación
Figura 3: Oportunidades del SMSCE para el SGR
•Mejorar la planeación y la organización del SGR como sistema,
pero también de sus actores.
•Unificar esfuerzos de elaboración de informes y
reportes.
•La implementación de estándares de calidad para el registro y
análisis de información, es una garantía para un sistema
que tiene el enorme reto de monitorear un sistema tan vasto y
complejo como el SGR.
•Reducir el número de versiones de seguimiento. El control a
la gestión será más enfocado.
•Generar y transferir conocimiento a partir del aprendizaje de
las experiencias y generar una memoria institucional.
•Visibilizar los logros y resultados de proyectos municipales,
departamentales y regionales, permite la superación
profesional, y promover la efectividad.
•Tener el control del avance en el SGR y sobre todo de sus
resultados. En Colombia y en el mundo, aún hay una
costumbre de medir actividades; con el SMSCE se podrá medir
desempeño y resultados de manera agregada o
desagregada.
•El sistema permite focalizar los esfuerzos en las principales
metas de desarrollo, los hitos y aspectos centrales. La
información se puede racionalizar para evitar generar costos
innecesarios en su consecución.
•El sistema contiene insumos de información vitales ; es una
herramienta poderosa de difusión, visibilidad y
transparencia del esfuerzo nacional con recursos de
regalías.
Fuente: Basado en OCDE, análisis TBA-Ga, 2014
Un sistema de M&E debe ser capaz dedocumentar observaciones, de
tal
manera que permita la transferencia y la comparación. La
comparación es
clave para la verificación sistemática; el M&E debe ser capaz
deverificar las
observaciones documentadas contra estándares de desempeño
(monitoreo)
y expectativas lógicas (evaluación). Esta tarea es el núcleo de la
rendición de
cuentas. Para cumplir la función de aprendizaje, los hallazgos
resultantes del
monitoreo y los procesos de evaluación, deben retroalimentar a los
proyectos,
ser comunicadosa los actores clave, a una comunidad más amplia y
otros
proyectos (Ver Figura 2).
1. Necesidad del M&E
La OECD y su Comité de Ayuda al Desarrollo (DAC en inglés), resume
la
importancia del M&E en el contexto de obtener resultados y
promover
desarrollo, así ‘la evaluación puede ayudarnos a entender
mejor cómo alcanzar
los objetivos de desarrollo – cómo lograr más niños
con educación o mejorar
el acceso a agua potable en las comunidades. Las evaluaciones
proveen
información útil sobre qué programas o proyectos funcionan mejor, y
ayuda
a explicar qué factores contribuyen al éxito o fracaso. Pero no es
suficiente
que los evaluadores lleguen a estos hallazgos, ellos deben ser
comunicados y
utilizados’.3
Desde 1991, los países de la OECD llegaron a un consenso sobre el
primer
conjunto de principios y criterios para la evaluación del
desarrollo. Muchos
países e instituciones no-miembros, han abogado por seguir los
criterios
3 Organización para le Cooperación Económica y el Desarrollo
(OCDE en inglés), The DAC Network on Development Evaluation,
Factsheet, OECD, 2010, http://www.oecd.org/
dataoecd/38/42/42500661.pdf
Transparencia
Estandarización - homogeneización
OECD, debido a que son periódicamente revisados, analizados y
actualizados.
Colombia, como candidato a ser miembro de la OECD, debe adoptar
estos
principios y buenas prácticas de evaluación.
A continuación en el figura 3 se presentan las principales
oportunidades y
retos que introduce todo sistema de M&E en la gestión. Las
oportunidades se
capitalizarán en la medida en que el SMSCE sea usado por los
actores SGR, y
tenga un impacto en las decisiones a nivel local, regional y
nacional. Los retos
implican medidas y acciones de diseño e implementación para sacar
la mayor
utilidad del mismo.
En resumen, podemos decir que el M&E es una herramienta útil
para la
toma de decisiones, la rendición de cuentas y el aprendizaje. En
este sentido,
el M&E es una oportunidad para mejorar la planeación,
estandarizar reportes,
promover buenas prácticas, enfocarse en resultados, focalizar áreas
de
atención e incrementar la transparencia.
B. HERRAMIENTAS DE MONITOREO Y SEGUIMIENTO
El propósito del sistema de M&E, es hacer recomendaciones
basadas en
estándares claros de juicio, argumentos y pruebas. Las conclusiones
y
recomendaciones del sistema M&E deben venir de demostraciones
de campo
y de la aplicación de instrumentos metodológicos adecuados. La
selección de
instrumentos debe ser basada en la complejidad del proyecto, la
naturaleza de
la información deseada y la diversidad de las fuentes de
información.
‘Lo que se mide, se hace.’
– Albert Einstein
1. Herramientas para la recolección de información
Debido a que la iniciativa requiere métodos rápidos de M&E, son
necesarios
instrumentos ágiles para capturar la información en terreno. A
continuación
una descripción de los principales instrumentos de M&E que
podrían incluirse
en el sistema:
La observación estructurada es un método estándar de monitoreo
y
evaluación. Las observaciones directas se utilizan para verificar
el estado y el
nivel de implementación de los proyectos; varias opciones pueden
utilizarse
para para registrar la información de una observación estructurada:
listas
de chequeo, escalas de evaluación (descripción cualitativa de
algunos
aspectos del proyecto), cuadros (el mismo que el anterior, pero con
valores
predeterminados para la obtención de los totales ponderados), así
como fotos,
vídeos, audio, etc.
Registro audiovisual
Es muy importante que los profesionales o el equipo en terreno
hagan
FODA Indicadores
Fuente: análisis TBA-Ga
audiovisual permite una mayor visibilidad de los logros, sirve como
insumo
para la elaboración de informes más llamativos, genera mayor
confiabilidad
por proveer un registro transparente de los procesos, y alimenta el
archivo del
SGR. Asimismo, el registro y socialización de imágenes y voces de
las personas-
comunidades-proyectos, le da mayor soporte al M&E. En este
sentido, es muy
importante que los equipos técnicos cuenten con una cámara
fotográfica y con
una grabadora de audio.4, 5
Toda la información audiovisual se puede difundir en medios
de
comunicación local y nacional ya sea prensa, radio, televisión e
incluso
Internet. Asimismo, se cargarán los archivos en el GESPROY para
servir como
fuente de verificación, material de insumo para el reporte en
informes de
avance, y apoyo a la elaboración de presentaciones del
SGR.
La observación es una herramienta recomendada para cualquier
proceso
de monitoreo que se haga en terreno; permite registrar hechos
específicos y
sustentar análisis cualitativos y cuantitativos
Encuesta
Una encuesta es una herramienta de observación que cuantifica y
compara
la información. Se recogen datos de una muestra de la población
dirigida por
el proceso de M&E. Un cuestionario es una lista de preguntas
que recoge la
información necesaria para la M&E.
Existen diferentes tipos de encuestas o cuestionarios:
4 Para la toma de fotografías es preferible que se haga de
día, que haya buena iluminación de lo que se quiere
fotografiar (no haya contraluz). Es importante que no se pierda
espacio en la fotografía y que se enmarque bien a la
persona, la comunidad o grupo de personas, el proyecto,
productos, actividad, etc. Deben escogerse un máximo de 5 fotos
por proyecto-producto (2 ó 3 al inicio, y 2 ó 3 a la
finalización o corte) por lo cual debe hacerse una
priorización de las mismas según la calidad y claridad del mensaje.
También hay que incluir una breve descripción de lo que se
ha fotografiado, incluyendo fecha, lugar, actividad
registrada y autor.
124 mONITOREO
Figura 5: Principios básicos para guiar el desarrollo de la
encuesta6
•Evite largas introducciones - limite sus preguntas a lo que
usted necesita saber, y evite las preguntas sobre lo
que le gustaría saber ,o lo que usted piensa sería
interesante
•Considere la longitud que se necesita para completar la
encuesta
•Asegúrese de que las preguntas son específicas - si es que son
personas demasiado generales , tienen
dificultades para responder a ellas
•Idioma - mantener el adecuado nivel de lectura para las
personas que van a responder a las preguntas -
utilizar expresiones y términos que son comúnmente entendidos por
las personas a quienes se dirigen
•Evitar preguntas tendenciosas - preguntas no deben llevar a
una persona a responder de una manera
particular.
•Para el gran público, trate de no tener preguntas
hipotéticas
•Trate de evitar las preguntas que se puedan contestar 'No
sé'
•Tome los encuestados y sus respuestas en serio
•Evite la jerga condescendiente
•No presentar preguntas desafiantes
Los cuestionarios estructurados contienen preguntas que los
encuestados
deben responder de una manera determinada por la elección de un
conjunto
limitado y predeterminado de respuestas. El formato del
cuestionario está
diseñado para obtener información sobre los hechos, para averiguar
si los
encuestados están de acuerdo a la sugerencia, para registrar sus
opiniones
sobre una serie de afirmaciones.
Los cuestionarios estructurados son recomendados cuando hay
un
universo amplio de informantes y se busca una serie estadística a
partir de los
resultados. Tienen un mayor enfoque cuantitativo.
Cuestionarios de respuesta abierta
En los cuestionarios con respuesta abierta, los encuestados
responden a una
pregunta y los entrevistadores toman notas. Así, los cuestionarios
abiertos son
similares a entrevistas estructuradas, con elementos abiertos que
permiten
una variedad de enfoques y profundidad en respuesta.
Los cuestionarios abiertos son recomendados cuando hay un
universo
reducido de informantes y se busca capturar su percepción. Tienen
un mayor
enfoque cualitativo.
Un cuestionario puede ser construido usando herramientas en web.
Se
aplicará a tanta gente involucrada como sea posible. La limitación
es el acceso
6 Es común que las encuestas tengan sesgos, los cuales deben
ser analizados de manera previa para minimizar el impacto.
Los sesgos comunes incluyen:
Los encuestados tienden responder diferente porque piensan que
deben complacer al entrevistador.
Los encuestados tienden a asumir una actitud positiva para
evitar que los recursos de futuros proyectos se reduzcan si
son críticos.
Los encuestados responden por intereses propios.
Dignidad
Completitud
Realidad
Claridad
Brevedad
mONITOREO 125
a Internet, por lo que no se recomiendan para grupos de
beneficiarios sino
para actores técnicos.
La entrevista es una herramienta de recolección de información
que
generalmente toma la forma de un debate cara a cara entre el
evaluador y el
entrevistado. En M&E, el uso de entrevistas es simple, rápido y
asequible, lo
que hace muy útil su uso.
Pueden realizarse tres tipos de entrevistas:
Entrevistas no estructuradas
El entrevistado se expresa libremente y se puede hablar de temas no
previstos,
porque no hay un conjunto predeterminado de preguntas. El
entrevistador
Figura 5: Principios básicos para guiar el desarrollo de la
encuesta7
sólo interviene para generar y desarrollar las cuestiones relativas
a los
comentarios del entrevistado.
Este tipo de entrevistas recoge testimonios de los entrevistados
utilizando
una guía de entrevista (marco flexible de temas derivados de las
preguntas
del sistema de M&E). El entrevistador modifica las
instrucciones de la guía de
entrevista con preguntas adicionales, con el fin de desarrollar las
áreas útiles
de la investigación durante la entrevista.
Este tipo de entrevista es el de uso más frecuente, sobre todo
cuando el
entrevistador sabe suficiente sobre los objetivos y las principales
cuestiones a
plantear durante la evaluación.8
Al igual que los cuestionarios abiertos, las encuestas entrevistas
no
estructuradas y semi-estructuradas son recomendadas cuando hay
un
universo reducido de informantes y se busca capturar su percepción.
Tienen
un mayor enfoque cualitativo.
7 Es común que las encuestas tengan sesgos, los cuales deben
ser analizados de manera previa para minimizar el impacto.
Los sesgos comunes incluyen: Los encuestados tienden
responder diferente porque piensan que deben complacer al
entrevistador. Los encuestados tienden a asumir una
actitud positiva para evitar que los recursos de
futuros proyectos se reduzcan si son críticos. Los
encuestados responden por intereses propios.
8 En el caso de las entrevistas es muy importante que se
hagan preguntas cerradas con respuestas cortas, que se hagan
en sitios sin ruido ambiental y que se procure la mayor
claridad posible en el mensaje. Para esto es muy importante escoger
bien los entrevistados y tener preparadas las preguntas
específicas previamente. En el caso de M&E estas preguntas
pueden girar sobre varios temas como los siguientes (a manera de
ejemplo exclusivamente): ¿La actividad o
producto ha permitido la participación de diferentes grupos de
interés?
El entrevistador sigue estrictamente las instrucciones de las guías
de
entrevista. La entrevista se realiza a varias personas, con el
mismo conjunto
de preguntas y al entrevistado no se le da la oportunidad de
expresarse
libremente. El entrevistador evita la generación y desarrollo de
preguntas
adicionales. Las respuestas a cada pregunta tienden a ser
cortas.
Las entrevistas estructuradas, al igual que los cuestionarios
estructurados,
son herramientas recomendadas cuando hay un universo amplio
de
informantes y se busca una serie estadística a partir de los
resultados. Tienen
un mayor enfoque cuantitativo.
Grupos focales
Un grupo focal es una entrevista en grupo a personas involucradas
con el
proyecto. Está configurado para obtener información sobre opiniones
de las
personas, comportamientos, o explicar sus expectativas del
proyecto. En ese
sentido, la metodología de grupos focales es una encuesta
cualitativa rápida.
Un grupo focal es útil en la evaluación de proyectos o programas
pero
particularmente para los estudios de campo con los beneficiarios y
agentes
intermediarios. Se forman grupos para trabajar un tema específico a
través del
diálogo y la interacción entre sus miembros. ‘Korman define un
grupo focal
como: una reunión de un seleccionado grupo de consultores para
debatir y
construir, desde su experiencia personal, una temática o hecho
social objeto
de investigación’ (Aigneren, 2002).
El grupo debe estar compuesto de ocho a doce personas que
tengan
relación o experiencia en el proyecto, y deben sentirse cómodos
hablando de
la intervención. Aunque el moderador tiene un marco de la sesión
general, se
recomienda formatos flexibles y secuencias de preguntas no
estructuradas.
Una simple lista de preguntas puede ser suficiente, porque el
propósito de las
sesiones es descubrir temas inesperados. De esta forma, el
moderador puede
interactuar con varias personas haciendo un esfuerzo de tiempo y
dinero extra.
La metodología de grupos focales puede hacerse con usuarios del
proyecto
o grupos de interés, y se recomienda cuando se necesita llegar a un
acuerdo
sobre el desempeño del programa y cómo se mide. El grupo focal es
un medio
eficaz para recoger información y puntos de vista rápidamente;
cuando se trata
de actores con diferentes puntos de vista, alivia la expresión y la
explicación de
las discrepancias dentro de esos puntos de vista, así como permite
un estudio
profundo de las opiniones de los interesados. Principalmente sirve
para
análisis cualitativos.
Casos de estudio
Los estudios de caso son la herramienta preferida de M&E cuando
se plantean
preguntas de ‘Cómo’ y ‘por qué’, ya que permiten un
examen detallado de los
elementos reales en referencia con los objetivos de la evaluación.
El propósito
del caso de estudio es proporcionar un cuadro, que suele ser más
fiable que las
mONITOREO 127
Si los casos de estudio incluyen el análisis de los documentos,
datos
estadísticos y ejecución, ellos son conocidos principalmente como
una
herramienta de observación de campo y un medio para entrevistar a
personas
directamente implicadas en el programa, tales como los funcionarios
y las
partes interesadas.
Los casos de estudio son útiles para complementar las
evaluaciones
cuando se tienen ejemplos demostrativos de hallazgos en el
monitoreo. Son
herramientas principalmente cualitativas por recoger información
subjetiva.
FODA (fortalezas, oportunidades, debilidades, amenazas)
El análisis FODA es una herramienta de análisis de estrategia.
Combina el
estudio de las fortalezas y debilidades internas del programa, con
el estudio
de las oportunidades y amenazas externas (entorno). El objetivo del
análisis
es tomar en cuenta los factores internos y externos, maximizar el
potencial
de las fortalezas y oportunidades, al tiempo que minimiza el
impacto de las
debilidades y amenazas. El análisis FODA se prepara generalmente a
través de
reuniones con las partes interesadas o expertos en el proyecto.
Puede utilizarse
para identificar posibles enfoques estratégicos. Aunque
originalmente
diseñado para la planificación, esta herramienta se utiliza en
M&E para
asegurar que la estrategia implementada es apropiada para la
situación
descrita en el análisis.
Los análisis FODA son útiles para todo tipo de proyecto y de
análisis bien
sea cuantitativo o cualitativo.
Indicadores
Los indicadores son herramientas vitales para la medición de
avances y
resultados. Por esta razón se hace una exposición detallada de su
alcance y
características. Un buen sistema de M&E depende directamente de
la calidad
de sus indicadores.
Nacional de Estadística en Colombia (2009),
unindicadores
…una expresión cualitativa o cuantitativa observable, que permite
describir
características, comportamientos o fenómenos de la realidad a
través de la
evolución de una variable o el establecimiento de una relación
entre variables.9
Por otra parte, el concepto desempeñoestá basado en el término
anglosajón
de government performance, el cual se refiere a la
productividad, calidad,
oportunidad, responsabilidad y eficacia de los servicios y
programas públicos.
Según Bonnefoy y Armijo (2005):
…El concepto de desempeño en el ámbito gubernamental
normalmente
comprende tanto la eficiencia como la eficacia de una actividad de
carácter
recurrente o de un proyecto específico. En este contexto, la
eficiencia se refiere
a la habilidad para desarrollar una actividad al mínimo costo
posible, en tanto
que la eficacia mide si los objetivos predefinidos para la
actividad se están
cumpliendo10…
Lo anterior lleva a los indicadores de desempeño, empleados para
medir el
progreso de la gestión en el tiempo, con respecto a un valor
objetivo o meta.
Un indicador de desempeño corresponde a una métrica de alto nivel
empleada
para simplificar información compleja y así apuntar al estado
general de un
fenómeno. Permite comunicar tendencias generales y usualmente se
emplea
en el nivel de planificación para mostrar progreso hacia el logro
de metas.
En este sentido, un indicador de desempeño es una medida que
describe el
progreso hacia el logro de uno o más objetivos de un programa, un
proyecto y/o
la gestión de una institución.
Siguiendo los lineamientos del Dane, un indicador (de desempeño)
debe
cumplir con las siguientes tres características: simplificación,
medición y
comunicación.
la realidad, abordando aspectos específicos de alguna de estas
(inter.alia
económica, social, ambiental)
• Medición: un indicador hace comparable una dimensión en el
tiempo, o
respecto a patrones establecidos.
medición de manera unívoca.
Hay otros tipos de valoración de indicadores como el usado en la
presente
consultoría, que se refieren a la metodología SMART. Los
indicadores SMART
deben cumplir con los siguientes criterios de calidad:
ESPECÍFICOS (SPECIFIC) Que sea claro sobre qué, cuándo y cómo va a
cambiar la situación observada
MEDIBLES (MEASURABLE) Que sea posible cuantificar los fines y
beneficios
ALCANZABLES (ACHIEVABLE) Que sea posible obtener el nivel de
cambio reflejado en el indicador
RELEVANTES (RELEVANT) Que se enfoquen en aspectos clave y
necesarios
A TIEMPO (TIMELY) Que establezca un período de tiempo en
el que sea posible el cálculo
Economía
Existen diversas taxonomías para clasificar los indicadores de
desempeño.
En el presente documento se toman las empleadas por el Banco
Mundial11 y
la Comisión Económica para América Latina y el
Caribe – CEPAL.12 A partir de
estas, los indicadores se ordenan teniendo en cuenta dos aspectos:
i) el nivel de
intervención, y ii) la dimensión del desempeño. El primero hace
referencia a la
cadena lógica de intervención de
insumos – procesos – productos – resultados
intermedios y finales, mientras que el segundo establece los
criterios de
eficiencia, eficacia y economía, y calidad a partir de los cuales
se valora el
desempeño.
El uso de indicadores SMART es recomendable para todo proceso
de
monitoreo, bien sea a través de indicadores cuantitativos o
cualitativos
Dimensión del desempeño
A continuación en el figura 6 se describe en detalle cada
dimensión de
desempeño para los tipos de indicadores:
1. Eficiencia
Se entiende como la utilización de una combinación óptima de los
recursos
para la provisión de un determinado producto. Establece una
relación de
causalidad entre la productividad física y el costo de los factores
e insumos
utilizados en la generación de un bien o servicio.
2. Eficacia
Se relaciona con el grado de cumplimiento de los objetivos
planteados.
Establece una relación de causalidad entre lo programado y lo
logrado,
independientemente de la cantidad de recursos o actividades
empleadas
11 Kusek, Jody; Rist, Ray, 2004. ‘Ten Steps to a
Result-Based Monitoring and Evaluation System’. Banco
Mundial, Washington DC.
12 Ibid. Bonnefoy, Juan Cristóbal; Armijo, Marianela, 2005.
Efectos -
Impactos
Eficacia
Productos
130 mONITOREO
para tal fin. Se centra en el nivel de productos y resultados, con
especial
énfasis en la medición tanto en la entrega de productos como la
población
objetivo beneficiada (cobertura). Para su medición, es
indispensable
contar con metas previamente definidas a través de procesos
de
planificación estratégica.
3. Economía
Dimensión a partir de la cual se establece un juicio de valor en
torno a cuán
bien son administrados los recursos financieros en la producción de
los
bienes y servicios. Mide la capacidad de gestión para generar y
movilizar
adecuadamente los recursos financieros para el cumplimiento de
las
metas planteadas.
En resumen, los tipos de indicador responden a cuántos insumos se
utilizaron,
cuántos procesos se adelantaron, cuántos bienes y servicios se
entregaron
y cuáles son los efectos finales logrados. Mientras que las
dimensiones del
desempeño permiten saber en qué medida se cumplieron los objetivos,
cuál
es el nivel de satisfacción de la calidad percibida por los
usuarios, y qué tan
económica y eficiente fue su producción.
2. Herramientas de análisis
Previo y posterior a la captura de la información, es muy
importante diseñar y
desarrollar mecanismos de análisis y reflexión sobre el M&E,
sus herramientas
y resultados. Para esto es importante que se organicen espacios de
análisis
como los siguientes:
Planes de trabajo
Las sedes regionales y la unidad central de M&E en el DNP,
deben preparar
planes de monitoreo y seguimiento; dichos planes deben describir
en
forma detallada los recursos, la priorización de proyectos a
monitorear, la
programación, las actividades que se deben realizar, y los
productos previstos.
En ellos se deben indicar con claridad, los calendarios y las
personas y/o
instituciones responsables de aportar los insumos y producir los
resultados.
Los planes de M&E deben utilizarse como base para vigilar los
progresos, y
deben incluirse en el GESPROY.
Espacios de retroalimentación en el terreno
Además de hacer inspección en terreno, los productos físicos
y los servicios
del proyecto supervisado, las visitas deben prestar especial
atención a
la interacción con los grupos destinatarios para obtener sus
opiniones
sobre la forma en que el programa o proyecto les está afectando
(directa o
indirectamente, positiva o negativamente), y las soluciones que
proponen para
los problemas percibidos. Para estas visitas, el responsable de
M&E deberá
llevar consigo la información de avance registrada en el GESPROY y
hacer su
validación en terreno.
mONITOREO 131
Es muy importante que la información a socializar con las
comunidades
durante las visitas de M&E se base en acuerdos de metas y
seguimientos,
es decir, los indicadores y metas de seguimiento deben ser
conocidos
previamente por la comunidad en términos de la oferta realista por
parte
del SGR. Por ejemplo, si en el tema de mejoramiento de vivienda se
quiere
medir la satisfacción y no solamente la cobertura, entonces sobre
ese tipo de
información debe basarse la visita de M&E: número de personas
satisfechas, o
usando el horno ahorrador, en lugar de porcentaje de cobertura con
los hornos.
Las personas que realicen visitas sobre el terreno, deben preparar
sus
informes bien en el lugar de ejecución o inmediatamente después de
las
visitas, prestando especial atención a la pertinencia y el
rendimiento,
incluyendo las señales iniciales de posibles problemas o
logros.
Reuniones de M&E – Rendición de
cuentas
Dentro del contexto del monitoreo y la evaluación, la
retroalimentación es al
mismo tiempo un producto y un proceso. Como producto, la
retroalimentación
es la información que comprende las conclusiones y recomendaciones
a partir
del M&E, y que debe ser transmitida a las partes involucradas
en reuniones
de M&E. Como proceso, la retroalimentación implica la
organización y
presentación de la información pertinente en forma adecuada, la
difusión
de esta información entre los destinatarios y, sobre todo, la
utilización de
esa información como base para la toma de decisiones y la promoción
del
aprendizaje.
Las reuniones de monitoreo y espacios de gestión de
conocimiento,13
pueden ser un medio eficaz de difundir la retroalimentación en
forma de
enseñanzas sustantivas derivadas de la experiencia, que pueden ser
de interés
en todas las fases de la gestión del SGR. Es importante identificar
qué
aspectos de la retroalimentación son útiles para las necesidades
concretas de
información de los actores dentro del SGR.
El uso de la retroalimentación depende de la mayor o menor
orientación
hacia la acción, y de la oportunidad de la información, así como de
su
pertinencia. La retroalimentación debe estar orientada a la acción,
es decir,
concebirse de tal manera que pueda favorecer la toma de decisiones
en el ciclo
general de gestión.
Adicional a la retroalimentación de los actores, el M&E
debe cumplir su
función como insumo para la toma de decisiones en aspectos
financieros
sobre priorización, asignación, desembolsos, focalización de
recursos, en
aspectos estratégicos en cuanto a temáticas, acciones específicas
en terreno,
realineación de estrategias, y en cuanto al nivel de desempeño. A
este respecto
es importante recomendar que el programa conjunto defina y comparta
un
cronograma de reuniones de seguimiento con la
comunidad.
13 Ver Capítulo de Gestión del Conocimiento.
Reuniones de seguimiento internas (DNP)
El objetivo de las reuniones de seguimiento con el equipo técnico,
es
implicarlos en el intento de resolver los problemas relacionados
con los
proyectos, creando así espacios de reflexión y participación que
redunden en
mejores resultados. Teniendo en cuenta los problemas y las
cuestiones que se
van a abordar, esas reuniones podrán realizarse en diferentes
niveles y lugares,
con mayor o menor frecuencia.
Las reuniones de seguimiento a nivel interno, deben desarrollarse
con el
equipo técnico regional y también con la unidad central. En estos
espacios
se puede revisar el avance por región, utilizando el GESPROY como
insumo
para analizar avance de actividades, logro de productos, lecciones
aprendidas
y evolución de los indicadores de gestión en M&E. Es muy
importante
identificar aciertos y desaciertos, así como cuellos de botella y
obstáculos para
retroalimentar.
En estos espacios es importante que los equipos lleven la
información
sintetizada y prioritaria sobre aspectos positivos y negativos en
el desempeño
del monitoreo. Esta puede ser presentada por la unidad de monitoreo
y
evaluación, y se debe exponer el estado de avance, incluyendo (i)
los objetivos
cumplidos y los progresos desde la última actualización, (ii)
metas, y (iii)
lecciones aprendidas. Se recomienda que la periodicidad de
reuniones de
seguimiento sea bimensual o trimestral y que cada sesión dure una
jornada
completa.
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA –
MONITOREO
La definición de Monitoreo por parte del SGR es ‘…la función de
monitoreo
consiste en la recolección, consolidación, análisis y verificación
de la
información correspondiente a la administración de los recursos del
Sistema
General de Regalías y su ejecución’.
El artículo 8 del Decreto 414 de 2013 dispone que el monitoreo se
realizará a
partir de metodologías diferenciadas de acuerdo con la labor de los
órganos y
actores del mismo, desarrolladas y expedidas por el Departamento
Nacional de
Planeación.14
1. Resultados del proyecto TBA-DNP
El principal logro en el tema de Monitoreo, fue la elaboración
conjunta
TBA-DNP y la posterior formalización de la resolución sobre
metodologías
mONITOREO 133
diferenciadas de Monitoreo 2620 de 2013. Este documento normativo,
es clave
por dar orientaciones formales al componente de Monitoreo en el
marco
del SMSCE y el SGR. Dicha resolución incluye 6 anexos metodológicos
de
monitoreo:
1. Metodología diferenciada para el monitoreo al ciclo de las
regalías.15
2. Metodología diferenciada para el monitoreo a la ejecución
de proyectos de
inversión, y el giro de recursos a los mismos.16
3. Metodología diferenciada para el monitoreo a los
excedentes de liquidez, y
a las inversiones financieras derivadas de éstos.17
4. Metodología diferenciada para el monitoreo a la
administración de
recursos destinados al ahorro pensional territorial, y al fondo de
ahorro y
estabilización.18
5. Metodología diferenciada para el monitoreo a la ejecución
de asignaciones
diferentes a los recursos de ahorro y de inversión.19
6. Anexo técnico no 8. control social.20
Durante el proceso de acompañamiento, el consultor experto de
M&E por
parte de TBA se entrevistó con 20 personas de la Dirección de
Regalías (ahora
Dirección de Vigilancia y Control), y se desarrollaron 16
reuniones, en donde se
discutieron ajustes según las siguientes sugerencias y
recomendaciones
de TBA:
15 Metodología diferenciada para el monitoreo a la
presentación, viabilidad, priorización y
aprobación de los proyectos. Esta metodología se desarrolla en el
Anexo Técnico No. 2 y
aplica para la información presentada por las Secretarías Técnicas
de los OCAD, respecto de las etapas previstas en los
capítulos IV y V del Título I del Decreto 1949 de 2012, referentes
a la viabilización y registro, y a la priorización y aprobación por
el OCAD.
16 Esta metodología se desarrolla en el Anexo Técnico No. 3 y
aplica para la información reportada por la entidad pública
ejecutora de los proyectos financiados con recursos del SGR,
que corresponde a la incorporación de los recursos en el
presupuesto de la entidad, la programación de la ejecución, la
contratación y el avance físico y financiero de los
mismos.
17 Esta metodología se desarrolla en el Anexo Técnico No. 4 y
aplica para la información reportada por las entidades
beneficiarias o ejecutoras de recursos del SGR respecto de
los movimientos, saldos, medidas cautelares e inversiones
financieras realizadas a través de las cuentas maestras
autorizadas o registradas por el SMSCE del DNP.
18 Esta metodología se desarrolla en los Anexos Técnicos No.
5 y 6 y aplica para la información reportada por los actores
del SGR que intervienen en la administración, distribución, ahorro,
giro y desahorro de los recursos del Fondo de Ahorro y
Estabilización – FAE, y los destinados al ahorro
pensional que administra el Fondo de Ahorro Pensional
Territorial – FONPET.
19 Esta metodología se desarrolla en el Anexo Técnico No. 7
que aplica para la información de ejecución presupuestal
reportada por las entidades ejecutoras de recursos de
funcionamiento del SGR, de SMSCE y de fiscalización de la
exploración y explotación de los yacimientos y el
conocimiento y cartografía geológica del subsuelo.
134 mONITOREO
1. Especificación de los objetivos de cada metodología.El
objeto de cada
anexo debe establecer de manera específica por qué es importante el
anexo y para qué. Del texto se debe deducir fácilmente la finalidad
de la
metodología y su justificación. La resolución inicial solo tenía un
objeto
descriptivo, y la versión final cuenta con una finalidad más
precisa de la
medición
2. Definición de factores clave de éxito. Toda medición
en M&E debe partir
de establecer los factores clave de éxito del proyecto o
intervención.
Estos factores permiten delimitar los atributos y el foco del
monitoreo;
por ejemplo, en los OCAD, la oportunidad o agilidad es un factor
clave,
entonces se debe establecer un indicador de