Dificultades para medir el impacto de un programa

En su mayoría los sistemas de monitoreo y evaluación de los programas miden los productos entregados y el número de beneficiarios o usuarios, pero no determinan los resultados y el impacto real en la población. Aunque algunos programas presentan impactos a ese nivel, las metodologías de evaluación empleadas en ocasiones no son confiables, o no es posible determinar el grado de contribución real del proyecto en los cambios detectados. 

Frecuentemente, los programas y proyectos no alcanzan a cumplir las metas previstas, algunas veces por errores en la fase de formulación que han establecido metas poco realistas según los recursos y el tiempo disponible. En otras ocasiones, aunque la formulación era correcta, la gestión del programa no fue eficiente y no logró entregar los productos o servicios a la población objetivo.

Los objetivos e indicadores mal formulados limitan las posibilidades de realizar un monitoreo efectivo y de contar con información válida de la realidad observada. En este sentido, es básico trabajar arduamente en la etapa de formulación para identificar claramente el problema, su magnitud, distribución, intensidad, factores asociados, actores, entre otros. 

Las líneas de base o las evaluaciones Exante son fundamentales ya que bridan la información inicial para lograr las comparaciones posteriores. No es raro encontrarse en programas o proyectos donde al fin se intenta evaluar el impacto del programa solo con informaciones estadísticas locales, sin una verdadera disgregación de los usuarios o beneficiarios del programa y aquellos que no lo fueron.

Son pocos los proyectos y programas que efectivamente han logrado cambios positivos y sostenibles en el tiempo en los grupos beneficiarios, y que han desarrollado procesos evaluativos con validez metodológica, en los cuales podamos creer. Una de las grandes dificultades es la poca prioridad en el tema en la agenda del proyecto, del programa, de los financiadores o donantes.

El déficit tanto en los recursos económicos asignados para el área de monitoreo y evaluación, y a la vez la débil formación de los profesionales en áreas como estadística y metodologías de investigación, limitan aún más el desarrollo de evaluaciones que midan el impacto real de los programas o proyectos. 

Por otra parte, la realidad es compleja y es importante considerar que existe una “brecha de atribución“, y que en los cambios logrados en el desarrollo de una población intervienen múltiples programas, proyectos y factores externos que actúan agregados sobre un mismo objetivo final. 

Basados en este modelo algunas agencias como la GTZ alemana, esperan que los proyectos: a) observen los efectos hasta el nivel del beneficio directo, b) utilicen los resultados de la observación para la auto-corrección y c) en cualquier momento puedan brindar información actual al respecto. 

Entre los aportes del proyecto y los efectos no siempre existe una relación causal comprobable. Entre más nos alejamos de las actividades, mayor es la brecha de atribución, puesto que la influencia de otros factores aumenta. Es decir, no podemos comprobar en cada caso que los cambios observados se hayan producido gracias a nuestras actividades. Pero, en todo caso con ayuda de diversas informaciones obtenidas del monitoreo y la evaluación podemos concluir que existe una relación plausible entre las actividades y los cambios.

Por último, es importante considera los intereses políticos particulares que a veces bloquean los procesos de evaluación, en nuestros países factores como la corrupción dentro de las instituciones públicas, las estructuras altamente politizadas, la falta de independencia entre evaluador y evaluado, y el interés de generar datos  que favorezcan la imagen del desempeño de los administradores de recursos, sin duda afectan el tipo de evaluaciones desarrolladas.