sábado, 27 de octubre de 2012

VIII Conferencia REDLACME


La Red de Monitoreo y Evaluación de América Latina y del Caribe realizará su VIII conferencia en la ciudad de San José de Costa Rica. El evento organizado por  MIDEPLAN, el BID y el BM, está programado del 3 al 5 de diciembre del 2012. En esta ocasión el tema principal seleccionado es: El Fortalecimiento del Monitoreo y la Evaluación para Políticas Públicas Inclusivas.

Más información en la página web de la red: http://redlacme.org/events/viii-conferencia-redlacme-en-costa-rica

martes, 23 de octubre de 2012

Tipos de evaluación


Según el cronograma

Evaluación ex ante: Determinación general de la pertinencia, la factibilidad y la sostenibilidad potencial de una intervención para el desarrollo antes de tomar la decisión de otorgar financiamiento.  Términos conexos: evaluación inicial, evaluación previa, pre-evaluación.

Evaluación ex post: Evaluación de un proyecto o programa que se efectúa una vez que ha concluido. Puede emprenderse inmediatamente o algunos años después de terminado el programa. Determina los resultados y el impacto del proyecto (esperados e inesperados) con relación a las metas definidas a nivel de propósito y fines, tomando en consideración los supuestos señalados en la matriz de marco lógico. Busca determinar si el proyecto realmente contribuyó a resolver el problema identificado.

Evaluación de término medio: Evaluación que se efectúa a mediados del período de implementación de la intervención. Término conexo: evaluación formativa. Valora principalmente los criterios de pertinencia, eficacia, eficiencia y oportunidad del proyecto, analiza los aspectos sobre el diseño y la ejecución, además es una etapa para verificar las condiciones reales sobre los supuestos definidos en la formulación y los riesgos actuales para el proyecto.

Evaluación de ejecución final: la que se realiza al momento de la culminación de la fase de la ejecución del proyecto. Evalúa la eficiencia de la ejecución de las actividades para haber conseguido los productos (costos, tiempos, y cantidades de productos); y  permite ajustar la línea base que fue elaborada en la preinversión, si fuera necesario. Los principales puntos de atención son la pertinencia, la eficacia, eficiencia y oportunidad, lecciones aprendidas sobre el diseño, la ejecución y la sostenibilidad.

Según el objetivo
Evaluación de impacto: Forma parte de la evaluación ex post. Es el proceso de valoración de las consecuencias a mediano y largo plazo que tiene un proyecto para su población objetivo (personas, hogares e instituciones) y su entorno, sean estas deseadas (planificadas) o no deseadas. Se evalúan los cambios deseados y observables de tal manera que se pueda constatar que son atribuibles a la intervención, y se determina su nivel de contribución para satisfacer necesidades, mejorar las condiciones de vida, y promover cambios de actitudes, comportamientos, etc.
Evaluación de resultado: Es la valoración del progreso de cumplimiento del propósito u objetivo central del proyecto, así como de los posibles impactos parciales que se puedan estar generando derivados de la intervención a la fecha de la evaluación. Esta evaluación se realiza durante la operación del proyecto, generalmente, después del tiempo en que se espera haber alcanzado beneficios en poblaciones meta por lo menos el 75%. Este tiempo se puede asociar a un promedio de dos años de iniciadas las actividades de puesta en marcha y operación del proyecto.
Según el agente
Evaluación externa: Evaluación del proyecto o programa realizada por entidades y/o individuos ajenos a los organismos donantes y de ejecución. Es una evaluación imparcial realizada por un grupo de expertos independientes. Aporta nuevos conocimientos y evita los conflictos de intereses que puede generar una autoevaluación. Un monitoreo y una Auditoria Financiera independiente puede ser usada para medir el desempeño frente a los reglamentos, procesos, deberes y responsabilidades.
Las ventajas de la evaluación externa residen en la distancia de los evaluadores con respecto a lo evaluado y su independencia. La experiencia que poseen  los evaluadores les permite trazar comparaciones y ver cosas que las personas directamente implicadas en el proyecto/programa no ven. La evaluación externa es el único medio para realizar un análisis transversal. Los puntos débiles de la evaluación externa son los enormes esfuerzos que hay que invertir en su preparación y ejecución, así como su limitación temporal y el alto costo de algunas de ellas. 
El poco tiempo del que se dispone sólo nos permite obtener un segmento de las distintas realidades, lo que excluye un análisis profundo. Además, la evaluación externa siempre representa una instantánea en la que los acontecimientos actuales pueden ocultar completamente la apreciación de un espacio de tiempo más largo. Pero como esta evaluación se basa en los resultados del monitoreo, puede, de todos modos, percibir parcialmente la dinámica de una acción determinada. 

Evaluación interna o autoevaluación: Evaluación de una intervención realizada por una unidad y/o personas que dependen de la gerencia o dirección de un organismo donante, asociado o de ejecución. En la autoevaluación, los actores de un programa o proyecto analizan su propio trabajo desde el interior. Los puntos fuertes de la autoevaluación son, por una parte, el conocimiento profundo y específico que poseen los/las evaluadores/as sobre el proyecto y sobre las instituciones participantes y, por otra parte, la flexibilidad del proceso, el cual se puede repetir periódicamente con menos gastos y permite corregir rápidamente el rumbo. Es eficaz si los/las participantes son suficientemente autocríticos/as y por lo general contribuye a fortalecer el espíritu de equipo y la cooperación. 
Los puntos débiles es la falta de independencia y de distancia entre evaluado-evaluado, además, la autoevaluación no permite analizar cuestiones de pertinencia en un contexto global.
Evaluación independiente: Evaluación realizada por entidades y personas que no están bajo el control de los responsables del diseño y la implementación de la intervención. La credibilidad de una evaluación depende en parte el grado de independencia con la que se llevó a cabo. La independencia significa que la evaluación no está sujeta a ninguna influencia política ni a presiones de ninguna organización. Se cuenta con pleno acceso a la información y total autonomía para llevar a cabo las investigaciones y notificar lo que se haya determinado.
Evaluación conjunta: Evaluación en la que participan distintas entidades donantes y/o asociados. Existen varios grados de asociación, dependiendo de la medida en que cada parte coopera en el proceso de evaluación, y combina sus recursos de evaluación. Las evaluaciones conjuntas pueden ayudar a superar problemas de atribución al evaluar la eficacia de los programas y las estrategias conjuntas, el carácter complementario de los esfuerzos respaldados por diferentes asociados, la calidad de la coordinación de la asistencia, etc.
Evaluación participativa: Método de evaluación en la que los representantes de entidades y partes interesadas (incluidos los beneficiarios) trabajan conjuntamente en el diseño, implementación e interpretación de una evaluación. El concepto de asociación denota metas compartidas, responsabilidad común por los efectos directos, clara rendición de cuentas y obligaciones recíprocas. Los asociados pueden ser gobiernos, entidades de la sociedad civil, organizaciones no gubernamentales, universidades, asociaciones profesionales y empresariales, organismos multilaterales, empresas privadas, etc. La evaluación participativa resalta valores como el aprendizaje compartido, los procesos democráticos, las decisiones en común, la copropiedad, el mutuo respeto y el fortalecimiento.
Según el objeto o uso
Evaluación formativa o de proceso: Evaluación cuyo objeto es mejorar el desempeño y que generalmente se realiza durante la fase de implementación de un proyecto o programa. 
Evaluación sumativa: Estudio que se realiza al final de una intervención (o de una fase de esa intervención) para determinar en qué medida se produjeron los resultados previstos. El objetivo de la evaluación sumativa es proporcionar información sobre el valor del programa.
Según el alcance
Evaluación de procesos: Evaluación de la dinámica interna del proyecto, programa y donantes, sus instrumentos de política, mecanismos de prestación de servicios, procedimientos de gestión y los vínculos que existen entre todos estos componentes.
Evaluación de programas: Evaluación de un conjunto de intervenciones estructuradas para alcanzar objetivos específicos de desarrollo a nivel global, regional, de país o sectorial. 
Evaluación de proyectos: Evaluación de una intervención individual para el desarrollo que tiene por objeto alcanzar objetivos específicos con recursos especificados y dentro de calendarios de ejecución determinados, a menudo enmarcada en un programa más amplio. El análisis de costos y beneficios es uno de los principales instrumentos de evaluación de proyectos con beneficios mensurables. Cuando no puedan cuantificarse los beneficios, el enfoque adecuado sería el de eficacia en función de los costos.
Evaluación de programas sectoriales: Evaluación de un conjunto de intervenciones para el desarrollo dentro de un país o un grupo de países en un sector, todas las cuales contribuyen al logro de un objetivo específico de desarrollo. Un sector incluye actividades de desarrollo que se agrupan comúnmente para fines de acción pública, tales como la salud, la educación, la explotación agropecuaria, el transporte, etc. Compara las ventajas e inconvenientes de los diferentes planteamientos o estrategias utilizadas para abordar los problemas del sector. Determina los efectos colectivos de los programas o proyectos en los objetivos del sector.
Evaluación temática: Evaluación de un conjunto determinado de intervenciones para el desarrollo, todas las cuales se refieren a una prioridad específica de desarrollo que abarca distintos países, regiones y sectores. La orientación es similar a las evaluaciones sectoriales, pero en un determinado tema pueden intervenir varios sectores.
Evaluación del programa de país/ Evaluación de la asistencia al país: Evaluación de la cartera de intervenciones para el desarrollo de uno o más donantes o instituciones, y de la estrategia de asistencia que la sustenta, en un país determinado.
Evaluación de políticas: Evaluación colectiva de proyectos o programas relacionados con políticas a nivel sectorial o temático. El objetivo es respaldar la toma de decisiones respecto a las políticas existentes, para alcanzar los objetivos sectoriales o temáticos. La evaluación de las políticas se centra en los criterios de pertinencia, los efectos de las políticas en las personas, eficacia de los mecanismos institucionales para aplicar las políticas.
Metaevaluación: Este término se utiliza para evaluaciones cuyo objeto es sintetizar constataciones de un conjunto de evaluaciones. También puede utilizarse para indicar la evaluación de otra evaluación a fin de juzgar su calidad y/o medir el desempeño de los evaluadores.

lunes, 22 de octubre de 2012

Dificultades para medir el impacto de un programa



En su mayoría los sistemas de monitoreo y evaluación de los programas miden los productos entregados y el número de beneficiarios o usuarios, pero no determinan los resultados y el impacto real en la población. Aunque algunos programas presentan impactos a ese nivel, las metodologías de evaluación empleadas en ocasiones no son confiables, o no es posible determinar el grado de contribución real del proyecto en los cambios detectados. 

Frecuentemente, los programas y proyectos no alcanzan a cumplir las metas previstas, algunas veces por errores en la fase de formulación que han establecido metas poco realistas según los recursos y el tiempo disponible. En otras ocasiones, aunque la formulación era correcta, la gestión del programa no fue eficiente y no logró entregar los productos o servicios a la población objetivo.

Los objetivos e indicadores mal formulados limitan las posibilidades de realizar un monitoreo efectivo y de contar con información válida de la realidad observada. En este sentido, es básico trabajar arduamente en la etapa de formulación para identificar claramente el problema, su magnitud, distribución, intensidad, factores asociados, actores, entre otros. 

Las líneas de base o las evaluaciones Exante son fundamentales ya que bridan la información inicial para lograr las comparaciones posteriores. No es raro encontrarse en programas o proyectos donde al fin se intenta evaluar el impacto del programa solo con informaciones estadísticas locales, sin una verdadera disgregación de los usuarios o beneficiarios del programa y aquellos que no lo fueron.

Son pocos los proyectos y programas que efectivamente han logrado cambios positivos y sostenibles en el tiempo en los grupos beneficiarios, y que han desarrollado procesos evaluativos con validez metodológica, en los cuales podamos creer. Una de las grandes dificultades es la poca prioridad en el tema en la agenda del proyecto, del programa, de los financiadores o donantes.

El déficit tanto en los recursos económicos asignados para el área de monitoreo y evaluación, y a la vez la débil formación de los profesionales en áreas como estadística y metodologías de investigación, limitan aún más el desarrollo de evaluaciones que midan el impacto real de los programas o proyectos. 

Por otra parte, la realidad es compleja y es importante considerar que existe una “brecha de atribución“, y que en los cambios logrados en el desarrollo de una población intervienen múltiples programas, proyectos y factores externos que actúan agregados sobre un mismo objetivo final. 

Basados en este modelo algunas agencias como la GTZ alemana, esperan que los proyectos: a) observen los efectos hasta el nivel del beneficio directo, b) utilicen los resultados de la observación para la auto-corrección y c) en cualquier momento puedan brindar información actual al respecto. 

Entre los aportes del proyecto y los efectos no siempre existe una relación causal comprobable. Entre más nos alejamos de las actividades, mayor es la brecha de atribución, puesto que la influencia de otros factores aumenta. Es decir, no podemos comprobar en cada caso que los cambios observados se hayan producido gracias a nuestras actividades. Pero, en todo caso con ayuda de diversas informaciones obtenidas del monitoreo y la evaluación podemos concluir que existe una relación plausible entre las actividades y los cambios.

Por último, es importante considera los intereses políticos particulares que a veces bloquean los procesos de evaluación, en nuestros países factores como la corrupción dentro de las instituciones públicas, las estructuras altamente politizadas, la falta de independencia entre evaluador y evaluado, y el interés de generar datos  que favorezcan la imagen del desempeño de los administradores de recursos, sin duda afectan el tipo de evaluaciones desarrolladas.