Pasos para diseñar un sistema de monitoreo de impacto

La guía de la GTZ y la CDE, diseñada por Herweg K y Steiner K, presenta de manera resumida y esquemática los pasos para un sistema de monitoreo, es un buen lineamiento para tener una idea general del proceso. Los 6 pasos para diseñar el sistema son:

PASO 1. Acordar los objetivos del monitoreo del impacto

En el primer paso identificar los participantes del monitoreo del impacto y aclarar los intereses y expectativas en el proceso. En consecuencia, los participantes deberán fijar los objetivos para el monitoreo, y establecer los métodos e instrumentos con los que se estructurará y ejecutará el monitoreo del impacto. Debe designarse un responsable para la definición del proceso.

PASO 2. Identificación de las áreas de impacto

En el segundo paso los participantes deben identificar posibles áreas de impacto en los diversos niveles. Es muy útil formular preguntas directrices: por ejemplo, ¿qué cambios en la conciencia misma o en el accionar de qué organizaciones, grupos e individuos se esperan?. Seleccionar con los participantes las áreas de impacto más importantes o relevantes, que se quieren observar durante la marcha del proyecto. Para este propósito, es mejor concentrarse en pocas áreas de impacto.

PASO 3. Formulación de la hipótesis de impacto

En el tercer paso definir supuestos (formular hipótesis) respecto a qué servicios o productos del proyecto generan cuáles cambios en los diversos niveles y en diversas áreas. Esto estimula la reflexión sobre posibles efectos y crea conciencia sobre los innumerables efectos deseados e indeseados, provocados por el proyecto.

PASO 4. Desarrollo de indicadores

Para identificar en qué medida se verifican las hipótesis de impacto, y el proyecto alcanza los cambios pretendidos e indeseados, los participantes necesitan indicadores. Antes de desarrollar nuevos indicadores, se debe verificar si existen sistemas de monitoreo en funcionamiento con indicadores con los que se pueda reconocer los cambios pretendidos. En caso de que no sea así, identificar y formular posibles indicadores con la participación de los usuarios/ grupos meta.

PASO 5. Selección de los métodos de levantamiento y recolección de la información

En el quinto paso, teniendo presente los recursos materiales, personales y financieros disponibles, aclarar la calidad y cantidad de los datos, como por ej., exactitud, confiabilidad y representatividad de las informaciones, así como las exigencias correspondientes a los métodos de levantamiento.

Con base a las expectativas y exigencias debe establecerse un conjunto de métodos e instrumentos (levantamiento total o parcial, comparación antes-después y/o comparación con grupos de control, métodos cualitativos, cuantitativos y/o semi-cuantitativos, encuestas escritas u orales y/o la observación). Posteriormente, desarrollar las instrumentos y métodos propios, que correspondan a las necesidades específicas del proyecto y los participantes. Adicionalmente, definir quién ejecuta el levantamiento de la información (colaboradores(as) del proyecto o terceras personas).

PASO 6. Interpretación de la información y retroalimentación

El sexto paso: la retroalimentación continua de informaciones obtenidas por el monitoreo para la planificación y ejecución del proyecto y la introducción de correcciones es el paso más importante. Sin este paso, la ejecución de los pasos anteriores tendría poco sentido. Sin embargo, los objetivos del monitoreo del impacto deberían ser la orientación de los efectos pretendidos a la planificación y ejecución del proyecto, aprender de las experiencias obtenidas y mejorar la calidad de los servicios del proyecto. Por eso, en este paso aclarar cuándo, cómo y quién analizará e interpretará las informaciones obtenidas mediante la observación. También se debe determinar, cuándo y cómo se tomarán las decisiones y se harán las correcciones resultantes.

Enfoques cuantitativos y cualitativos en la evaluación

En un proceso de evaluación la determinación del tipo de investigación a realizar, dependerá del problema de estudio y de los objetivos que nos planteamos. La investigación cuantitativa estudia la relación entre variables cuantificadas, la cualitativa estudia relaciones situacionales y estructurales, trata de explicar las realidades sociales, su sistema de relaciones y sus estructuras dinámicas.

La realidad social está conformada por la interrelación de múltiples componentes ya sean individuales, familiares, institucionales, estatales, internacionales, entre otros. Dependiendo del problema a estudiar y de los recursos disponibles para la investigación serán seleccionados metodologías de investigación de carácter cuantitativo o cualitativo. Ejemplos: Si queremos estudiar la fecundación o la tasa de nacimientos en una población dada podríamos utilizar un sondeo o encuesta poblacional de carácter cerrado a toda la población o parte de la misma, incluir datos sociales, económicos, educacionales, estado civil, número de hijos, etc –enfoque cuantitativo- . 

Por otra parte, podemos abordar el tema de la fecundidad desde un abordaje cualitativo para detectar aquellos factores que están afectando las decisiones de la mujer y el hombre respecto a la maternidad y al número de hijos que desea tener la pareja. En este caso se podrían realizar grupos focales o nominales con mujeres, varios dependiendo del nivel educacional o social de las mujeres, o realizar entrevistas a profundidad de un número limitado de mujeres, hasta lograr saturación de la información. 

Este tipo de metodología podría aportar datos importantes sobre los factores que están limitando o favoreciendo las tasas de fecundidad, el rol de la mujer, sus expectativas en torno a los hijos, entre otros datos que ayudarían a comprender el problema. La investigación cualitativa podría aportar información previa, para elaborar encuestas cuantitativas o por el contrario podría complementar los hallazgos de una investigación cuantitativa.

En la realidad social influyen aspectos culturales, etnográficos, demográficos, políticos o legislativos, laborales, comerciales, económicos, ambientales, religiosos, ambientales, todos con posibilidades de ser abordados tanto por enfoques cualitativos como con cuantitativos. Se dice que el análisis cualitativo es útil para analizar casos específicos en mayor profundidad, mientras el cuantitativo es más generalizado, busca la generalización de los resultados.

Ninguna de las dos clases de investigaciones es completa, cada una tiene sus ventajas y desventajas, por ejemplo la investigación cuantitativa tiende a simplificar los procesos sociales, al limitar los factores que muchas veces se pueden estudiar, de igual manera es estática, representa la realidad en un punto del tiempo. Por otra parte la cualitativa no es generalizable y solo puede ser asignados sus resultados el grupo específico de investigación.

Principios éticos y buenas prácticas en evaluación

Los principios éticos son la base sobre la cual actuamos y tomamos decisiones, su peso es mayor cuando las acciones que realizamos afectan a otras personas directa o indirectamente. En este sentido, un evaluador o un grupo de evaluación, cuyos resultados orientan la toma de decisiones que afectan grupos sociales, tiene una alta responsabilidad para hacer un trabajo con alta calidad técnica y regido por principios éticos. Aunque, el tema parece bastante simple no lo es, principalmente cuando no existe una independencia entre evaluador y evaluado.

Algunos lineamientos responden a requerimientos técnicos indispensables para una evaluación de calidad, otros a decisiones profesionales y algunas a razones éticas. Podemos recordar aquí algunas indicaciones específicas para los evaluadores, que algunos autores (Everitt 1996) han recomendado:

• Emplee los métodos más apropiados y  las técnicas con las normas de calidad más altas.
• Valide la información que usa mediante múltiples fuentes (incluyendo las contrapartes, los beneficiarios, los usuarios, diferentes grupos de interés) dentro del alcance de la evaluación.  
• Proporcione la educación, habilidades y experiencia necesarias al equipo evaluador.
• Sólo trabaje dentro de los límites de entrenamiento profesional y su competencia 
• Notifique tempranamente al cliente de cualquier conflicto de interés.
• Represente adecuadamente los procedimientos, datos y resultados, y trabaje para prevenir cualquier falsificación por otros. 
• Grabe todos los cambios hechos durante la aplicación de la evaluación, informado de desviaciones en el plan de trabajo de la evaluación y explique las causas.
• Asegure el derecho de las personas para proporcionar la información en confianza,  manteniendo la confidencialidad. 
• Emplee las estrategias para que el evaluador no se perciba a nivel local como un crítico de su sociedad. 
• Conozca las creencias, modales y costumbres de individuos en los países del destinatario para dar un respeto apropiado: las creencias religiosas, dinámica interpersonal, etc.,
• Identifique cualquier  limitación o incertidumbre que podrían impactar en las interpretaciones. 
• Reconozca el debate moral y el derecho legítimo de todos a expresar sus opiniones. 
• Reconozca que existe el poder, falta de poder y fortalecimiento. 
• Desarrolle un diálogo genuino entre las organizaciones y usuarios. 
• Promueva la franqueza a la crítica, las quejas, las preguntas. 
• Habilite y promueva que los grupos den su opinión sobre el programa o política. 
• Los procesos democráticos y honrados de evaluación son esenciales para asegurar las prácticas buenas y justas. 
• Antes de asumir una evaluación y planificarla es importante conocer el sistema de monitoreo instaurado.

Criterios de evaluación de programas sociales

En el campo de los proyectos sociales los criterios de evaluación incluyen algunos de los utilizados para medir los resultados de una empresa o negocio como son la eficacia y la eficiencia, pero a la vez al buscar resultados e impactos de tipo social; y no solamente económico, utiliza algunos criterios adicionales como son la pertinencia, el impacto y la sostenibilidad. Veamos una breve definición de cada uno de ellos.

Pertinencia Medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes. La pertinencia suele referirse a si los objetivos o el diseño de una intervención siguen siendo adecuados aún cuando hayan cambiado las circunstancias.

Eficiencia: Relación de logros sociales obtenidos (propósito) con los recursos e insumos utilizados. Es el grado o nivel en que se han usado y organizado los recursos (humanos, materiales, financieros y tiempo principalmente) en la ejecución del proyecto. Los indicadores de eficiencia permiten establecer la relación de productividad en el uso de recursos utilizados, presentando las desviaciones entre lo programado y lo ejecutado.

Eficacia: Es el grado o nivel de cumplimiento del objetivo del proyecto o los productos del mismo. En este punto es necesario analizar si los éxitos o fracasos se atribuyen al cumplimiento de sus acciones o a factores externos, dándole especial atención a los supuestos. Los indicadores de eficacia expresan el logro de objetivos y metas cumpliendo los estándares predeterminados de cantidad, calidad, tiempo y costo, con relación a lo planificado o previsto.

Impactos: Efectos a largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no. Los efectos pueden valorarse únicamente cuando ha transcurrido un período significativo después de la terminación de un programa o proyecto. Por ello, es fundamental que los programas o proyectos se diseñen de tal manera que hagan posible una valoración de los defectos en una fase ulterior, por ejemplo, mediante la preparación de datos de referencia y el establecimiento de indicadores para el monitoreo y la evaluación.

Como impacto en el desarrollo institucional se define la medida en que una intervención mejora o debilita la capacidad de un país o región de hacer uso más eficiente, equitativo y sostenible de sus recursos humanos, financieros y naturales, por ejemplo, a través de:

(a) mecanismos institucionales mejor definidos, más estables, transparentes y aplicados de manera eficaz y revisible y/o

(b) mejor ajuste de la misión y la capacidad de una organización con su mandato, que se deriva de estos mecanismos institucionales. Estos impactos pueden incluir los efectos intencionales o no intencionales de una acción.

Sostenibilidad: Continuación de los beneficios de una intervención para el desarrollo después de concluida. Probabilidad de que continúen los beneficios en el largo plazo. Situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del tiempo. Sostenibilidad es la posibilidad de prolongar los resultados positivos de un programa o proyecto una vez concluida la cooperación técnica encauzada a través de ese programa o proyecto. 

Por sostenibilidad estática se entiende la disponibilidad constante de los mismos beneficios que se consiguieron gracias al programa o proyecto terminado con destino a los mismos grupos beneficiarios. Sostenibilidad dinámica es la utilización en un contexto distinto o en un entorno cambiante o la adaptación de los resultados del programa o proyecto a esas condiciones distintas por iniciativa de los grupos originales destinatarios y/u otros grupos.

Contribución al desarrollo de la capacidad: Como criterio del éxito, la contribución efectuada al desarrollo de la capacidad significa el grado en que un programa o proyecto permite a los grupos destinatarios ser autosuficientes y permite a las instituciones  gubernamentales, el sector privado y las organizaciones civiles utilizar las experiencias positivas obtenidas por el programa o proyecto en el intento de resolver cuestiones de desarrollo más amplias.

El desarrollo de la capacidad es al mismo tiempo un medio y un fin para el desarrollo humano sostenible. Permite a las personas realizar sus posibilidades y utilizar sus capacidades mejor y garantiza la identificación con el proyecto o programa y la sostenibilidad de los procesos y resultados de desarrollo. Tiene cuatro dimensiones mutuamente relacionadas entre sí: aprendizaje individual, organizaciones, interrelaciones institucionales y entorno propicio. El monitoreo y la evaluación deben valorar estas dimensiones y sus interacciones.

Para determinar el éxito de un programa o proyecto debe adoptarse un planteamiento integral. Ello se debe a que, si bien un programa o proyecto actúa en un entorno muy específico, funciona también como parte de un sistema más amplio, a saber, el entorno socioeconómico y político que impone los objetivos de desarrollo, el marco de políticas necesario y los mecanismos  institucionales. Si bien un programa o proyecto puede estar condicionado por este sistema en sentido amplio, puede también provocar cambios en él. Por ello, el problema al determinar el éxito es ir más allá de los límites del entorno inmediato del programa o proyecto. En consecuencia, los tipos idóneos de evaluación para determinar el éxito son las evaluaciones finales y ex post.