Red de recursos de evaluación y aprendizaje, REDCREA

viernes, 25 de enero de 2013

La evaluación: un desafío para el aprendizaje (Raboso Campos, Eva - Redcrea)


JORNADAS Educación para el Desarrollo , GALICIA 2012


¿Porqué evaluar?, ¿para qué?, ¿qué vamos a evaluar?, ¿quiénes van a participar en la evaluación y cómo?.....son preguntas clave que es importante plantearse antes de iniciar un proceso de evaluación: son las  respuestas a estas preguntas las que finalmente van a definir la función que cumplirá y su utilidad. A partir de ahí podremos, por ejemplo, explorar y valorar las distintas maneras de abordar la evaluación y tomar decisiones respecto a quienes la llevarán a cabo dentro del amplio abanico de opciones que, de una forma creativa, se pueden proponer.

Abordaremos también el cuestionamiento sobre el porqué evaluar y qué ocurre cuando no se llevan a cabo este tipo de procesos, qué dificultades y ventajas tiene evaluar programas de educación para el desarrollo y cómo incide en la capacidad de mejora y aprendizaje.


¿Por qué evaluar externamente?
Esta es la primera pregunta motivadora que nos plantearon para desarrollar nuestra intervención en las jornadas, pero mucho antes de darle respuesta vamos a plantear una serie de cuestiones que nos parece importante resolver previamente.

Empezaremos por una cuestión que, aunque podría parecer innecesaria e incluso obvia, es importante que nos planteemos, y es ver qué significa para cada una y uno de nosotros la palabra evaluar. Si escribiéramos lo que pensamos en un papel es muy probable que tuviéramos numerosas definiciones, y muy posiblemente relacionadas con nuestra experiencia personal (¿a quién no se le vendrán a la mente los exámenes del colegio?) o profesional, lo que puede condicionarnos o modular nuestras actitudes y expectativas ante una evaluación.  Por ejemplo, una persona que trabaje en un área técnica puede pensar que evaluar es averiguar si se están cumpliendo los objetivos de los programas o proyectos que se están desarrollando, otra que se desempeñe como educador/a podría por el contrario pensar en medir el nivel de conocimientos, aptitudes y habilidades de las y los estudiantes, a otros/as la palabra evaluar puede sugerirles expresiones como controlar, comparar, fiscalizar.....

De la evaluación que vamos a hablar aquí es de un proceso que se "viste" inicialmente sólo con dos conceptos básicos: el primero es que se trata de un proceso sistemático, y el segundo que evaluar es valorar. Una definición que nos gusta por su sencillez y recoge estos dos elementos es la siguiente: "Proceso para recoger y analizar sistemáticamente una información que nos permita determinar el valor o mérito de algo" (Joint Committe on Standards for Educational Evaluation).

Os proponemos entonces pensar en la evaluación como un proceso en el que en su núcleo no tiene más que estos dos elementos, y que mediante un trabajo "artesanal" y por tanto único, se va diseñando y construyendo para ajustarse a cada caso específico. Por eso, mucho antes de ponernos a evaluar, es importante hacernos una serie de preguntas clave.

Una de las primeras preguntas que conviene hacerse es ¿qué papel va a desempeñar la evaluación?, o dicho de otro modo ¿qué función esperamos que cumpla la evaluación?; la respuesta tiene mucho que ver con la MOTIVACIÓN, es decir ¿qué nos mueve a hacer una evaluación?, puede ser el interés por aprender, mejorar los programas, ayudar a tomar decisiones; generalmente cualquiera de ellas tiene cabida en una de las tres grandes funciones que pueden cumplir las evaluaciones (Stufflebeam y Shinkfild, 1987):

·         RETROALIMENTACIÓN O MEJORA
Evaluación como mecanismo para la retroalimentación y el aprendizaje sobre la propia práctica, instrumento de perfeccionamiento y mejora, garante de la calidad.
·         RENDICIÓN DE CUENTAS O RESPONSABILIDAD
Evaluación como instrumento que permite rendir cuentas, en los distintos niveles de responsabilidad, sobre la gestión y los resultados de un programa.
·         ILUSTRACIÓN acciones futuras
Iluminar o dar luz para acciones futuras, evaluación sistemática de programas que arrojan información para contribuir a saber más sobre los programas y cómo abordar problemas y necesidades de la población.

De estas tres funciones, las dos primeras son las que con frecuencia están en la mente de la mayor parte de las organizaciones que se deciden a abordar procesos de evaluación (la segunda claramente influenciada por el origen público de la mayor parte de los fondos destinados a Educación para el Desarrollo); la tercera es una función deseable, pero ¿qué ocurre en el caso de la Educación para el Desarrollo (en adelante ED)?, pues que aún no se cuenta con suficientes experiencias de evaluación de programas y proyectos, y por tanto son limitadas las posibilidades reales de llevar a cabo ejercicios de síntesis que permitan pensar en una incidencia real en el corto y medio plazo en la construcción de conocimiento sobre las diferentes formas de abordar la ED, y dependerá de si se mantiene o no el impulso en este tipo de procesos para que la situación cambie en el futuro. Pero volvamos a los otros cometidos:

Cuando la función principal que se quiere cumplir es la MEJORA, se nos presenta una buena oportunidad para que el propio proceso evaluativo sea en sí mismo un espacio para LA REFLEXIÓN Y EL APRENDIZAJE. En este caso va a ser importante tener en cuenta, no sólo el análisis del programa en sí, sino también el contexto organizativo (quién o quiénes se ocupan de la evaluación, qué lugar ocupa la evaluación en el organigrama, con qué frecuencia se realizan, qué importancia se le está dando, etc.), es decir la predisposición y la experiencia de la organización (grado de "cultura" de evaluación), y por tanto que nivel de aprovechamiento de los espacios que se generarán es posible alcanzar; por ejemplo, no es lo mismo una organización donde la evaluación se concentra en los niveles técnicos, que aquella en la que también se implican los órganos de decisión institucional; y tampoco asumirán de igual forma el proceso aquella en la que la gestión de la evaluación está a cargo del departamento de administración que la que tiene un equipo propio dedicado al seguimiento y evaluación de los programas incluido en su organigrama institucional.

Dicho esto, vamos a aprovechar para completar la definición anterior y añadamos "color" con las dos primeras funciones, tendríamos entonces que evaluar es "recoger y analizar sistemáticamente una información para poder comprender y dotar de significado a lo que ocurre en un programa, de lo que se deducirán unos juicios específicos que permitan rendir cuentas y tomar decisiones sobre su mejora
(Magíster Evaluación de Políticas Públicas, UCM).


Una segunda pregunta es ¿para qué evaluar?, es decir ¿qué propósitos tiene la evaluación?; como respuesta a esta pregunta nos encontramos con un amplio abanico de posibilidades, que podemos agrupar teniendo en cuenta dos ideas básicas: tomar decisiones y aprender.

En el primer caso, cuando queremos facilitar la toma de decisiones, estamos hablando de ayudar a hacer correcciones intermedias en la ejecución de, por ejemplo, un programa o proyecto, elegir la mejor entre varias alternativas, decidir si se continua, se amplía, se institucionaliza, o por el contrario se corta, acaba o se abandona un programa, examinar nuevas ideas y/o programas o decidir si se continua con la financiación; cuando lo que queremos es facilitar el aprendizaje organizativo estaremos buscando con la evaluación ofrecer información sobre su práctica a las y los profesiones que intervienen en los programas, enfatizar o reforzar los objetivos de un programa, rendir cuentas y poner la atención de las y los profesionales de la organización a las expectativas del público, entender, saber más sobre la intervención o registrar la historia del programa (adaptado de C. Weiss, 1998).

A su vez, podemos encontrar que, pueden existir también una serie de propósitos encubiertos o abusos de la evaluación, como son el buscar el aplazamiento del programa, retrasar decisiones o buscar que se la propia evaluación la que las tome, legitimar una decisión ya tomada, dar publicidad al programa evaluado, etc.

En todo caso, lo que normalmente nos encontramos es que las organizaciones (y personas) que se plantean llevar a cabo una evaluación, si ésta es meditada y no está excesivamente influenciada por requisitos administrativos externos (evaluaciones "estandarizadas"), lo que buscan es que la evaluación les ayude a tomar decisiones sobre la mejora de los programas (no es raro encontrase equipos que afirmaban que en su organización se reúnen mucho pero para planificar y coordinar actividades, casi nunca para hablar de "lo que está pasando"). Luego lo que se debería buscar es que la evaluación ofrezca información útil y que se garantice la aplicabilidad sus resultados, es decir que tanto el proceso como los resultados de la evaluación sean útiles. Pero ¿cómo podemos asegurar que así sea?:

En primer lugar volvemos a insistir en que cada evaluación es única, por tanto necesita que sea capaz de dar respuesta a cada situación evaluativa, que exista flexibilidad metodológica (sin perder sistematicidad y rigor) y que seamos creativos y adaptativos al entorno en el que se desarrolla el proceso; además podemos tener en cuenta algunos elementos prácticos, sobre los que coinciden numerosos autores, y que se refieren a que las y los evaluadores deberían hacer:

  • Tener en cuenta el contexto específico de la evaluación.
  • Identificar los destinatarios de la evaluación e implicarles en el diseño de la evaluación.
  • Mantener un fuerte y frecuente contacto y aportar resultados intermedios a lo largo del proceso de evaluación.
  • Ajustar los informes a las necesidades de los destinatarios, usando una variedad de formatos, incluyendo informes cortos, presentaciones, idear oportunidades para la interacción (sesiones grupales, talleres, etc.).
  • Presentar ilustraciones reales y concretas de los hallazgos.
  • Presentar los resultados a tiempo.
  • Usar un leguaje simple y claro.


Una tercera pregunta es ¿qué evaluar (objeto)?; parece la más sencilla si respondemos por ejemplo "el programa" o "el proyecto", y entendemos por tal una intervención con un mayor o menor grado de estructuración y con unos fines previstos. En la práctica no lo es tanto, ya que se trata de objetos dinámicos - que van cambiando en el tiempo, y en los que va influyendo la interacción entre diferentes actores sociales - por tanto, el objeto se va construyendo. Nuestra experiencia nos dice que en programas de Educación para el Desarrollo se suele contar con un documento de formulación en el que se recoge la estructura del programa, pero ni siempre es así, y puede que sea necesario "reconstruir el objeto"; también es posible que aunque se disponga de este documento formal, los distintos actores implicados tengan en su mente programas que pueden resultar bastante distintos entre sí.  Así que primero es necesario ponerse de acuerdo sobre lo que se evalúa, y luego acotarlo, es decir poner algunos límites al "evaluando": qué periodo se evalúa, qué componentes, en qué zonas, etc. El objeto a evaluar tiene que quedar muy claro antes de empezar a evaluar.

“Evaluar un proyecto de educación para el desarrollo en su globalidad resulta extremadamente difícil. No se puede evaluar todo a la vez. Una de las pistas propuestas para la evaluación en educación para el desarrollo es orientarse hacia la evaluación de segmentos del proyecto, precisando lo que se quiere evaluar, por qué y cómo. Cada evaluación responderá así a una cuestión específica” (Thierry De Smedt, Por una evaluación segmentada).

Una cuarta pregunta es ¿quiénes van a participar en la evaluación y cómo?; esta es una pregunta clave, ya que de su respuesta va a depender en gran medida la utilidad de la evaluación.

Una de las razones por las que es importante esta cuestión es porque es el momento de decidir quién planteará las preguntas de evaluación, es decir, de quién o quiénes se recogerán las preocupaciones e inquietudes sobre el programa y/o sobre su trabajo, y por tanto quiénes tendrán luego información útil para la toma de decisiones y el aprendizaje. Para estos actores la evaluación se convierte entonces en una oportunidad para saber qué está ocurriendo con el programa y actuar en consecuencia, lo que resulta especialmente importante cuando la organización no cuenta con otros mecanismos de retroalimentación interna o externa (ej. seguimiento).

Sin embargo, no hay duda de que tanto el marco normativo como el político – estratégico influye en el enfoque que finalmente es posible asumir a la hora de evaluar una intervención de cooperación para el desarrollo, en general, y de educación para el desarrollo en particular. Las evaluaciones pre ordenadas, con criterios considerados como “imprescindibles” (eficacia, eficiencia, impacto...), son el referente más generalizado para las organizaciones, incluyéndose  con mayor o menor intensidad en la mayoría de los términos de referencia de las evaluaciones de ED. Así nos encontramos con cierta frecuencia que  los términos de referencia elaborados de esta forma, acaban siendo un documento que si bien orienta la labor del evaluador/a a la vez limita la posibilidad de asumir estrategias destinadas a descubrir los propósitos y preocupaciones de todos los actores involucrados como una fase fundamental del proceso, así como la visión no lineal de los pasos a seguir durante la evaluación (el ideal es que se permitan procesos con idas y vueltas, o pasos simultáneos).  En la práctica, es fácil que nos encontremos con unas necesidades informativas ya elaboradas, que con frecuencia se identifican sin un proceso de consulta a los principales actores involucrados, o cuando se lleva a cabo, con mecanismos que no siempre se adaptan a las condiciones y contexto de los/as consultados/as. Por otro lado es claro que en muchos casos las personas que se ocupan de elaborar los términos de referencia no necesariamente tienen la formación o la experiencia suficiente en procesos participativos y de evaluación como para abordar con éxito esta primera y fundamental etapa.

A partir de este momento, y teniendo en cuenta lo anterior (que no se hayan recogido desde el principio las preocupaciones, necesidades quejas y cuestionamientos de los distintos agentes críticos que están implicados de una u otra forma en los programas) es especialmente importante la gestión que se haga de la participación en la evaluación. El abanico de posibilidades es amplísimo, pero en la práctica habrá condicionantes que obligarán a tomar decisiones sobre quién y cómo: el tiempo, presupuesto, interés de cada grupo, etc. En todo caso, creemos que es importante tener en cuenta un enfoque participativo en todo el proceso. No hay que olvidar que los principales actores implicados en el programa tienen información importante para la evaluación, pero no solo como fuentes de datos, sino como intérpretes del valor- los méritos o deficiencias que se pueden hallar; el equipo evaluador puede ayudar a que estos mismos actores se involucren en la organización de la evaluación, y tomar decisiones clave sobre las preguntas de evaluación (o cuestiones de estudio), y la manera de informar de los resultados, pasando de colaboradores a "dueños conjuntos de la misma" (Stake, 2004, p.271), lo que, volvemos a insistir es clave para el uso de la evaluación. Es importante igualmente hacer la diferenciación entre un enfoque “informativo” y un proceso participativo, en donde la evaluación buscaría no solo recoger y transmitir información, sino obtener el valor sobre una información analizada y contrastada con las y los actores

En este momento ya tendríamos respuesta a las funciones que queremos desempeñe la evaluación, los propósitos, el objeto, quiénes participan y cómo, y las necesidades informativas y preguntas que se quiere que la evaluación de respuesta.

Ahora si sería ya momento de abordar una de las preguntas orientadoras que nos propusieron para esta sesión: ¿por qué evaluar externamente?, ya que a la hora de decidir qué estrategia evaluadora vamos a adoptar, es muy relevante la elección entre una evaluación interna (y añadimos) independiente y la autoevaluación.

Primero habría que definir lo que significa evaluación externa. Se refiere a la clasificación según el agente evaluador, cuando la realiza alguien que ajeno al programa, que no tiene relación con su financiación, planificación o ejecución es externa; e interna cuando el agente evaluador son las y los responsables del programa, o una unidad interna que financia, planifica y/o ejecuta el programa; en una posición intermedia estarían las evaluaciones mixtas o también llamadas internas asistidas.

Pero no vamos a quedarnos aquí, en realidad esta clasificación podríamos entenderla como una simplificación de la realidad, si tenemos en cuenta que al final la clave es la perspectiva con que se mire el proceso de evaluación, es decir, si tenemos en cuenta el PAPEL que desempeña o POSICIÓN que ocupa el evaluador respecto al proceso de evaluación en sí y respecto a cada uno de los agentes críticos del programa, el abanico de posibilidades entre interno y externo empieza a ampliarse considerablemente. ¿Qué opción elegir?, una forma práctica de tomar la decisión es ver si realmente la organización cuenta con los elementos necesarios para llevar a cabo una autoevaluación, y que básicamente son tres: que disponga de equipos internos que puedan estar a cargo de todo el proceso de evaluación, que cuenten con formación y experiencia previa en evaluación y que tengan disponibilidad de tiempo para la evaluación.

Además, hay una serie de problemas que podrían frenar las iniciativas de evaluación interna o auto evaluación que van desde la resistencia de algunas personas o áreas de la institución a formar parte como "objeto" de evaluación, que se tengan otras prioridades institucionales (que aflore la idea de que con la evaluación se está "perdiendo el tiempo"), o que no se logren abordar problemas más de fondo.

Si no se dan las condiciones de partida, y se prevé que puedan aparecer alguno de los problemas señalados, la opción de una evaluación externa puede convertirse en una buena alternativa (siempre que exista el tiempo y el presupuesto suficiente para que se haga con calidad).

En el momento que se decide por una evaluación externa, las posibilidades o el grado de "externalización" puede ser en la práctica múltiple y no deja de estar muy relacionada con lo que hemos hablado antes, es decir, con la participación. En la medida que la participación se amplía a diferentes actores y en las diferentes fases de la evaluación la distancia entre evaluación externa e interna se va  diluyendo (por ejemplo, podríamos pensar que una parte de la recogida de datos para la evaluación de un programa de ED que se desarrolla en un centro educativo, la haga el profesorado,  y no el equipo evaluador externo, pero para ello tienen que estar dispuestos y que se les facilite las herramientas que necesitan). En todo caso, como mínimo, conviene contar con un facilitador con formación y experiencia en evaluación que garantice que el proceso se va conduciendo sin perder de vista los objetivos de la evaluación y con un nivel adecuado de calidad, y que se definan desde el inicio y con claridad el rol y funciones que asumirá cada uno de los actores, incluido el equipo evaluador, siendo coherentes con las decisiones que se tomen al respecto.

¿Qué efectos positivos tiene evaluar procesos de educación para el desarrollo/ciudadanía global?

Los efectos positivos de llevar a cabo evaluaciones se derivan de la exposición anterior (aprendizaje, mejora, toma de decisiones oportuna, etc.), además podemos abordar la evaluación de forma que nos permita la reflexión sobre las distintas dimensiones de los contenidos que se trabajan en ED y decidir el enfoque y el uso de la estrategia más adecuada a la hora de transmitirlos (enseñanza - aprendizaje), por lo que es básico, y recomendaríamos, que esta triple concepción de contenidos se evalúen en este tipo de intervenciones, son:

CONTENIDOS CONCEPTUALES: como hechos, conceptos y principios, se espera lograr aprendizajes memorísticos, de relación y comprensión. El factor a evaluar es el saber.

CONTENIDOS PROCEDIMENTALES: uso de distintas acciones y estrategias para alcanzar metas, se busca el aprendizaje en conocimientos y uso de habilidades. Se evalúa el saber hacer.

CONTENIDOS ACTITUDINALES: actitudes, valores y normas, se busca lograr una predisposición a actuar de forma aceptada socialmente. Se evalúa el saber valorar.

Pero vamos también a plantear la pregunta al revés: ¿qué ocurre si no hacemos evaluaciones de programas de ED o se hacen con una baja calidad?

Efectivamente, estaremos trabajando sin saber qué está ocurriendo realmente, y no sólo si se estarán logrando o no los objetivos y resultados que se esperaban obtener, sino tampoco si los procesos que estamos desarrollando son los más adecuados, si hay elementos de la estructura o del contexto que están influyendo, etc., estando la toma de decisiones orientada sólo por “intuiciones” más o menos sustentadas. En nuestra experiencia, además hemos podido observar que las herramientas de seguimiento que se ponen en marcha en programas se centran especialmente en registrar información sobre las actividades que se realizan (personas implicadas en cada actividad, número de sesiones o talleres, etc.) y no tanto aún en el efecto y sentido que éstas están teniendo para avanzar en el desarrollo de las estrategias y los propósitos de las intervenciones de ED.

Uno de los estudios publicados en el año 2011 por el Centro de Educación e Investigación para la Paz, (Diagnóstico de la ED en España) afirmaba que si bien en ED ha habido avances en el diseño de estrategias y en la planificación de programas, este avance no estaba siendo acompañado de evaluaciones que permitieran identificar qué funciona y que no, y porqué, con lo que se estaba perdiendo la oportunidad de rentabilizar experiencias y aprendizajes acumulados. Recomendando la necesidad de avanzar en este sentido y procurando la difusión de los resultados.


¿Qué dificultades presenta evaluar procesos de educación para el desarrollo/ciudadanía global?

En este caso, y a nuestro entender, son más las características específicas de la ED que favorecen la evaluación de este tipo de intervenciones que las dificultades (especialmente en comparación con proyectos y programas de cooperación), vamos a verlas:

Para empezar, tenemos la posibilidad de incluir elementos prácticos que facilitan la utilización de los procesos de evaluación: podemos conocer el contexto específico de la evaluación con precisión, identificar con facilidad a los potenciales destinatarios de la evaluación e implicarles desde la etapa de diseño de la evaluación (incluyendo sus necesidades informativas), es posible mantener un contacto frecuente entre los distintos participantes en el proceso y plantear estrategias para que se apropien de los resultados intermedios, además de los finales de la evaluación. Además hay elementos operativos y técnicos que se facilitan en este tipo de programas, ya que es posible organizar la evaluación y la planificación del trabajo de recopilación de datos utilizando herramientas canalizadas por sistemas online que amplían considerablemente las muestras y técnicas con las que se puede trabajar, es posible aprovechar algunas técnicas de ED como opciones metodológicas para la recopilación de datos en la evaluación (nos referimos sobre todo a la adaptación de dinámicas de animación socio cultural con los/as jóvenes, con las que sueles estar más familiarizados, y que en Redcrea ya estamos utilizando como alternativa al los grupos de discusión), y además podemos contar con información periódica de centros de investigación y observatorios sobre aspectos sobre los que trabaja la ED en el ámbito nacional, útil para llevar a cabo medidas de comparación.

Sin embargo entre las y los gestores de programas de ED es frecuente encontrar opiniones que apuntan que es complicado evaluar estas intervenciones. ¿Porqué?, la raíz del problema puede estar, no tanto en la naturaleza en sí de las intervenciones (no hay que olvidar que la evaluación ha estado casi desde su origen vinculada a la educación, y hay numerosas experiencias en este campo), sino en el hecho de que la ED esté incluida y forme parte de la Cooperación para el Desarrollo y, por tanto, que se espere que se apliquen los mismos criterios y las mismas herramientas que se utilizan en este ámbito. En consecuencia es habitual que se perciba que las evaluaciones que se plantean con estas bases poco tienen que ver con la ED, ya que:

·         La cooperación española muestra un evidente sesgo hacia las evaluaciones pre – ordenadas por criterios (por una clara influencia del Comité de Ayuda al Desarrollo CAD[1] de la Organización para la Cooperación y el Desarrollo Económico (OCDE) que se dedica al seguimiento y la evaluación de las políticas de desarrollo de los países integrantes, y de la que España forma parte), que promueve que se planteen las preguntas de evaluación a partir de dichos criterios, lo que no siempre acorde con las necesidades de información de las evaluaciones de ED, especialmente si partimos de procesos participativos para la identificación de necesidades y preguntas de evaluación.

·         Esta forma de abordar la evaluación tiene su principal base en el enfoque del marco lógico (tipo de planificación orientada por objetivos), que se percibe como alejado del enfoque de procesos con el que se identifican las organizaciones y equipos que trabajan en ED, y que no busca tanto comprender lo que ocurre en el programa sino que se orienta de forma prioritaria hacia una valoración que pivota sobre todo en los resultados obtenidos.

Independientemente de esta situación (cuyo análisis da para mucho pero que se saldría del tema de la presentación), los análisis de evaluabilidad de los programas que hemos tenido la ocasión de evaluar, es decir, qué tan evaluable es una intervención, nos muestran que las principales dificultades que se presentan tienen que ver con la ausencia o debilidad de líneas de base de los programas (¿de dónde se partía?); la propia lógica interna de las intervenciones (calidad de la planificación), especialmente en cuanto a "racionalizar" el alcance de los objetivos en el tiempo y con los recursos que se tienen a disposición, y el diseño de indicadores válidos para la medición de los efectos; y la existencia y disponibilidad de información (muy relacionado con los sistemas de seguimiento internos).

En todo caso, y para terminar, si las organizaciones tienen predisposición y capacidad para incorporar aprendizajes, si el clima institucional es favorable a este tipo de procesos de retroalimentación, y si se dan las condiciones y medios para que se puedan abordar evaluaciones de calidad, las dificultades son plenamente superables.



Eva Raboso
Antonio Luján
Red de Recursos de Evaluación y Aprendizaje, REDCREA



[1] Los criterios de evaluación que propone el CAD son eficiencia, eficacia, impacto, pertinencia y viabilidad, que ponen en relación los elementos básicos de los programas con un diseño orientado por resultados (objetivos general y específico, resultados , actividades e insumos).

No hay comentarios: