Ante la marcha del Covid-19, el trabajo para el desarrollo se ha visto frente a la imperante necesidad de intervenir con agilidad en nuevos y viejos problemas. Pero cuando finalmente empecemos a salir de la contingencia, inevitablemente nos preguntaremos ¿qué funcionó, ¿qué no y por qué? En esta tercera pieza de nuestra serie sobre aprendizaje para el desarrollo, exploramos un paso previo fundamental para responder a estas preguntas: ¿cómo expresamos el impacto deseado, elaborando hipótesis? Para ello, analizamos dos herramientas que pueden ser útiles para este efecto: el Mapa de Experiencias y los Diagramas Causales.

Pese a la ubicuidad de las evaluaciones de impacto en el campo del desarrollo, las métricas tradicionales que utilizamos para evaluar nuestras intervenciones contienen en algunos casos un defecto fatal: no miden el éxito o fracaso de la intervención según los cambios que se esperaba producir. 

Esto podría ser una cuestión de los recursos disponibles para el monitoreo y evaluación. Cuando no hay un presupuesto designado para desarrollar el marco, definir los indicadores y recolectar, procesar y analizar datos, es razonable elegir indicadores que se podrán reportar sin mayor inversión. Por lo tanto, los indicadores de monitoreo y evaluación muchas veces cuantifican y validan la ejecución de nuestras intervenciones (ej. “se distribuyó X cantidad de dispositivos, se realizaron Y cantidad de talleres, etc.)—indicadores que se generan sí o sí. 

Sin embargo, no siempre evaluamos el impacto de las intervenciones en el desarrollo, o al menos, los indicadores ligados al proceso causal que llevan hacia al impacto deseado.  Por otro lado, cuando un donante exige una evaluación de impacto, disponemos de un presupuesto para estas tareas. Sin embargo, al ser tomado como requisito “externo” y por lo general realizado por consultores externos, la apropiación de la evaluación como un instrumento de aprendizaje puede ser baja. En el peor de los casos, la evaluación de impacto se puede tomar más como un requisito a cumplir que como un recurso.

Esto presenta un problema para los practicantes del desarrollo sostenible, porque implica realizar acciones sin una estrategia explícita de aprendizaje. Actuar sin integrar herramientas para aprender y retroalimentar esas acciones es navegar a ciegas. Con este motivo, y para construir un enfoque de aprendizaje, el PNUD ha incorporado en años recientes nuevas herramientas de evaluación, como la Teoría de Cambio. 

¿Cómo expresamos el impacto esperado? 

Existen numerosas herramientas para expresar una hipótesis. La metodología de “teoría del cambio” debe ser realizada con participación de todas las partes involucradas, en un proceso de análisis de causas y efectos primero, y de fines y medios después, para finalmente seleccionar alternativas para la solución de un problema de acuerdo a la experiencia de los participantes. Sin embargo, su utilización supone recursos en la fase de diseño y elaboración de propuestas de intervención de los cuales no siempre se disponen. Este dilema puede dar lugar a distintos problemas como la elaboración pos hoc de las teorías de cambio, los sesgos hacia los conceptos claves y las prioridades de los donantes, o un exceso de complejidad que no facilita la tarea de diseñar una evaluación focalizada y válida del impacto esperado.

 Para complementar la Teoría del Cambio y generar hipótesis claras, concisas y testeables en contextos donde el tiempo y el presupuesto para el diseño de proyectos es limitado, el #AccLabPy propone dos herramientas. La primera, es el Mapa de Experiencia. Esta herramienta nos ayuda a identificar los elementos e hitos principales de cualquier intervención ya realizada. El proceso de simplificar radicalmente la experiencia de una intervención nos proporciona la materia prima para la segunda: la creación de una declaración “Si/Entonces” o de un Diagrama Causal. 

El diagrama causal aprovecha y hace explícito uno de los puntos fuertes del trabajo aplicado en el campo del desarrollo. Implementar una intervención, observar su trayectoria y evaluar sus resultados nos da una vista privilegiada de los procesos y mecanismos causales operantes en el campo social de nuestro interés. La elaboración de un diagrama causal aprovecha esta riqueza de percepciones y aprendizajes y nos obliga a hacerlas explícitas.

El proceso es simple. Involucra identificar las variables dependientes e independientes del proceso social en cuestión—cuál es el resultado deseado y cuál es el tratamiento que propone la intervención—y proponer la secuencia de eventos o efectos, las variables intermediarias, que relacionan a la una con la otra. El modelo también permite la introducción de variables interactivas o condicionantes—factores que potencian el efecto de otras variables o que las anteceden.

Aprendiendo a aprender mejor

 El #AccLabPy puso a prueba la utilidad de estas herramientas en dos espacios internos, y en dos talleres con participantes externos al PNUD. En el primer espacio, los participantes observaron cómo crear secuencias muy simples y explícitas de acontecimientos vinculados causalmente, la herramienta no sólo es útil para elaborar hipótesis, sino que además contribuye a la comunicación de la intervención a través del storytelling. Una cadena causal representa el modelo esquelético de los principales hitos y del movimiento procesual y narrativo de cualquier intervención.

En el segundo, los participantes pudieron comparar directamente el uso de teorías del cambio versus los diagramas causales como herramienta para explicar el impacto de intervenciones sociales. Varios participantes comentaron que, al usar los diagramas causales, lograron producir una descripción más efectiva del impacto esperado, debido a que la naturaleza misma de la herramienta los obligaba a simplificar esa descripción a sus aspectos fundamentales. 

Además de estas experiencias, pudimos experimentar con estas herramientas en talleres de aprendizaje con participantes de dos concursos de innovación social: la edición 2020 del Programa de Pequeñas Donaciones (PPD), enfocado en apoyar emprendimientos rurales liderados por mujeres; y la edición 2020 del I-Lab, que con el nombre “Semillas del Bienestar” buscó fortalecer soluciones innovadoras en temáticas de seguridad alimentaria. 

En ambos talleres, los participantes diseñaron Mapas de Experiencias, Diagramas Causales y una versión aún más simplificada de formulación de hipótesis utilizando el modelo Si/Entonces. El objetivo de estos ejercicios era poder explicitar y refinar las hipótesis relacionadas a sus propuestas para los concursos. 

En el caso del PPD, los participantes coincidieron con sus homólogos en los talleres internos del PNUD que los diagramas causales les ayudó a desarrollar el storytelling de sus propuestas. Luego del taller, el programa decidió incluir las herramientas de elaboración de hipótesis en el formato oficial de postulación, debido a la buena recepción que tuvieron las herramientas en el taller. En las próximas semanas se le hará una evaluación de seguimiento a los proyectos para profundizar los aprendizajes arrojados por el uso de estas herramientas. 

Los participantes del I-LAB constataron que los diagramas causales ocupan un punto óptimo en cuanto a la simplificación de la realidad. La simplicidad extrema de los resultados del ejercicio SI/ENTONCES permiten expresar sin ambigüedad la intervención propuesta y el impacto esperado. Sin embargo, el diagrama causal, además de generar mayor claridad, ayudó a re-pensar las propuestas de valor de los proyectos.

El salto final—de la hipótesis a la experimentación

Cómo pudieron constatar los participantes de varios de los talleres organizados por #AccLabPy, las hipótesis son simplificaciones radicales de realidad. Pero, como Ricitos de Oro y la sopa de los osos, para los fines de la experimentación y el aprendizaje, los Diagramas Causales representan un punto medio óptimo entre complejidad y la simplicidad, ofreciendo el detalle suficiente para focalizar una intervención o una propuesta de valor. Los diagramas causales ayudan a predecir resultados y a descartar predicciones fallidas. Por ende, son muy útiles para guiar el diseño, la implementación, y la evaluación de nuestras intervenciones.

En la siguiente (y última) entrega de esta serie ahondaremos este último punto. Nos enfocaremos en cómo dar el paso de una hipótesis bien diseñada a un protocolo de evaluación de impacto o de proceso utilizando, por ejemplo, indicadores y fuentes de verificación asociados. Si tenés preguntas o querés compartir otras herramientas y metodologías para el desarrollo de hipótesis de impacto, dejanos un comentario y nos aseguramos de enlazar estos recursos en nuestro cierre de la serie inaugural del #AccLabPy, sobre aprendizaje para el desarrollo.

Read this blog post in english here.