Durante mucho tiempo los evaluadores no logran definir el «éxito» de manera significativa. Hace muy poco, el economista Matt Andrews ha publicado un documento de trabajo muy útil que confirma cuánto más cuidadosamente debemos pensar en este importante concepto. La mayoría de nuestras definiciones y medidas del llamado ‘éxito’ tienen serias limitaciones, y esto tiene serias implicaciones para nuestra práctica.
Tiene muy poco significado como definimos el éxito.
El cumplimiento de los objetivos de un proyecto o programa no significa que la intervención haya tenido éxito en la resolución de un problema en particular. Los objetivos establecidos pueden haber sido inapropiados, los objetivos insuficientes desde el principio o las consecuencias negativas no explicadas.
El cumplimiento de un plan de trabajo no tiene sentido si el plan fue defectuoso en primer lugar. El cumplimiento de las expectativas de las partes interesadas plantea la pregunta de cómo se definieron las ‘partes interesadas’ y cómo se identificaron sus expectativas, y si la solución durará.
Obtener un rango de resultados positivos en realidad no cuenta, a menos que las consecuencias negativas potenciales o reales de las acciones hayan sido cuidadosamente estudiadas y se haya entendido su potencial inhibidor.
Muy a menudo, los pequeños porcentajes de mejora promocionados como una indicación de éxito en realidad no pueden considerarse significativos en el panorama general, sin embargo, esto rara vez se señala en las publicaciones, que generalmente se centran más en el mérito técnico que en el significado real, de tales mejoras dentro del panorama más amplio del desarrollo.
Las calificaciones satisfactorias para uno o unos pocos criterios de evaluación del desarrollo (ser relevantes, efectivos, eficientes, tener cierto impacto y demostrar aspectos de sostenibilidad) no cuentan mucho a menos que se agreguen de una manera que haga un argumento razonable para contribuir al éxito del desarrollo.
Éxito del proyecto o éxito de las contribuciones al desarrollo
En su artículo, Matt señala que las iniciativas de política pública representaron alrededor de 13 billones de dólares en 2017, pero rara vez sabemos el alcance del éxito o el fracaso de la política. Los datos y la información evaluativos que abarcan carteras de políticas tienden a ser muy limitados y, por lo general, no son comparables ni accesibles. E incluso las encuestas de ciudadanos no son confiables; Algunos estudios muestran que podrían reflejar «la frustración influenciada por los medios con las condiciones económicas y políticas» en lugar de la experiencia o las opiniones basadas en la evidencia.
Para comprender esta pregunta, Matt estudió 400 documentos que evaluaron o examinaron las intervenciones de política pública del Banco Mundial en varios países entre 2016 y 2018. Encontró que el fracaso ocurre en algún lugar alrededor del 25-50% del tiempo, dependiendo de cómo se defina ‘éxito’ y ‘fracaso’. En el Banco Mundial, la tasa de fracaso es del 24% si la definición se centra en el «éxito del proyecto o producto». Pero es del 51% si la definición se refiere a si la intervención resolvió el problema según lo previsto o si es probable que produzca resultados o impactos de desarrollo más ambiciosos.
Entonces, si se usa la primera definición, parece sugerir que las fallas de las políticas públicas no son tan comunes; ese éxito es más común que el fracaso, siendo el «progreso calificado» el resultado más común. Pero no evalúa si la intervención marcó una diferencia en el desempeño del gobierno o en el desarrollo del país.
El problema con las organizaciones muy metistas
Confirmado por el análisis en este estudio, Matt argumenta que las organizaciones que basan toda su gestión en el cumplimiento de sus metas y objetivos planteados, y casi todos trabajamos con ellas, tienen un sesgo significativo en sus evaluaciones.Es más probable que se centren en el «éxito del proyecto y del producto» que en los «problemas resueltos con impacto en el desarrollo». Esto está muy extendido en la comunidad de evaluación del desarrollo.
Es realmente importante que este estudio resalte la grave falacia de considerar que la evaluación es significativa, incluso si solo considera el éxito del proyecto o programa en forma aislada de las circunstancias circundantes y cómo está incrustado en la noción de «desarrollo». Tal definición de éxito podría funcionar en sociedades que sean razonablemente prósperas, con indicadores sociales y económicos bastante buenos e instituciones estables. Pero en los países que tienen que trabajar duro para mejorar una variedad de indicadores sociales desde una base baja, como la mayoría de los países del Sur Global, esto no es suficiente y, a menudo, ni siquiera es apropiado.
Puede las “teorías del cambio” ayudar con este problema
Las teorías convencionales del cambio rara vez detallan las vías hacia los resultados de ‘nivel superior’ o ‘a más largo plazo’. Las evaluaciones se realizan en función de los resultados previstos o resultados relativamente fáciles de determinar a ‘corto plazo’ o ‘mediano plazo’ que ya están definidos en la etapa de planificación, muy a menudo sin una noción clara de si lo harán o cómo lo harán para contribuir a los resultados del desarrollo.
Las teorías de cambio ciertamente tienen algún valor, especialmente para llamar la atención sobre lo que puede o debe monitorearse y evaluarse en el camino para lograr el resultado final deseable, incluidas las contribuciones al desarrollo.
Para abordar este problema, el Banco Mundial utiliza el indicador ‘Riesgo de los resultados de desarrollo’ para evaluar si es probable que una intervención tenga éxito o no logre o contribuya a los resultados finales deseables (‘nivel superior’). Pero Matt señala que, como la mayoría de las organizaciones, al reflexionar e informar sobre el éxito y el fracaso, el Banco tiende a citar la cifra más baja sin tener en cuenta el riesgo de fracaso (eventual) para lograr resultados esenciales. Así que terminamos con el “éxito del proyecto” o, en el mejor de los casos, el “éxito del programa”.