Buch lesen: «Reforma rural integral: ¿Oportunidad que se desvanece?», Seite 3
Criterios para evaluar los efectos de la política pública
Una política pública tiene el objetivo de resolver un problema social que, después de un debate público pasa a la agenda pública, para convertirse prácticamente en un tema que es competencia de la esfera pública. Una vez programada e implementada, la política debe ser objeto de una evaluación sistemática. Al analizar esta última parte de la política como proceso cíclico, es necesario evidenciar si los grupos objetivo identificados como causantes del problema público, en efecto, modifican su conducta (¿qué impactos?) y si, gracias a ello, la situación de los beneficiarios finales o quienes sufren el problema público mejoró realmente (¿cuáles fueron los efectos reales?, ¿outcomes?). En suma, la evaluación de las políticas públicas busca encontrar evidencia empírica para validar el modelo causal en que se fundamentó.
Subirats y sus colaboradores (2008) definen de manera operacional los “impactos” producidos como aquellos que evidencian los cambios de conducta en los grupos-objetivo y, por otro lado, describen los efectos reales, inducidos sobre los beneficiarios finales (outcomes). En función de estas dos variables, los autores proponen cinco criterios aplicados, generalmente, para evaluar los efectos de una política pública: 1) efectividad, 2) eficacia, 3) eficiencia en la asignación de recursos, 4) pertinencia y 5) eficiencia productiva, como se describe más adelante.
Los actos formales de la implementación de una política pública (outputs) se refieren a los productos finales de los procesos práctico-administrativos, es decir, los resultados tangibles de la implementación; mientras que los “impactos” y los outcomes se refieren a los efectos reales que produce una política pública en el terreno social. En estas circunstancias, se busca examinar, empíricamente, la pertinencia tanto de la hipótesis de intervención (¿los grupos objetivos reaccionan como se había previsto?), como de la hipótesis de causalidad (¿mejoró la situación de los beneficiarios finales gracias a las actuaciones previstas en la política?).
Los impactos de una política pública se definen como el conjunto de cambios de conducta de los grupos objetivo que pueden ser alcanzados directamente a la entrada en vigor de los programas de actuación político-administrativa (PPA), los acuerdos de actuación político-administrativos (APA), los planes de actuación y los actos formales de implementación (outputs) que los concretan, sin importar si tales modificaciones de conducta son o no las deseadas. Así, los impactos representan los efectos reales de las políticas públicas en los grupos objetivo, definidos, a su vez, como los causantes del problema público. Por consiguiente, el estudio debe hacer evidentes los efectos directos de los actos de implementación en los grupos objetivo.
El interés fundamental de quien analiza una política pública es saber si los objetivos de esta pueden alcanzarse con las medidas y los recursos usados en su implementación. La evidencia de los impactos permite verificar la hipótesis de intervención. Así, la modificación de la conducta de los grupos objetivo podría interpretarse como una condición necesaria, pero no suficiente, para alcanzar los objetivos, pues, posteriormente, los efectos reales (outcomes) derivados de esto deben analizarse de manera crítica, cuando se haya mejorado la situación de quienes padecían el problema.
Los outcomes de una política pública se definen como el conjunto de efectos en términos del problema público que se piensa resolver, los cuales pueden ser atribuidos a las modificaciones de conducta de los grupos objetivo (impactos). Vale mencionar que se intenta obtener estos efectos a través de los actos de implementación (outputs) y que todo esto se concreta a través de indicadores que reflejan la evolución del problema que la política pública intenta resolver.
A continuación, se describen los criterios propuestos por Subirats y sus colaboradores (2008), para valorar los efectos de una política pública:
1. La efectividad analiza si los impactos se producen de la manera prevista por el programa político-administrativo y los planes de acción (¿ha sucedido algo?).
2. La eficacia relaciona los outcomes observables con los objetivos planeados (¿ha sucedido lo que se habría previsto?).
3. La eficiencia en la asignación de los recursos compara los outputs con los recursos invertidos (¿se han hecho las inversiones de la mejor manera posible?).
4. La pertinencia de la política pública busca analizar la relación de los objetivos del programa político-administrativo y el problema político que se quiere resolver.
5. La eficiencia productiva de los procesos administrativos que conducen a los actos formales relaciona los outputs con los recursos destinados al programa.
Aquí, es necesario destacar la debilidad relativa de las evaluaciones de las políticas públicas en Colombia, debido, parcialmente, al enfoque positivista predominante que reproduce un tipo de evaluación cuyos resultados se dan a conocer cuando ya no tienen pertinencia política y cuyos impactos observados, no necesariamente son los elementos más centrales para fundamentar la toma de decisiones (Roth-Dubel, 2009).
Aproximación metodológica
En esta sección se describe la aproximación metodológica realizada para efectos del presente ejercicio, es decir, el proceso metodológico para evaluar el seguimiento del Punto 1 del Acuerdo Final. En otras palabras, el CPDR dirigió sus esfuerzos para construir un documento, del estilo de un estado del arte, en el que pudieran analizarse los diferentes documentos institucionales con los que está realizándose seguimiento a la implementación de lo acordado, en este caso específico, la implementación de la RRI. Esto, debido a la preocupación del CPDR por conocer cómo diferentes actores involucrados con el proceso de paz en Colombia vienen realizando el seguimiento a la implementación de este punto. Para el análisis, se tuvieron en cuenta las bases teóricas y conceptuales contenidas en este mismo apartado, referidas a los enfoques o generaciones de la evaluación, así como los criterios expuestos para evaluar una política.
Posteriormente, se seleccionaron y recolectaron diversos informes institucionales de seguimiento y evaluación a la implementación del Acuerdo Final. Esto se realizó teniendo en cuenta, primero, que el Plan Marco para la Implementación de los Acuerdos (PMI) y el Conpes 3932 son las herramientas institucionales para la planeación, implementación y seguimiento de las políticas orientadas a implementarlos; segundo, que a partir de estos han sido construidos y publicados diversos informes para el seguimiento a la implementación.
El principal informe analizado fue el del Instituto Kroc que, a la fecha, ha entregado tres informes y una actualización del tercer informe, hasta febrero de 2019. No sobra recordar que este informe es producto del soporte técnico que tiene en cuenta el Componente Internacional de Verificación y la CSIVI para publicar sus observaciones de cumplimiento del Acuerdo Final.
Por otro lado, también se analizaron los informes de verificación de la implementación del Acuerdo Final en Colombia para los verificadores internacionales Felipe González y José Mujica, en el marco de la Secretaría Técnica del Componente Internacional de Verificación, a cargo del Centro de Investigación y Educación Popular (Cinep) y el Centro de Recursos para el Análisis de Conflictos (Cerac), apoyado por el Fondo Multidonante de las Naciones Unidas para el Sostenimiento de la Paz. Estos informes trimestrales son producto del mandato de 2017 de la Comisión de seguimiento, impulso y verificación a la implementación del Acuerdo Final (CSIVI) para contribuir a la verificación a cargo del componente internacional de verificación.
Se analizaron también otros informes surgidos del interés de diversos actores por apoyar el proceso de posacuerdo en Colombia. Uno de ellos fue el Informe técnico de acompañamiento a la implementación del Acuerdo Final, elaborado por la Organización de Estados Iberoamericanos (OEI), de la mano con el Centro de Altos Estudios Legislativos (Cael) del Senado de la República y varias universidades públicas y privadas del país. Este documento se originó por la preocupación de afianzar los lazos de cooperación económica, cultural y democrática con Colombia, en el contexto y oportunidad que implicó lo acordado en La Habana. De esta manera, el objetivo del informe fue hacer acompañamiento técnico a la implementación del Acuerdo Final, estableciendo niveles de eficacia de lo acordado entre las partes, para dar solución a las causas históricas y estructurales del conflicto social y armado en Colombia (Centro de Investigaciones y Altos Estudios Legislativos - Cael, 2018).
Finalmente, un segundo paquete de informes tenido en cuenta incluyó los reportes de la Fundación Paz y Reconciliación (Pares), ONG sin ánimo de lucro, creada para la investigación y el análisis de la realidad del posacuerdo, entre otros temas. Estos informes tienen el objetivo de hacer un balance complejo sobre la implementación del Acuerdo Final y dar cuenta en detalle de los avances y riesgos de su implementación (Pares, 2018a; 2018b).
Con los anteriores insumos, profesores y estudiantes del CPDR analizaron la información disponible, contrastándola con las bases teóricas mencionadas. Posteriormente, se organizaron varios eventos académicos en los cuales se presentaron los avances del estudio y se generaron nuevas reflexiones frente a la visión de otros actores, incluyendo otros académicos (profesores y estudiantes), representantes de instituciones públicas (Contraloría General de la República), organismos internacionales (FAO, Instituto Kroc) y la sociedad civil (grupos de mujeres, Dignidades Campesinas, Ecomún). Finalmente, se redactó este capítulo, para la divulgación del análisis.
Resultados del seguimiento al seguimiento al Punto 1 del Acuerdo Final como política pública
A continuación, se presentan los resultados del estudio. En primer lugar, se da a conocer lo encontrado en términos conceptuales y en aspectos generales del Acuerdo Final y el PMI. En segundo lugar, se presentan los resultados específicos de las evaluaciones de los informes institucionales publicados.
Resultados en términos conceptuales y en aspectos generales del Acuerdo
En el Punto 1 del Acuerdo Final, aparecen tres conceptos interrelacionados: seguimiento, verificación y evaluación. De los tres, la palabra que menos se repite es verificación, concepto asociado a la garantía de la implementación y cumplimiento de lo acordado, estrechamente ligado a los mecanismos generales de verificación y seguimiento abordados en el Punto 6 de las negociaciones. La segunda palabra menos frecuente es evaluación, pero debe hacerse en los niveles local, regional y nacional. Este concepto se relaciona con la implementación y cumplimiento de lo acordado, a partir de la regulación y supervisión de la calidad de los servicios y la oportunidad de la atención de los programas. Finalmente, la palabra más frecuente es seguimiento, término asociado con la garantía del cumplimiento de metas de los diferentes planes y programas del Acuerdo Final. También es considerado uno de los mecanismos de participación de carácter veedor de las comunidades en estos planes y programas. Cabe aclarar que las palabras seguimiento y evaluación, si bien son abordadas como conceptos distintos en apariencia, son utilizadas constantemente y de manera conjunta a lo largo del documento: “seguimiento y evaluación”.
Dentro de los considerandos del Punto 1 del Acuerdo Final, también se establece que, para lograr una planeación e implementación, efectiva y transparente, y el seguimiento de los diferentes planes y programas asociados al Acuerdo Final, el principio debe ser la participación efectiva (activa) de las comunidades, involucradas directa o indirectamente. Dicha participación, además, debe hacerse en conjunto con las autoridades de los distintos entes territoriales, por lo cual se deduce que es conveniente entablar canales efectivos de comunicación entre las comunidades y las autoridades locales, regionales y nacionales. De esta manera, es posible garantizar procesos de seguimiento y evaluación permanentes sobre el cumplimiento de las metas y sobre la calidad y la oportunidad de la atención en los territorios.
No obstante, conviene aclarar que es en el Punto 6 sobre “mecanismos de implementación y verificación” donde se habla más detalladamente de los responsables del seguimiento a cada componente del Acuerdo Final y de la verificación de su cumplimiento. Entre estos, se cuentan la CSIVI, conformada por representantes del Gobierno nacional y las Farc-EP. Dentro de la CSIVI está contemplado un mecanismo de seguimiento de la comunidad internacional que contribuya a garantizar la implementación del Acuerdo Final y verificar su cumplimiento.
Este último mecanismo está integrado por “un representante de cada uno de los países: Cuba, Noruega, Venezuela y Chile”, países que, “como garantes y acompañantes, han estado presentes a lo largo del proceso de diálogo para poner fin al conflicto” (Gobierno de Colombia y Farc-EP, 2016, p. 185). Dentro de sus funciones, el componente internacional debe realizar actividades de seguimiento y verificación, en coordinación con el soporte técnico ofrecido por el Instituto Kroc. En otras palabras, las observaciones sobre el cumplimiento hechas por el componente internacional deben basarse en los informes del Instituto Kroc, sobre los cuales se profundiza más adelante.
Adicionalmente, en cumplimiento de las disposiciones del Punto 6.1.1 del Acuerdo Final, se discutió y aprobó un PMI, sobre la base de un documento borrador presentado por el Gobierno nacional. Dicho documento fue aprobado en 2017 por la CSIVI y tramitado por el Consejo Nacional de Política Económica y Social (Conpes) a través del Conpes 3932 de 2018[2]. El PMI contiene los propósitos, objetivos, metas, prioridades, indicadores y responsables, asociados a las políticas necesarias para implementar el Acuerdo Final en 2017-2031 (Conpes, 2018a, p. 3). Así pues, el PMI contiene las estrategias de política, indicadores temáticos y metas trazadoras, elementos fundamentales para hacer el seguimiento a la implementación, puesto que, a través de estos, es posible obtener rasgos observables para la medición y verificación (CSIVI, 2017, p. 11).
En ese sentido, en el PMI deben retomarse los propósitos que persigue el Acuerdo Final y, en particular, el Punto 1 sobre RRI. El equipo de trabajo del CPDR contrastó los considerandos, propósitos y principios contenidos en el documento final de las negociaciones, con las estrategias, metas trazadoras, acciones e indicadores plasmados en el PMI. En principio, lo que pudo observarse es que coinciden, al menos de forma temática, los contenidos del Punto 1 del Acuerdo Final con las metas trazadoras del PMI. En la tabla 1.2 se presentan las seis metas trazadoras, con las cuales se pretende orientar las políticas públicas para el cumplimiento del Punto 1.
Tabla 1.2 Metas trazadoras PMI, Punto 1. Hacia un nuevo campo colombiano: reforma rural integral
Fuente: Mesas técnicas, PMI, 2017, en Conpes, 2018b, p. 25.
El PMI fue concebido como la herramienta para garantizar la implementación de lo acordado y facilitar su seguimiento y verificación (Gobierno de Colombia y Farc-EP, 2016, pp. 171-172). Esto significa que se establecieron indicadores y metas que permitan la medición y verificación empírica de la realidad observable, así como la generación de alertas (PMI, 2017). Sin embargo, ninguna de las seis metas trazadoras para la implementación y el seguimiento del Punto 1 brinda elementos técnicos para el seguimiento y la evaluación profunda de las políticas.
Si analizamos la primera de estas metas trazadoras “tres millones de hectáreas entregadas a través del Fondo de Tierras”, en un periodo de doce años, lo primero que surge son pregunta como las siguientes: ¿cuáles tierras?, ¿en qué condiciones ambientales se encuentran?, ¿en qué condiciones sociales, económicas y políticas serán entregadas? y ¿qué garantías de seguridad tienen las personas que las reciben?
Si bien la implementación de la RRI, específicamente, en cuanto a acceso y formalización de tierras por parte del Fondo de Tierras, está reglamentada por el Decreto Ley 902 de 2017, el Plan Marco no especifica los criterios para el seguimiento y la evaluación de la implementación. Por el contrario, se limita a describir algunas de las acciones tendientes a ello, en el marco de la normatividad vigente, y define un indicador para el seguimiento: número de hectáreas entregadas.
Resultados específicos de las evaluaciones institucionales
A continuación, se presentan los resultados de analizar los informes de seguimiento a la implementación del Acuerdo Final, en particular, del Punto 1, sobre RRI. En ese sentido, más allá de abordar el porcentaje de avance en el proceso de implementación o de las acciones específicas adelantadas, se busca identificar los enfoques y metodologías de seguimiento empleadas, a fin de evidenciar sus implicaciones en la evaluación de la política.
En concordancia con lo anterior, los informes tenidos en cuenta fueron analizados y tipificados de acuerdo con las generaciones de evaluación de la política descritas en las secciones previas. También se consideraron sus enfoques epistemológicos y metodológicos. En la tabla 1.3, se observan las principales características de cada informe, en términos del proceso de evaluación de la política, la lógica que guía el proceso, el soporte y los criterios de evaluación. En la tabla se incluyen los roles o actores involucrados en el proceso de evaluación. Con esta primera caracterización, se buscó clasificar cada informe de acuerdo con uno o varios enfoques de evaluación. A partir de esto, se identificaron algunas de sus virtudes y limitaciones particulares.
Tabla 1.3 Tipificación de los informes de seguimiento
Fuente: elaboración propia a partir de CAEL, 2018; Cinep-ppp/Cerac, 2018, 2019; Instituto Kroc, 2017, 2019; Pares, 2018a, 2018b.
Informes sobre el estado efectivo de la implementación del Acuerdo Final en Colombia (Instituto Kroc)
La metodología de evaluación contenida en los informes del Instituto Kroc cumple parcialmente con el tipo de evaluación de la tercera generación, en la que se establecen estándares objetivos de juicio, basados en experiencias previas del instituto en el monitoreo de procesos de paz. Adicionalmente, parte de una contextualización que radica en abordar el Acuerdo Final como documento clave para identificar los objetivos, temas y disposiciones de las políticas. A partir de esto, se construyen los instrumentos técnicos para la recolección, medición y comparación de la información que, en este caso, están basados en la “Matriz del Acuerdo de Paz colombiano”3. El propósito de esta metodología de trabajo es describir y monitorear las acciones implementadas en tiempo real, identificar avances y dificultades y emitir valoraciones o análisis independientes y autónomos, con respecto a las partes: Gobierno colombiano y las Farc-EP.
Los informes están orientados a describir las acciones implementadas hasta el momento, para lo cual se utiliza la matriz mencionada, donde se organizan las disposiciones (compromisos concretos), contenidas en el Acuerdo Final. A partir de esto, se monitorean, rastrean y organizan los datos, para analizar la efectividad de la implementación (disposición por disposición). Esto ha conllevado a medir niveles de avance en la implementación, bajo lógicas de ejecución, pero no de logro, impacto ni pertinencia, especialmente, en la dimensión territorial que implica la implementación o no de la política.
En el segundo informe, publicado en 2017, el instituto aclara que la metodología de trabajo está enfocada, primero, en medir en tiempo real el avance efectivo de la implementación de los compromisos consignados en el Acuerdo Final y, segundo, “identificar patrones emergentes, avances, dificultades, retos y brechas” (Instituto Kroc de Estudios Internacionales de Paz, 2017, p. 7). En ese sentido, con el informe, no se busca medir el impacto de la implementación, entre otras cosas, porque según este instituto, “los impactos, los resultados y las transformaciones solo pueden medirse posteriormente, en retrospectiva, una vez las medidas implementadas han mostrado efectos” (Instituto Kroc de Estudios Internacionales de Paz, 2017, p. 7).
Así pues, el análisis realizado por el Instituto Kroc es principalmente cuantitativo, toda vez que busca medir los avances de la implementación efectiva de los compromisos adquiridos con el Acuerdo Final. Sin embargo, para su análisis, el instituto decidió otorgar el mismo peso relativo a cada una de las disposiciones acordadas, por lo que no cuenta con criterios de ponderación entre estas. En términos de relevancia estructural, esto condujo a igualar todas las disposiciones, por lo que compromisos como “Entregar tres millones de hectáreas a través del Fondo de Tierras” e “Instalar y poner en funcionamiento una instancia de alto nivel para la formulación de lineamientos generales de uso de la tierra” tienen la misma valoración a la hora de proyectar los avances de la implementación. En esa medida, si, por ejemplo, estos dos compromisos fueran hipotéticamente las únicas disposiciones a monitorear y a la fecha se hubiera cumplido la segunda, el porcentaje de avance de la implementación sería de 50%.
Es claro que esa decisión desconoce elementos cualitativos y de orden estructural que tienen los compromisos consignados en el Acuerdo Final, de acuerdo con el objetivo de la política (en este caso la RRI). Este tipo de medición implica mostrar porcentajes de avance por cumplimiento de metas, de modo que se deja de lado un análisis reflexivo que permita evaluar la pertinencia, calidad y satisfacción de las acciones que se adelantan, especialmente, las de implementación territorial.
