En este capítulo se abordan las respectivas funciones del Consejo Nuevo León y la administración pública estatal en relación con el monitoreo del Plan Estratégico 2015-2030. Se parte de enfoques comparativos para recomendar la aclaración del sistema de monitoreo institucional y el fortalecimiento del mandato de la administración pública estatal a este respecto. Se resalta la necesidad de incrementar los mecanismos de aseguramiento de la calidad y de control de calidad en el proceso de monitoreo. Asimismo, en el capítulo se analiza la posibilidad de que el monitoreo de los resultados se ajuste a los usuarios y genere una retroalimentación oportuna sobre el desempeño, con el fin de mejorar la toma de decisiones, la rendición de cuentas y la información públicas.
Monitoreo y Evaluación del Plan Estratégico de Nuevo León 2015-2030
3. Monitoreando de los Resultados del Plan Estratégico de Nuevo León
Resumen
Introducción
Un monitoreo sólido significa que forma parte integral del ciclo de las políticas públicas; que se lleva a cabo de manera sistemática y rigurosa; que los responsables de tomar decisiones utilizan sus resultados, y que la información es de fácil acceso para el público (Lázaro, 2015[1]). A los responsables de formular políticas públicas les ofrece las herramientas y evidencia para detectar retos en esta materia, adaptar o ajustar su implementación, así como comunicar sus resultados de forma oportuna y accesible.
En Nuevo León, el monitoreo sólido puede facilitar la planeación y la toma de decisiones operativas al ofrecer evidencia para medir el desempeño y ayudar a plantear preguntas específicas que identifiquen retrasos y cuellos de botella en la implementación. Puede también fortalecer la rendición de cuentas y la información pública en relación con la puesta en marcha del Plan Estratégico, puesto que los datos sobre el uso de recursos se miden y se dan a conocer al público. Sin embargo, el sistema de monitoreo en Nuevo León, bien sea del Plan Estratégico 2015-2030 o del Plan Estatal de Desarrollo, carece de claridad para sus actores y legibilidad para los ciudadanos.
En este capítulo se abordan las respectivas funciones del Consejo Nuevo León y la administración pública estatal respecto del monitoreo del Plan Estratégico. Incluye una descripción detallada del sistema institucional vigente para el monitoreo del Plan Estratégico, desde el proceso de recolección de datos hasta la comunicación de los resultados. Se apoya en enfoques comparativos para recomendar una aclaración de este sistema y el reforzamiento del mandato de la administración pública estatal en este sentido.
En el capítulo se analiza este sistema institucional y se sugiere diversificar los indicadores del Plan Estratégico y robustecerlos para mejorar la calidad general del ejercicio de monitoreo. Desde un enfoque previsor se recomienda el desarrollo de mecanismos de aseguramiento y de control de calidad para fortalecer la credibilidad general del sistema de monitoreo.
Por último, en este capítulo se examina cómo pueden los resultados de este monitoreo ofrecer una retroalimentación oportuna sobre el desempeño ajustada a cada tipo de usuario, con el fin de mejorar la toma de decisiones, la rendición de cuentas y la información.
Aclarando el sistema de monitoreo para sustentar la presentación del Plan
La definición de monitoreo incluida en la Ley de Planeación Estratégica no es exhaustiva y puede causar confusión acerca de su propósito
En Nuevo León, el artículo 18 de la Ley de Planeación Estratégica define el monitoreo, y la evaluación, como “la medición de la efectividad y eficiencia de los instrumentos de planeación y su ejecución (Estado de Nuevo León, 2014[2]). Por tanto, esta definición no ofrece información sobre los objetivos del monitoreo ni sobre la manera en la que debe llevarse a cabo, en términos de metodología y atributos de calidad. Como se mencionó en el capítulo 1, esta definición no distingue entre monitoreo y evaluación. La misma confusión está presente en el artículo 37 del Reglamento de la Ley de Planeación.
El monitoreo y la evaluación difieren de forma sustancial. Los objetivos del primero son facilitar la planeación y la toma de decisiones operativas al ofrecer evidencia para medir el desempeño y ayudar a plantear preguntas específicas que identifiquen retrasos y cuellos de botella en la implementación. También puede fortalecer la rendición de cuentas y la información pública, puesto que los datos acerca del uso de recursos, la eficacia de los procesos de administración interna y los productos de las iniciativas de políticas públicas se miden y se divulgan. A diferencia de la evaluación, el monitoreo depende de rutinas y procesos continuos de recolección de datos. Por consiguiente, se requieren recursos para integrarlo en una infraestructura organizacional. En tanto que la evaluación de políticas públicas estudia en qué medida puede atribuirse el resultado observado a la intervención en este ámbito, el monitoreo proporciona información descriptiva y no ofrece evidencia para analizar y comprender los vínculos de causa y efecto entre una iniciativa de políticas públicas y sus resultados (OECD, 2019[3]).
Una definición clara y exhaustiva del monitoreo contribuiría a que los actores principales de Nuevo León tuvieran un entendimiento compartido de sus objetivos y modalidades. Esto favorecería una mayor cooperación entre las partes interesadas pertinentes, no solo al eliminar la confusión respecto de la función del monitoreo frente a otras herramientas de medición del desempeño gubernamental, sino también al generar mayor conciencia entre los actores sobre el beneficio mutuo de los ejercicios de monitoreo (por ejemplo, procesos de toma de decisiones más sustentados, oferta continua de indicadores de desempeño, entre otros). Tal definición podría incluirse en el marco normativo.
Aclarar las responsabilidades del monitoreo del Plan aportaría una mayor sinergia y una mejor coordinación entre el Consejo y el Ejecutivo
Un sistema sólido de monitoreo implica, antes que nada, la presencia de un marco institucional que ofrezca: a) la base jurídica para emprender el monitoreo; b) asesoramiento a nivel macro sobre cuándo y cómo llevar a cabo el monitoreo, y c) actores institucionales con un mandato claro y con recursos asignados para supervisar o realizar el monitoreo (OECD, 2019[3]).
Existe un marco jurídico para todo el gobierno en relación con el monitoreo del Plan Estratégico 2015-2030 y el Plan Estatal de Desarrollo
Existe una base jurídica sólida para el monitoreo del Plan Estratégico 2015-2030 (PE) y del Plan Estatal de Desarrollo (PED) en Nuevo León. El artículo 18 de la Ley de Planeación Estratégica estipula que deberán realizarse labores de monitoreo y evaluación de ambos instrumentos de planeación (Estado de Nuevo León, 2014[2]). Además, la evaluación del PED también está integrada en los lineamientos. Los “Lineamientos generales del Poder Ejecutivo del estado de Nuevo León para la consolidación del presupuesto por resultados (PpR) y el sistema de evaluación del desempeño (SED)” establecen que “los organismos, entidades y tribunales administrativos deberán enviar informes trimestrales a la Secretaría, de acuerdo con las disposiciones de la misma, sobre el desempeño del ejercicio presupuestario y el avance programático” (Estado de Nuevo León, 2017[4]), lo cual debe armonizarse con los objetivos del PED (artículo 9 de los Lineamientos). Sin embargo, la calidad de estos informes trimestrales no siempre es lo suficientemente alta como para ayudar a las dependencias a dar monitoreo a las decisiones sobre gastos a lo largo de los programas presupuestarios.
De manera similar, algunos países de la OCDE han adoptado marcos jurídicos claros para el monitoreo del desempeño. Por ejemplo, en Estados Unidos, la Ley de Modernización del Desempeño y los Resultados del Gobierno de 2010 establece que el Gobierno debe definir objetivos de desempeño para todas sus entidades, y que cada organismo debe definir los objetivos sectoriales. En Canadá, en 2004 se implementó el Marco de Rendición de Cuentas sobe la Gestión para exigir cuentas a los jefes de departamento y organismos sobre la gestión del desempeño y mejorar ésta continuamente (véase el Recuadro 3.1).
Recuadro 3.1. El Marco de Rendición de Cuentas sobre la Gestión de Canadá
El Marco de Rendición de Cuentas sobre la Gestión (MAF, por sus siglas en inglés) es una evaluación anual de las prácticas de gestión y desempeño de la mayoría de las organizaciones del Gobierno de Canadá. Se puso en práctica en 2003 para aclarar las expectativas sobre la gestión y reforzar la rendición de cuentas de los directores adjuntos de departamentos y organismos.
El MAF establece las expectativas de una gestión sólida del sector público y, de este modo, se enfoca en apoyar la rendición de cuentas de los directores adjuntos sobre su gestión, así como en mejorar las prácticas administrativas de todos los departamentos y organismos gubernamentales. El MAF se acompaña de una evaluación anual de las prácticas y el desempeño administrativos de la mayoría de los departamentos y organismos del Gobierno de Canadá, de acuerdo con los criterios del marco. Desde 2014, en las evaluaciones se utiliza una combinación de evidencia cualitativa y cuantitativa, y los resultados se presentan dentro de un contexto comparativo para facilitar la valoración comparativa entre todas las organizaciones federales.
Hoy hay siete áreas de gestión, o criterios, contra los cuales se evalúa a las organizaciones federales (véase el Cuadro 3.1). Por ejemplo, en el periodo 2017-2018, en el informe del MAF se analizó a 36 departamentos y organismos grandes y 25 pequeños en las cuatro áreas medulares de gestión. Los resultados de desempeño muestran que solo una minoría de los departamentos y organismos grandes usan de manera sistemática información sobre las mediciones de evaluación y de desempeño en las decisiones de asignación de recursos.
Cuadro 3.1. Áreas de Gestión (AdG) y equipos evaluados como parte del MAF
El propio Marco de Rendición de Cuentas sobre la Gestión es evaluado cada cinco años por la Agencia de Auditoría y Evaluación Interna como parte del plan de evaluación quinquenal de la Secretaría de la Junta del Tesoro de Canadá (TBS, por sus siglas en inglés). La evaluación estudia la pertinencia, el desempeño, el diseño y la presentación del MAF 2.0.
Fuentes: Adaptado de Government of Canada (2020[5]), Treasury Board of Canada Secretariat, www.tbs-sct.gc.ca; OECD (2014[6]), Kazakhstan: Review of the Central Administration, OECD Public Governance Reviews, OECD Publishing, París.
Sería útil contar con un marco jurídico claro, en forma de una ley primaria acompañada de lineamientos, para destacar la importancia que el estado de Nuevo León atribuye a esta práctica, dentro del Consejo y en todo el Gobierno. Sin embargo, la presencia de una base jurídica exclusiva para el monitoreo no es suficiente. Un sistema de monitoreo sólido necesita especificar a los actores involucrados, sus mandatos, el cronograma, la metodología y las herramientas para llevar a cabo esta labor. En el caso de Nuevo León, este tipo de sistema necesitaría aclarar la articulación del monitoreo para el PE y el PED, como se hizo, por ejemplo, en Estados Unidos para la Ley de Modernización del Desempeño y los Resultados del Gobierno de 2010 (véase el Recuadro 3.2).
Recuadro 3.2. Ley de Modernización del Desempeño y los Resultados del Gobierno de Estados Unidos
Estados Unidos emprendió reformas para mejorar el sistema de gestión del desempeño del Gobierno central, para fomentar el diálogo sobre desempeño en todo el Gobierno, y para realizar mejoras focalizadas en las iniciativas intergubernamentales de alta prioridad. En 2010, se adoptó la Ley de Modernización del Desempeño y los Resultados del Gobierno (GPRAMA, por sus siglas en inglés), con el propósito de fortalecer la eficacia del sistema para que los organismos gubernamentales informaran sobre sus avances. La GPRAMA ofrece mejores herramientas de planeación del desempeño, de gestión y de elaboración de informes que pueden ayudar a los responsables de tomar decisiones a abordar los retos actuales.
Uno de los objetivos principales de esta ley es demostrar el valor de la información sobre el desempeño y su utilidad en las decisiones de gestión. Un elemento fundamental para impulsar un esfuerzo de esta naturaleza ha sido establecer funciones de liderazgo y responsabilidades por la mejora en el desempeño para los altos directivos, haciendo suya la labor de involucrar a la fuerza laboral en un debate basado en el desempeño, así como de asumir la responsabilidad por el desempeño y los resultados del organismo.
La Ley de Modernización requiere que cada organismo identifique entre dos y ocho (por lo común alrededor de cinco) Objetivos Prioritarios del Organismo (APG, por sus siglas en inglés), a partir de los cuales se prepara el Plan de Acción APG. Los APG se establecen cada dos años y cada trimestre el Director de Operaciones (usualmente adjunto) y el Director de Mejoramiento del Desempeño revisan sus resultados.
Además de los objetivos prioritarios de los organismos, cada cuatro años se establecen objetivos federales interinstitucionales prioritarios y su desempeño es evaluado cada trimestre por el Director de la Oficina de Administración y Presupuesto (OMB, por sus siglas en inglés) y un Consejo de Mejoramiento del Desempeño. Por último, las metas y los objetivos estratégicos a nivel de los organismos —con base en los cuales se establecen los APG— se someten a revisiones estratégicas anuales por parte de organismos y de la OMB (véase la Gráfica 3.1).
Las revisiones estratégicas son evaluaciones anuales que resumen la información y evidencia disponibles acerca del desempeño, y que sustentan las decisiones presupuestarias, legislativas y administrativas. Los resultados iniciales de la primera ronda de revisiones son prometedores. Muchos organismos lograron identificar objetivos estratégicos con evidencia relativamente débil y, por consiguiente, detectaron áreas que requieren medidas de mejoramiento. Además, informaron que las revisiones estratégicas redujeron las incongruencias al reunir los programas para debatir temas estratégicos transversales. Asimismo, reportaron nuevas iniciativas para comenzar a armonizar las actividades con metas y objetivos estratégicos. Por otro lado, según los organismos, en su mayoría los miembros de su equipo de desempeño se involucraron e interesaron en encontrar el valor de las revisiones estratégicas.
Gráfica 3.1. Marco de desempeño de Estados Unidos
Fuente: Basado en información de la Oficina de Administración y Presupuesto de Estados Unidos; Implementing Strategic Reviews: A component of the GPRA Modernization Act of 2010, Mark Bussow, líder del equipo de desempeño en la Oficina de Administración y Presupuesto de Estados Unidos (OMB), presentado en la 10a reunión anual de OECD Senior Budget Officials Performance and Results Network.
Muchos actores participan en el monitoreo de los Planes y sus mandatos no son siempre explícitos
La Ley de Planeación Estratégica asigna la responsabilidad del monitoreo del Plan Estratégico y del Plan Estatal de Desarrollo al Consejo, con la colaboración de “dependencias y entidades de la administración pública estatal” (Estado de Nuevo León, 2014[2]). Sin embargo, un análisis cuidadoso de la Ley y sus reglamentos indica que la función de las diversas partes interesadas y unidades dentro del centro del Gobierno no es clara en términos de sus responsabilidades en el monitoreo del PE y el PED. En cuanto al Plan Estratégico, el Consejo es responsable de la coordinación y promoción de su monitoreo, como lo establece el artículo 18 de la Ley de Planeación Estratégica. También se encarga de establecer los criterios de identificación de indicadores para monitorear el PE, monitorear sus avances mediante la recolección de los datos y documentos necesarios y comunicar los resultados del monitoreo a los ciudadanos (Estado de Nuevo León, 2014[2]).
Sin embargo, no es clara la forma en la que el Consejo debe recabar esta información, pues en realidad no implementa las políticas descritas en el Plan Estratégico. En la práctica, el CdG ha desempeñado un papel de facilitador entre el Consejo y las secretarías competentes, con el fin de reunir los datos mencionados. No obstante, ni el CdG ni las secretarías competentes tienen un mandato explícito (es decir, incluido en sus regulaciones legales) de cooperar con el Consejo a este respecto, y no tienen recursos humanos o financieros asignados para esta tarea. Adaptar las regulaciones internas de las secretarías competentes de manera que incluyan la recolección y análisis de datos para el PE facilitaría enormemente la cooperación entre estos actores.
Por otro lado, respecto del monitoreo del Plan Estatal de Desarrollo, la función de la administración pública estatal y sus dependencias se expone de manera explícita. El centro de Gobierno está a cargo de la coordinación y promoción del monitoreo del PED (artículos 14.I y 14.IV del reglamento de la Ley de Planeación Estratégica), mientras que las secretarías competentes monitorean el presupuesto y los programas de sus propias entidades y le informan al CdG (artículo 14.V.e del reglamento de la Ley de Planeación Estratégica).
Esta práctica de asignar el monitoreo de prioridades estratégicas al CdG también se aplica en diferentes formas en varios países de la OCDE (véase el Recuadro 3.3). El monitoreo puede ser realizado por el mismo CdG, como en Finlandia, o por unidades al interior de este con un mandato especial para hacerlo, como es el caso de la Unidad de Entregas y Resultados de Canadá.
Recuadro 3.3. Monitoreo de las prioridades de políticas de todo el gobierno a nivel del centro de gobierno
La oficina del Primer Ministro (OPM) de Finlandia está a cargo del monitoreo del programa de gobierno. Específicamente, la unidad estratégica del OPM monitorea la implementación de cinco objetivos de política fundamentales de carácter horizontal y una reforma estructural amplia de servicios sociales y sanitarios, que forman parte de la estrategia de todo el gobierno de Finlandia. Junto con los 26 proyectos fundamentales, se da monitoreo a las áreas de política clave cada semana, a nivel del CdG, en las sesiones de estrategia gubernamental reservadas para la sensibilización situacional y el análisis basado en evidencia y previsión. Se definen con claridad los hitos de cada área y proyecto de política, y se actualizan los indicadores de cada objetivo de la estrategia de dos a cuatro veces al año.
La Unidad de Entregas y Resultados (RDU, por sus siglas en inglés) del Consejo Privado de Canadá es una institución del centro de Gobierno de Canadá que apoya al Primer Ministro en la prestación de servicios públicos. Se estableció en 2015 para contribuir al trabajo de monitorear la prestación de estos servicios, abordar los problemas de implementación de las prioridades fundamentales e informar al Primer Ministro sobre los avances. La RDU también facilita el trabajo del gobierno mediante el desarrollo de herramientas, lineamientos y actividades de aprendizaje sobre la implementación de un enfoque centrado en resultados. El enfoque en entregas y resultados de Canadá se basa en tres actividades principales: i) definir claramente los objetivos de las políticas públicas y programas (es decir ¿qué intentamos lograr?); ii) asignar mayores recursos a la planeación e implementación (es decir ¿cómo lograremos nuestras metas?), y iii) medir sistemáticamente el avance hacia los resultados deseados (es decir ¿estamos logrando los resultados deseados?, y si no es así, ¿qué ajustes haremos para lograrlo?).
Esta división de labores también está sustentada en el hecho de que ciertas secretarías competentes tienen, por decreto de su organización, el mandato explícito de informar sobre la implementación del PED. Por ejemplo, el secretario de Economía es responsable de la preparación de informes de monitoreo para la implementación del Plan Estatal de Desarrollo (artículo 14.VIII del reglamento para la Secretaría de Economía y Trabajo). No existe tal disposición respecto del Plan Estratégico para ninguna de las secretarías.
En cambio, el papel del Consejo con relación al monitoreo del PED es ambiguo. De hecho, el Consejo también tiene el mandato (artículo 18 de la Ley de Planeación Estratégica) de monitorear el PED, lo que parece ocasionar la duplicación de esta función entre el Consejo y el CdG (véase el Cuadro 3.2).
Cuadro 3.2. Mandatos de los actores principales del sistema de monitoreo del PE y del PED
Las superposiciones y las posibles brechas en los mandatos de los principales actores del sistema de monitoreo provocan una complejidad innecesaria y falta de incentivos para la colaboración. El monitoreo y los procesos de recolección de datos correspondientes a menudo implican complejas cadenas de mando compartidas por todas las partes interesadas, quienes no siempre ven los beneficios inmediatos del ejercicio de monitoreo. Por consiguiente, aclarar los mandatos mediante mecanismos formales, como leyes y reglamentos, puede ser una herramienta importante que ayude a que los gobiernos creen incentivos para la participación de estos actores en dicho ejercicio.
En el caso de Nuevo León, ni el CdG ni las secretarías competentes tienen el mandato explícito de informar al Consejo sobre los programas del Plan Estratégico, ni tienen recursos asignados para hacerlo. De tal forma, sin una delimitación oficial de las funciones y del alcance del sistema de monitoreo (es decir, del PE y del PED) en Nuevo León, el ejercicio de monitoreo se vuelve complejo, potencialmente menos eficaz y puede generar tensiones innecesarias.
Por esta razón, podría ser útil actualizar el marco regulatorio para aclarar las diferentes funciones de cada parte interesada, confiriendo un mandato jurídico explícito a cada una y especificando sus respectivas responsabilidades (recolección de datos, análisis de datos, uso de datos, coordinación y promoción del monitoreo, diseño de lineamientos para el monitoreo, entre otras). También podrían actualizarse los reglamentos internos de las secretarías y sus dependencias para aclarar su función en el monitoreo de los planes. Al hacerlo, es importante separar claramente las funciones de coordinación y promoción, que lleva a cabo el CdG, de la recolección, el análisis y el uso de datos que desempeñan las secretarías, con el fin de evitar que los incentivos se desdibujen entre estos actores.
La metodología y las herramientas de monitoreo del PE no están bien definidas
Por otra parte, Nuevo León no tiene lineamientos a nivel macro (documentos, políticas) sobre cuándo y cómo llevar a cabo el monitoreo, aunque el artículo 19 de la ley estipula que el informe de monitoreo y evaluación debería generarse anualmente. Por ejemplo, no ahonda en cómo debe prepararse ese informe. Al crear obligaciones claras sin los lineamientos adecuados, el marco institucional se desdibuja.
Lo que es más importante, la ley y su reglamento de apoyo no delimitan la existencia de un sistema de monitoreo más allá de la elaboración de un informe anual. En particular, faltan los siguientes elementos:
La frecuencia esperada de la recolección de datos para cada nivel de indicador (indicadores de impacto o de resultados del PE o indicadores de resultados o de producto del PED).
La gobernanza y el calendario del diálogo sobre desempeño entre las secretarías competentes, el CdG y el Consejo, es decir, qué actores se reúnen para debatir qué temas, con qué frecuencia y con qué propósito.
Los criterios bajo los cuales se deben escalar ciertos asuntos a un nivel más alto en la toma de decisiones (por ejemplo, del nivel de una secretaría al nivel de CdG), así como la manera de monitorear las decisiones.
Pese a la falta de procesos legalmente definidos, se ha desarrollado un proceso informal, tanto para la preparación del informe anual como para el diálogo sobre desempeño infra anual, entre el Consejo y la administración pública estatal. Este proceso se ha llevado a cabo plenamente desde la adopción del Plan Estratégico.
El Consejo encabeza el proceso del informe de monitoreo; las comisiones reciben y revisan la información pertinente de las secretarías competentes y generan las recomendaciones correspondientes. El CdG coordina la relación entre diferentes secretarías y el Consejo (y sus comisiones), al solicitar y recabar información sobre las secretarías, en representación del Consejo. Las secretarías responden a las recomendaciones del Consejo en un documento oficial que se envía al Poder Legislativo. En la Gráfica 3.2 se presenta una vista esquemática de este proceso.
Gráfica 3.2. Proceso de elaboración del informe anual sobre el Plan Estratégico
Nota: Esta es una visión esquemática del proceso, el cual no siempre se ha seguido a cabalidad. Por ejemplo, en 2018, el Consejo no recibió respuesta por parte del CdG respecto de la evaluación.
Fuente: Autores.
Antes de 2018, no existía un procedimiento estandarizado para la elaboración del informe de monitoreo en todas las comisiones; no fue sino hasta la segunda evaluación que el Consejo intentó armonizar los procedimientos al estandarizar los cuestionarios enviados a las secretarías y los procedimientos de verificación cruzada.
Asimismo, se desarrolló un sistema informal, por medio del cual la administración pública estatal informa al Consejo —y a cada comisión temática en particular— con una periodicidad inferior a la anual. En esta práctica, los métodos de trabajo entre las comisiones han sido muy heterogéneos, ya que cada comisión decide, de forma más o menos colaborativa con la administración pública estatal, el número de reuniones por año, el nivel y el tipo de información que esperan recibir y los posibles productos de dichas reuniones. Por ejemplo, la subcomisión de Educación no realizó reunión alguna en 2018.
A consecuencia de este sistema informal, la calidad de los intercambios entre la administración pública estatal y el Consejo ha residido frecuentemente en la existencia de relaciones personales de confianza entre los secretarios y los miembros de las comisiones, y no en métodos de trabajo y mandatos sólidos y claros. Además, la falta de herramientas estandarizadas para la recolección y el análisis de datos ha implicado que el producto que se persigue en las sesiones de monitoreo entre las comisiones y los secretarios no solo sea heterogéneo, sino algunas veces poco claro. Esto puede generar una falta de incentivos para colaborar, en especial por parte de las secretarías competentes, las cuales no tienen un mandato explícito ni recursos asignados para hacerlo.
Aclarar el sistema, la metodología y las herramientas de monitoreo permitiría una mayor cooperación y coordinación entre el Consejo y la administración pública estatal, así como el uso de los resultados del monitoreo.
La evidencia obtenida a partir del monitoreo puede usarse para perseguir tres objetivos principales (OECD, 2019[3]):
Contribuir a la toma de decisiones operativa, al ofrecer evidencia para medir el desempeño y formular preguntas que identifiquen retrasos y cuellos de botella en la implementación.
Fortalecer la rendición de cuentas en relación con el uso de recursos, la eficacia de los procesos de gestión internos o los productos de una determinada iniciativa de políticas públicas.
Contribuir a la transparencia al informar a ciudadanos y partes interesadas sobre si las iniciativas del Gobierno están generando los resultados esperados.
Cada uno de estos objetivos implica utilizar los datos del monitoreo de una manera distinta. En primer lugar, para que la evidencia obtenida a partir del monitoreo sirva como herramienta de gestión, debe estar incorporada en un diálogo sobre desempeño que se lleve a cabo de manera periódica y lo suficientemente frecuente como para permitir a los profesionales y a los responsables de tomar decisiones identificar los problemas de implementación, determinar las limitaciones de los recursos y adaptar sus esfuerzos o recursos con el fin de resolverlas. Este ejercicio deberá relacionarse estrechamente con la puesta en marcha y la gestión de políticas públicas. En el caso de Nuevo León, el ejercicio debería realizarse en el seno de la administración pública estatal, idealmente entre los órdenes más altos del centro de Gobierno y en los órdenes operativos de las dependencias.
Nuevo León tiene un Plan Estratégico y un Plan Estatal de Desarrollo. Dada la pluralidad de los marcos estratégicos, es importante asegurarse de que los procesos de monitoreo se simplifiquen y se armonicen para reducir al mínimo la carga adicional que representa cada estrategia (Vági and Rimkute, 2018[11]). En consecuencia, es importante aclarar que la administración pública estatal debería dirigir este diálogo sobre desempeño respecto del PE y el PED, de manera simultánea. Dada la naturaleza más estratégica del PE, el diálogo sobre desempeño para este podría tener lugar cada dos años, dependiendo de la teoría del cambio de cada objetivo estratégico y de la disponibilidad de la información. En el contexto de este diálogo, es posible identificar dos funciones importantes: una función promotora y de coordinación, la cual puede ser realizada de manera natural por el centro de Gobierno, y una función de recopilación, análisis y uso de datos, la cual puede ser responsabilidad de las secretarías competentes.
Este diálogo sobre desempeño podría centrarse en los planes de acción —como se recomienda en el capítulo 2—, para supervisar, cada tres meses, a nivel de las secretarías, las líneas de acción (procesos) y las estrategias (productos) que son comunes al PE y al PED.1 Este diálogo crearía un incentivo para que las secretarías competentes resolvieran los problemas de implementación a nivel técnico y sectorial, mediante un proceso gradual de escalamiento. Si el problema continúa sin resolverse después de dos trimestres, podría turnarse al CdG dos veces al año para que se tome una decisión. Por último, cualquier problema de implementación que requiera coordinación entre las distintas secretarías y movilización de recursos adicionales, debería turnarse a las reuniones del gabinete cada año (véase la Gráfica 3.3).
Gráfica 3.3. Articulación de diferentes niveles de los tableros de indicadores
Fuente: Autores.
Estas reuniones de gabinete pueden ser también una oportunidad para actualizar y analizar los indicadores de resultados y de impacto incluidos en el PE y en el PED. En efecto, es importante vincular los indicadores de procesos y de productos con el avance de los indicadores de resultados y de impacto, para así poder monitorear realmente los logros y no solo las actividades (The World Bank, 2017[12]). Gráfica 3.4 muestra este proceso en el transcurso de un año. La siguiente sección de este capítulo se enfocará en la pertinencia y la calidad de los indicadores.
Gráfica 3.4. Diálogo sobre desempeño propuesto entre las secretarías competentes, el CdG y las reuniones de gabinete
Fuente: Autores.
Como se mencionó, la evidencia obtenida a partir del monitoreo puede servir también como herramienta para mantenerse como responsable ante las partes interesadas respecto de la implementación del Plan Estratégico. Para ello, al preparar la reunión anual del gabinete sobre el PED y el PE, la administración pública estatal y el Consejo podrían realizar un estudio en colaboración de los indicadores de los planes, el cual se presentaría al gabinete. Dicho estudio puede basarse en las cuatro sesiones de diálogo sobre el desempeño que se realizan cada año y llevarse a cabo de manera conjunta por las secretarías estatales y las comisiones del Consejo, con el propósito de analizar la información que se presentará al gabinete, así como permitir al Consejo actuar como un grupo de expertos para la administración. Ciertamente, al intentar interpretar los datos y entender las brechas en la implementación, la administración podría solicitar asesoría por parte del Consejo. El Consejo podría aprovechar este estudio para ofrecer a la administración pública estatal diferentes opiniones acerca de las brechas de implementación identificadas durante el diálogo sobre desempeño. Por último, dado el carácter multi-actor del Consejo, también podría apoyar al gabinete en la implementación, cuando sea pertinente y posible.
Con el fin de efectuar el diálogo sobre el desempeño y contribuir a una mejor rendición de cuentas, la administración pública estatal podría considerar cargar y actualizar los indicadores del PED y del PE en un tablero. Este tablero incluiría información sobre la implementación de plan de acción recomendado en el capítulo 2, así como la de los indicadores de resultados y de impacto del PE y el PED, pero solo los indicadores del plan de acción se actualizarán trimestralmente; los del PED y el PE pueden actualizarse una vez al año o cuando haya información disponible. Los tableros de monitoreo están concebidos como herramientas de gestión y toma de decisiones y, por consiguiente, ofrecen una descripción del desempeño que permite identificar y analizar las brechas de implementación y sus posibles soluciones. Para desarrollar estos tableros, la administración pública estatal podría utilizar una variedad de buenas prácticas. Por ejemplo, los actuales consejeros ciudadanos, que pertenecen al sector privado podrían compartir sus mejores prácticas con los funcionarios públicos, respecto de la preparación de los tableros y las estrategias de monitoreo.
Además, las comisiones quizá deseen aclarar sus métodos de trabajo para llevar a cabo esta revisión anual. En particular, el Consejo podría elaborar una guía para los comisionados y sus secretarías técnicas con el fin de definir la agenda de las sesiones de revisión, el papel de las comisiones, las herramientas que podrían utilizar y la forma como se tomarán las decisiones respecto de esta revisión anual (véase en los capítulos 4 y 5 un análisis más general sobre los métodos de trabajo de las comisiones).
Por último, la evidencia obtenida a partir del monitoreo sirve para fomentar la transparencia, sobre todo, en la comunicación con los ciudadanos. El centro de Gobierno podría decidir elaborar un comunicado sobre el PE. Este comunicado, el cual podría actualizarse cada tres años, reemplazaría al actual informe “híbrido” de monitoreo y evaluación elaborado anualmente por el Consejo. Se diseñaría principalmente como herramienta de comunicación (para mayor información sobre este folleto, véase la sección sobre el uso de la evidencia obtenida a partir del monitoreo). Además, es importante comunicarse con mayor periodicidad con los ciudadanos, principalmente mediante un sitio web actualizado que muestre la información sobre el monitoreo del PED y el PE (para mayor información acerca de esta recomendación, véase la sección sobre el fomento del uso del monitoreo).
Fomentando la calidad del monitoreo
La recolección de datos de calidad es primordial para generar evidencia sólida obtenida a partir del monitoreo
Tener acceso a datos sólidos y confiables es un componente esencial en la creación de un sistema de monitoreo basado en resultados. Los datos deben ser no solo técnicamente sólidos, válidos, verificables y políticamente factibles, sino también transparentes y libres de influencia indebida (Zall, Ray and Rist, 2004[13]).
La falta de un marco sistemático que vincule indicadores y áreas de oportunidad en el PE dificulta su monitoreo
El desarrollo de indicadores de desempeño, su punto de referencia y sus objetivos, es una etapa importante en el proceso de desarrollo de estrategias. Si bien el artículo 9 de la Ley de Planeación Estratégica define, entre las responsabilidades del Consejo, el establecimiento de criterios para los indicadores de monitoreo y evaluación, no parece haber un marco explícito y sistemático para su diseño.
En primer lugar, falta una conexión sistemática entre cada apartado del Plan Estratégico y los indicadores, lo cual dificulta que los actores monitoreen los avances en términos de aspiraciones, áreas de oportunidad y líneas estratégicas (véase el Cuadro 3.3). Aunque las comisiones identificaron un conjunto de indicadores, estos no se presentan de manera que indiquen claramente su conexión con los elementos del Plan Estratégico (áreas de oportunidad, líneas o iniciativas estratégicas). Todos los indicadores para las comisiones y subcomisiones están agrupados en un cuadro al final de la sección relativa a esta área temática. Algunas subcomisiones2 han introducido indicadores que no pueden vincularse de forma directa o indirecta con un área de oportunidad o una iniciativa o línea estratégica.
Por otra parte, no todas las comisiones han definido indicadores. Por ejemplo, cuatro subcomisiones3 de la Comisión de Desarrollo Humano no han definido indicador alguno, lo que sugiere que no hay manera de que sus miembros monitoreen y evalúen el éxito de las metas de política pública establecidas en esa parte del Plan Estratégico. De igual manera, la Comisión de Desarrollo Económico es la única que ha definido indicadores para las áreas de oportunidad prioritarias y líneas estratégicas: 40% de las áreas de oportunidad no tienen indicadores pertinentes para ellos.
Cuadro 3.3. Falta de un marco unificado para el diseño de indicadores
Fuente: Autores.
Por tanto, será esencial vincular de manera explícita cada indicador con un área de oportunidad (objetivo estratégico, como se recomendó en el capítulo 2), sobre todo visualmente en el documento de la estrategia, para así aclarar la estructura de monitoreo del Plan Estratégico. El Consejo debería emprender este ejercicio.
Un análisis de este tipo también señala que algunos indicadores de producto pudieran haber sido vinculados con objetivos a nivel de resultados. Sería preferible mantenerse, en la medida de lo posible, concentrado en los resultados en un marco orientado al desempeño (véase el ejemplo sobre Escocia en el Recuadro 3.4).
Recuadro 3.4. El Marco Nacional de Desempeño de Escocia
El Marco Nacional de Desempeño de Escocia propone un Propósito a cumplir por la sociedad escocesa. Para ayudar a lograr este Propósito, el marco establece Resultados Nacionales que reflejen los valores y aspiraciones de los ciudadanos de Escocia, los cuales, en consonancia con los Objetivos de Desarrollo Sostenible de las Naciones Unidas, ayudan a registrar los avances en la reducción de la desigualdad. Los Resultados Nacionales incluyen:
“Tenemos una economía globalmente competitiva, emprendedora, incluyente y sostenible”, respecto de la economía escocesa.
“Somos saludables y activos”, respecto de la salud
“Respetamos, protegemos y cumplimos los derechos humanos y vivimos libres de discriminación”, respecto de los derechos humanos.
Cada Resultado Nacional tiene un conjunto de 81 indicadores a nivel de resultados, que se actualizan con periodicidad para informar al Gobierno sobre la forma en la que su administración actúa en términos del Marco. En el sitio web Equality Evidence Finder del gobierno escocés se cuenta con un tablero de datos donde los ciudadanos pueden acceder a información sobre estos indicadores.
Fuente: Scottish Government (2020[14]), National Performance Framework, https://nationalperformance.gov.scot/
El Plan Estratégico y los planes de acción se beneficiarían con la identificación de indicadores sólidos y políticamente factibles
Monitorear una política, un programa o un proyecto público, como el Plan Estratégico 2015-2030 o los planes de acción, implica identificar indicadores que sean:
Sólidos, es decir, metodológicamente fuertes.
Políticamente factibles, es decir, que corresponden a una variable observable que captura la dirección prevista del cambio y que son competencia del actor a cargo de la implementación.
En primer lugar, los indicadores del Plan Estratégico 2015-2030 no siempre son sólidos. Para que ofrezcan información a los responsables de tomar decisiones acerca del curso de acción que se debe tomar para lograr los objetivos de políticas previstos, deberían acompañarse de información que permita interpretarlos adecuadamente. Por ello, sin importar su tipología, todos los indicadores deberían presentarse de manera que ofrezcan información suficiente:
Descripción del indicador: nombre, unidad de medida, fuente de información y fórmula.
Responsable del indicador: institución, departamento o autoridad responsable de la recopilación de datos.
Frecuencia de la recolección de datos y la actualización del indicador.
Referencia que sirve de punto de partida para medir los avances.
Resultado objetivo o esperado.
La mayoría de los indicadores del Plan Estratégico se expresan de manera explícita, como lo demuestra el hecho de que las comisiones optaron por presentar los indicadores en un cuadro que a menudo incluye información sobre la fuente de datos, el punto de referencia y los valores objetivo. Sin embargo, algunos indicadores no tienen un punto de referencia o una fuente responsable de la recolección de datos. Los indicadores tampoco indican de manera explícita la institución o persona responsable de recopilar datos y actualizar el indicador.
Además, no todos los indicadores elegidos para el Plan Estratégico se adaptan al enfoque RACER (véase en el Recuadro 3.5 una explicación de estos criterios).
Recuadro 3.5. Indicadores de evaluación de acuerdo con el enfoque RACER
La calidad de un indicador dependerá de su propósito, de la naturaleza de la política pública o programa que se propone monitorear y del desarrollo y madurez del sistema general de monitoreo del desempeño. Sin embargo, a la hora de definir indicadores, no hay principios universales a seguir. Un ejemplo de un marco de referencia de calidad para la evaluación de indicadores es el enfoque RACER (por el acrónimo en inglés], utilizado por el Índice para una Mejor Regulación [Better Regulation Index], entre otros. De acuerdo con este enfoque, los indicadores deben ser:
Pertinentes: fuertemente vinculados con los objetivos que se pretenden alcanzar. No deberían ser demasiado ambiciosos y deberán medir el concepto correcto.
Aceptados por el personal y las partes interesadas: es necesario definir bien la función y las responsabilidades del indicador.
Confiables para los no expertos: fáciles de interpretar y sin ambigüedades. Los indicadores deberán ser tan sencillos y sólidos como sea posible. De ser necesario, podría tener que utilizarse indicadores compuestos, como calificaciones del país, indicadores de bienestar, pero también calificaciones de instituciones e instrumentos financieros. Estos a menudo consisten en datos agregados usando valores de peso fijos predeterminados. Dado que pueden resultar difíciles de interpretar, deberían utilizarse para evaluar solo el contexto general.
Fáciles (de monitorear) (por ejemplo, la recopilación de datos debe poder hacerse a un costo bajo): su medición, basada, en tanto sea posible, en los datos subyacentes disponibles, no debe imponer una carga excesiva a los beneficiarios, las empresas ni los ciudadanos.
Sólidos (no ser sujetos a manipulación) (por ejemplo, carga administrativa: si el objetivo es reducir las cargas administrativas para las empresas, las cargas quizá no se reduzcan, sino se desplazan de las empresas a la administración pública): confiables, con validez estadística y analítica y, en la medida de lo posible, acordes con los estándares y metodologías reconocidos a nivel internacional.
Fuente: (DG NEAR, 2016[15])
Por ejemplo, no todos los indicadores provienen de fuentes públicas o confiables. El Plan Estratégico también contiene indicadores que se fundamentan en gran medida en datos estadísticos nacionales e internacionales (véase en el Recuadro 3.6 una descripción detallada de los tipos de datos de monitoreo). Sin embargo, la información de este tipo es más apropiada para los indicadores de impacto de largo plazo y de contexto, para los cuales, los cambios subyacentes son menos certeros que para los indicadores de resultados (DG NEAR, 2016[70]). Los datos administrativos y los datos recabados como parte de la implementación de una intervención por lo general son más adecuados para los indicadores de proceso, de producto y de resultados intermedios, como los que se encuentran en el Plan Estatal de Desarrollo.
Recuadro 3.6. Fuentes posibles de información utilizadas en el monitoreo
Llevar a cabo un monitoreo de calidad requiere información de calidad, la cual puede provenir de diversas fuentes (como se señala posteriormente); cada una de las cuales tiene fuerzas y debilidades. Combinar diferentes fuentes de información ofrece la posibilidad de maximizar la calidad de esta, así como de liberar ideas pertinentes para el monitoreo.
Información administrativa: Este tipo de información por lo general se recaba mediante sistemas administrativos gestionados por departamentos o secretarías gubernamentales, y usualmente atañe a grupos enteros de personas, comunidades y empresas que están relacionadas con una política pública en particular. Algunos ejemplos de esta información administrativa son los datos sobre vivienda y los registros fiscales. Debido a que la información administrativa ya se recaba y cubre muestras de gran tamaño, es una fuente rentable en costo y tiempo para los ejercicios de monitoreo. Además, puesto que dicha información consiste, más que nada, en datos de monitoreo de actividades, transacciones y finanzas, no padece los mismos escollos de calidad relacionados con los datos reportados por los mismos participantes. Sin embargo, la información administrada puede ser limitada en términos de alcance (por ejemplo, exclusión de quienes no participan, ninguna información socioeconómica sobre los participantes, entre otros). Por otra parte, ya que los sistemas de recopilación de información administrativa son descentralizados, la calidad subyacente de los datos puede variar entre los distintos departamentos o secretarías gubernamentales.
Información estadística: este tipo de información se usa comúnmente en la investigación, y corresponde a los datos del censo o, de manera más general, a la información de una determinada población recabada mediante encuestas nacionales o internacionales. La información de encuestas es una fuente flexible e integral para los ejercicios de monitoreo, ya que las encuestas pueden diseñarse para registrar una amplia gama de indicadores socioeconómicos y pautas de conducta pertinentes para la política en cuestión. Sin embargo, la recolección de datos para encuestas requiere muchos recursos, y la calidad de esta información depende del diseño de la encuesta y de quienes la contesten. Por ejemplo, la calidad de los datos de la encuesta puede verse afectada por el sesgo de deseabilidad social y la mala memoria de quienes responden.
Macrodatos: Este tipo de información es ampliamente definida como “una colección de grandes volúmenes de datos” (UN Global Pulse, 2016[71]); a menudo es generada de forma continua y digital por tecnologías inteligentes en plataformas del sector privado, y refleja el comportamiento y la actividad de las personas. Tiene la ventaja de recibirse en volumen y variedad mayores y, por esta razón, representa un método rentable para asegurar una muestra de gran tamaño y la recolección de información de grupos de difícil acceso. Además, las técnicas de análisis de los macrodatos (por ejemplo, procesamiento y detección de lenguaje natural) pueden ayudar a identificar patrones antes no detectados y a mejorar los resultados de los ejercicios de monitoreo. No obstante, este tipo de información presenta también muchos retos, como la comparabilidad temporal (los macrodatos frecuentemente provienen de terceros, cuyos métodos de recolección de datos no siempre son consistentes en el tiempo), tráfico no humano por Internet (información generada por bots de Internet), sesgo de selección (aun si la muestra es grande, no necesariamente representa a la población entera), entre otros.
De igual manera, la frecuencia con la que se recaban algunos indicadores no es pertinente para el mandato de monitoreo anual del Consejo. Tal es el caso de la Subcomisión de Desarrollo Social, que propone un indicador para “Mujeres en situación de violencia de pareja” que utilice información de la “Encuesta Nacional sobre la Dinámica de las Relaciones en los Hogares (ENDIREH, INEGI)”, la cual solo se recaba cada cinco años.4 Como resultado, 23% de los indicadores no pudieron recolectarse en 2018.
Además, los indicadores actuales identificados para el Plan Estratégico no son suficientemente factibles en términos políticos, es decir no ofrecen información pertinente y oportuna para la toma de decisiones relacionada con la implementación del Plan Estratégico. Algunos indicadores del Plan Estratégico miden acciones que no competen a las responsabilidades y el control del Poder Ejecutivo, lo cual significa que no son factibles ni pertinentes. De hecho, si el Poder Ejecutivo implementa el Plan Estratégico, sus acciones específicas quedarán, por consiguiente, bajo la jurisdicción de esta rama del Gobierno. Sin embargo, la Comisión de Seguridad y Justicia incluyó áreas de oportunidad e indicadores (por ejemplo, “Duración de casos no judicializados”) que son responsabilidad del Poder Judicial.
Asimismo, algunos indicadores propuestos en el Plan Estratégico no tienen alcance a nivel estatal. Por ejemplo, la Subcomisión de Salud utiliza información de salud de la OCDE para sus indicadores, la cual se recaba a nivel nacional y, por tanto, puede no reflejar directamente el trabajo que Nuevo León ha desempeñado en esa área. Sin embargo, en algunos casos, los indicadores sustitutivos pueden ser de utilidad cuando no existan indicadores a nivel estatal. Este es el caso, por ejemplo, de los indicadores de la zona metropolitana, los cuales cubren el 90% de la población de Nuevo León.
El Consejo podría considerar identificar una combinación de indicadores para monitorear mejor el Plan Estratégico
El Consejo Nuevo León podría considerar identificar indicadores para el Plan Estratégico que combinen indicadores de impacto y de contexto, que estén disponibles a nivel estatal, calculados con base en información estadística nacional e internacional —por ejemplo, en colaboración con el INEGI—, así como indicadores de resultados calculados a partir de información administrativa o, incluso, información de encuestas de percepción específicas. Por ejemplo, esos indicadores podrían tomarse de la Encuesta Nacional sobre el Impacto y la Calidad del Gobierno que prepara el INEGI cada dos años (INEGI, 2019[19]) (véase el Recuadro 3.7). De hecho, mientras los indicadores de producto no deberían utilizarse para medir resultados e impactos, los indicadores de contexto e impacto poco comunican sobre los instrumentos de políticas para alcanzar los objetivos de largo plazo relacionados con los objetivos estratégicos. Por el contrario, identificar resultados inmediatos, los cuales responden con bastante rapidez a los cambios en los sistemas de políticas pero pueden vincularse con objetivos de largo plazo, resultaría provechoso para el monitoreo del Plan Estratégico (Acquah, Lisek and Jacobzone, 2019[20]).
Recuadro 3.7. Tipología de los indicadores
Una tipología clásica de indicadores de gobierno abierto distingue entre los indicadores siguientes:
Los indicadores de contexto, cuando se considera al sector público como un sistema abierto, pueden monitorear factores externos, como tendencias socioeconómicas, pero incluir también medidas de políticas de otros gobiernos u organismos supranacionales. Idealmente, un sistema de MyE integral debería incluir indicadores para monitorear la existencia y el desarrollo de factores ambientales y de contexto que puedan influir en la gobernanza de las estrategias e iniciativas de gobierno abierto.
Los indicadores de procesos se refieren al vínculo entre insumo y producto, es decir las actividades que usan recursos y generan un producto. En el contexto de la gobernanza de estrategias e iniciativas de gobierno abierto, estos indicadores podrían incluir el plazo para la creación de la oficina a cargo de la coordinación de dichas estrategias e iniciativas o el tiempo asignado para su diseño.
Los indicadores de procesos se refieren al vínculo entre insumo y producto, es decir las actividades que usan recursos y generan un producto. En el contexto de la gobernanza de estrategias e iniciativas de gobierno abierto, estos indicadores podrían incluir el plazo para la creación de la oficina a cargo de la coordinación de dichas estrategias e iniciativas o el tiempo asignado para su diseño.
Los indicadores de producto se refieren a la cantidad, el tipo y la calidad de los productos que se derivan de los insumos asignados. Los indicadores de producto se refieren a metas y objetivos operativos. Por ejemplo, en el contexto de esta área de política, pueden referirse a la existencia de una ley sobre acceso a la información o a la existencia de cursos de formación para funcionarios públicos sobre la implementación de los principios de gobierno abierto.
Los indicadores de resultados y de impacto se refieren a los objetivos (estratégicos) de intervención de las políticas públicas. En un contexto de políticas públicas, los efectos deseados a menudo se relacionan con un grupo o región objetivo, pero también pueden tener que ver con el funcionamiento interno de una administración. Los efectos pueden ocurrir o esperarse con diferentes intervalos de tiempo después de la intervención de políticas. A menudo los términos resultado e impacto se usan juntos para referirse a ellos. La diferencia se basa en el orden cronológico: resultado suele referirse a efectos de corto plazo, e impacto a efectos de largo plazo. En este ámbito, dichos indicadores podrían ser la proporción de servidores públicos que están conscientes de la estrategia de gobierno abierto o el número de quejas de ciudadanos respecto de las decisiones de políticas públicas.
Fuente: (OECD, 2020[21])
El Consejo podría considerar aplicar el enfoque RACER para evaluar en qué medida el indicador podría sustentar la toma de decisiones.5 Debería incluir representantes de las distintas partes interesadas, quienes durante la implementación tienen la responsabilidad de recabar, analizar y reportar datos (DG NEAR, 2016[15]). Cada indicador, cualitativo y cuantitativo, debe corresponder a una fuente existente, bien sea estadística o administrativa.
Además, para monitorear los planes de acción, la administración pública estatal podría considerar identificar indicadores de procesos, sobre todo mediante fuentes administrativas. De hecho, para este tipo de información y monitoreo, las autoridades deberían orientarse hacia flujos regulares de información, idealmente a un costo administrativo mínimo, de manera automática. La administración pública estatal podría considerar someter estos indicadores a revisión y comentarios por parte del Consejo Nuevo León, para beneficiarse de la opinión y conocimientos expertos de un mayor número de actores.
El análisis de la información debe ser el idóneo
El informe anual actual no está bien dirigido a su audiencia
Aunque la recolección de datos es esencial para el monitoreo, no es suficiente en sí misma; para que sustente la toma de decisiones y sirva como herramienta de comunicación para el público, la información tiene que analizarse (Zall, Ray and Rist, 2004[13]). De hecho, el análisis de la información que sirve como columna vertebral del ejercicio de monitoreo debe ser ajustado a las necesidades, focalizado y pertinente (OECD, 2018[22]).
Ciertamente, es importante identificar los tipos de usos de la información obtenida del monitoreo (demostrar, convencer, señalar responsabilidades, involucrar a las partes interesadas, entre otros). El análisis de la información no puede orientarse con eficacia sin una definición clara de su(s) audiencia(s) y de los tipos de preguntas que esta(s) pueda(n) formular acerca de los hallazgos. Por lo común, hay dos tipos de usuarios del monitoreo y reporte de información:
Usuarios externos: ciudadanos, medios de comunicación, organizaciones no gubernamentales (ONG), organizaciones profesionales, académicos, profesionales, donantes financieros, entre otros. Por lo general desean información de fácil acceso, que se proporcione con una estructura y lenguaje sencillos, textos concisos y lo más gráfica posible.
Usuarios internos: el Congreso, el Gobierno, las secretarías, directivos y personal operativo y, en Nuevo León, el Consejo. Se interesan más en información estratégica relacionada con el avance general hacia los objetivos y metas, y querrán entender los retos que se hayan presentado en su implementación; requerirán las indicaciones de acción necesarias como respuesta a los hallazgos de información. Por otra parte, cuanto más alto sea el nivel de toma de decisiones, más información se agregará y centrará en resultados (OECD, 2018[22]).
En la actualidad, estos tipos de usuarios no están claramente diferenciados en el informe anual de monitoreo, debido a que el propósito de este es servir como herramienta de transparencia de comunicación con los usuarios externos (se publica en el sitio web) y como herramienta de rendición de cuentas y toma de decisiones para usuarios internos (por ejemplo, el informe se envía al Congreso).
Diferenciar claramente entre los tres tipos distintos de ejercicios de monitoreo ofrecerá información más adecuada para los fines deseados
Diferenciar con claridad entre los tres tipos de ejercicios de monitoreo (el diálogo sobre desempeño, la revisión conjunta y el informe anual sobre el PED) permitiría realizar análisis más adecuados para los fines de cada situación. En la siguiente sección sobre el fomento del uso de la evidencia obtenida a partir del monitoreo se estudiará con mayor detalle la mejor forma de comunicar la información del monitoreo a usuarios externos.
Si bien el diálogo sobre desempeño y la revisión conjunta son ejercicios dirigidos a un público interno, necesitan de cualquier forma presentar la evidencia obtenida a partir del monitoreo de manera que sustente la toma de decisiones (por ejemplo, enfocarse en los retos de la implementación estratégica, explicarlo mediante un análisis y proponer soluciones). Un tablero de monitoreo sólido podría incluir al departamento u organismo a cargo de su actualización, la frecuencia en la que se actualizan los indicadores relevantes, así como el análisis y el plan de acción (o las soluciones propuestas) en caso de que se identifiquen brechas en la implementación. Finalmente, el tablero podría identificar si el tema debe o no escalarse a un nivel de toma de decisión más alto (véase en la Gráfica 3.3 el proceso propuesto de diálogo sobre desempeño). La Gráfica 3.5 muestra un ejemplo de este tipo de tablero.
Gráfica 3.5. Crear tableros de fácil acceso para monitorear el PE y el PED
Fuente: Autores.
De manera general, la información incluida en los tableros deberá analizarse y presentarse en una forma que sea (OECD, 2018[22]):
De fácil acceso, en tanto que la información es suministrada con una estructura y un lenguaje sencillos, y con información gráfica.
Focalizada, en tanto que la información proporcionada se limite a los aspectos más importantes, como objetivos, metas y actividades, y en que esté vinculada con el logro de un propósito (resultados/impactos). Por esta razón, es importante que los informes sobre la implementación del plan de acción incluyan información estratégica (resultado/impacto) y también operativa (proceso/producto), aun cuando el tema principal de la reunión sea el monitoreo del plan de acción.
Pertinente, en tanto que solo deben analizarse los puntos que requieren tomar una decisión o que afrontan cuellos de botella en su implementación, para evitar saturar al lector con información que no sea fundamental. Solo debe proporcionarse información que ayude a los responsables de tomar decisiones a gestionar la implementación de la estrategia y las decisiones clave sobre políticas públicas. De ser posible, los informes deberían incluir explicaciones sobre resultados deficientes e identificar los pasos tomados o previstos para resolver problemas.
Monitoreo de calidad: aseguramiento y control de calidad
Calidad quiere decir información y análisis confiables, oportunos y pertinentes. Hay tres formas principales para velar por que la información y el análisis sean de calidad: asegurar la capacidad, desarrollar aseguramiento de la calidad y gestionar el control de calidad.
La administración pública estatal necesita actualizar su capacidad de monitoreo del Plan
Establecer un sistema de monitoreo que pueda generar información y análisis confiables, oportunos y pertinentes requiere competencias y capacidades, las cuales pueden definirse como “la totalidad de las fortalezas y los recursos disponibles dentro de la maquinaría gubernamental. Se refiere a los sistemas organizacionales, estructurales y técnicos, así como a las competencias individuales que crean e implementan políticas públicas en respuesta a las necesidades del público, congruentes con la orientación política” (OECD, 2008[23]). En particular, son fundamentales dos tipos de habilidades:
Habilidades analíticas para identificar indicadores, revisar y analizar información, y formular juicios o conclusiones (Zall, Ray and Rist, 2004[13]).
Habilidades de comunicación para estructurar informes y tableros de monitoreo de forma que sean atractivos para el usuario final (OECD, 2018[22]).
Con el fin de tener las habilidades y capacidades necesarias, los sistemas de monitoreo requieren una cantidad importante de administradores y personal técnico capacitado en análisis de datos, ciencias de la información, comunicación y, al menos, tecnología de la información básica (Zall, Ray and Rist, 2004[13]). Estos tres elementos se basan en la disponibilidad de recursos (humanos y financieros) destinados específicamente para la función de monitoreo. Estos se han enmarcado en varios casos pertinentes como “unidades de ejecución” o “unidades de implementación de políticas” y a menudo se localizan en el centro del Gobierno. Sin embargo, en la actualidad, la administración pública estatal no cuenta con estos recursos para monitorear el Plan Estratégico.
Un primer paso para el fortalecimiento de las capacidades de la administración pública estatal puede ser establecer unidades especiales de presentación de informes en cada una de las secretarías competentes, quienes estarían a cargo de recabar y analizar la información en el contexto del diálogo sobre desempeño. Además, el centro de gobierno quizá desee fortalecer sus habilidades de análisis y comunicación con una unidad de ejecución específica con el fin de ofrecer apoyo metodológico y orientación a las secretarías competentes en la preparación de reportes de monitoreo de impacto.
Podrían desarrollarse mecanismos de aseguramiento de la calidad junto con el control de calidad actual
En la actualidad, la información recabada para el reporte de monitoreo está sujeta a una auditoría realizada por una organización contable privada. Esta forma de control de calidad (es decir, examinar el producto final) sirve para otorgar garantía de la validez y la confiabilidad de la información utilizada para el monitoreo, es decir, que el sistema de recopilación de información es congruente en tiempo y espacio (validez) y que mide los niveles de desempeño reales y previstos (confiabilidad).
Sin embargo, el aseguramiento de la calidad (examina el proceso) también es importante. Algunos países han desarrollado mecanismos para garantizar que el monitoreo se lleve adecuadamente, es decir, que el proceso de recopilación y análisis respete determinados criterios de calidad. Para lograrlo, elaboraron lineamientos que sirven para imponer cierta uniformidad a este proceso (Zall, Ray and Rist, 2004[13]). En el Recuadro 3.8 se explora, con mayor detalle, la diferencia entre aseguramiento de la calidad y control de calidad.
Recuadro 3.8. Aseguramiento de la calidad y control de calidad en el monitoreo
En primer lugar, algunos países desarrollaron mecanismos de aseguramiento de la calidad para garantizar que el monitoreo se lleve a cabo de manera adecuada; es decir, que el proceso de monitoreo de una política pública respete determinados criterios de calidad. Para lograrlo, los países elaboraron estándares de calidad para el monitoreo. Dichos estándares y lineamientos son útiles para imponer cierta uniformidad en el proceso de monitoreo para todo el Gobierno (Picciotto, 2007[24]). En tanto que algunos gobiernos pueden optar por elaborar un estándar, otros pueden considerar más apropiado adoptar diferentes enfoques, según los distintos usos que se le dé a la información (van Ooijen, Ubaldi and Welby, 2019[25]). Las actividades de depuración de datos o la automatización de los procesos de recopilación de datos también pueden considerarse mecanismos de aseguramiento de la calidad. Algunos países han invertido en el uso de inteligencia artificial y aprendizaje automático para identificar la información que se desvía de los niveles de calidad establecidos (van Ooijen, Ubaldi and Welby, 2019[25]).
Nota: en varios países también se han desarrollado mecanismos de control de calidad, los cuales garantizan que la recolección y análisis de información se realice de manera adecuada para cumplir con los criterios de calidad predeterminados. Si bien los mecanismos de aseguramiento de la calidad buscan asegurar la credibilidad sobre cómo se lleva a cabo la evaluación (el proceso), las herramientas de control de calidad aseguran que el producto final del monitoreo (la información sobre el desempeño) cumpla determinados estándares de calidad. Ambos son elementos fundamentales para asegurar la solidez del sistema de monitoreo (HM Treasury, 2011[78]). Los mecanismos de control de calidad pueden operar mediante auditorías, como en Nuevo León. En las iniciativas de control de calidad también pueden incluirse los enfoques que buscan transmitir la información del desempeño o someterla al escrutinio público, en tanto que múltiples ojos examinan la información y posiblemente confirmen su calidad (van Ooijen, Ubaldi and Welby, 2019[25]).
En Nuevo León, pueden ser útiles dos tipos de lineamientos. La administración pública estatal podría emitir lineamientos para aclarar los métodos de trabajo y las herramientas que apoyarán la realización del diálogo sobre desempeño. En particular, dichos lineamientos podrían especificar los procesos de aseguramiento de la calidad, con el fin de fortalecer la calidad de los datos recabados en el contexto de este ejercicio de monitoreo que realizarán todas las secretarías competentes. De igual manera, estos lineamientos deben apuntar a aclarar los criterios para escalar asuntos desde el nivel de la secretaría competente hasta el nivel del CdG, con el fin de armonizar el proceso en todo el Gobierno.
Fomentando el uso de los resultados del monitoreo
El principal objetivo de construir un sistema de monitoreo es utilizar un sistema para medir los resultados en términos de desempeño y ejecución. En otras palabras, generar resultados emanados del monitoreo no tiene sentido si la información no llega a los usuarios adecuados de manera oportuna, de forma que la retroalimentación sobre el desempeño pueda servir para mejorar la toma de decisiones pública, la rendición de cuentas y la información a los ciudadanos.
Comunicar los resultados a los ciudadanos
Para mantener la rendición de cuentas y el compromiso con los ciudadanos por parte del sector público, es importante seguir publicando el informe anual de monitoreo y poner la información a disposición en las plataformas de Avanza NL
Darle mayor publicidad a los resultados del monitoreo puede aumentar la presión sobre los responsables de tomar decisiones para implementar y dar monitoreo de manera más sistemática a las recomendaciones, al tiempo que se confiere a los ciudadanos la responsabilidad del impacto de las políticas públicas y el uso de los fondos públicos.
El informe de monitoreo del Plan Estratégico se publica cada año en la plataforma en línea del Consejo (www.conl.mx/evaluacion). De igual manera, el informe gubernamental sobre el Plan Estatal de Desarrollo puede consultarse en el sitio web del Gobierno de Nuevo León, lo cual constituye un primer paso para brindar información al público. Sin embargo, el informe de monitoreo actual no es de fácil acceso debido a su extensión. El informe incluye un resumen ejecutivo, que es una herramienta útil para difundir mensajes esenciales a los ciudadanos. No obstante, el resumen ejecutivo consta de más de diez páginas, separa las principales conclusiones de las recomendaciones correspondientes y no describe los temas importantes que hayan surgido durante la implementación del Plan Estratégico. Un resumen ejecutivo más corto y contundente causaría mayor impacto en las partes interesadas y el público en general. Además, a diferencia del “Informe de gobierno” anual, el informe del monitoreo no es muy gráfico.
En general, el formato y el cronograma del comunicado sobre el avance del Plan Estratégico podría revisarse para adaptarlo mejor a su uso principal uso previsto: llegar a una audiencia más amplia e informar a una diversidad de actores sobre el avance en la implementación del Plan Estratégico, con base en indicadores de resultados tangibles y viables. En esa medida, el centro de Gobierno podría optar por elaborar un comunicado sobre el Plan Estratégico, el cual podría actualizarse a mediados y al final de cada mandato gubernamental, es decir, cada tres años. El comunicado reemplazaría al informe de monitoreo y evaluación actual realizado por el Consejo y se diseñaría sobre todo como una herramienta de comunicación, por lo que debería tener un resumen claro y acompañarse de mensajes claros para la prensa.
El Consejo también conformó una plataforma en línea, ahora en construcción, cuyo objetivo es ofrecer información actualizada sobre la evaluación de los indicadores del Plan Estratégico. Para asegurar actualizaciones oportunas y un uso mínimo de recursos adicionales, la administración pública estatal podría actualizar la plataforma directamente. La plataforma podría centrarse en los indiciadores del Plan Estratégico y del Plan Estatal de Desarrollo, con el fin de garantizar una comunicación más focalizada en los objetivos que conciernen y afectan a los ciudadanos. De manera importante, los indicadores que define el Plan Estatal de Desarrollo deberían armonizarse con los del Plan Estratégico y reflejar la teoría de cambio subyacente. Esto podría mostrarse en plataformas similares a las creadas por otros estados mexicanos, como MIDE Jalisco (véase el Recuadro 3.9). Por consiguiente, debería buscarse que Avanza NL se mantenga tan fácil de usar y actualizada como sea posible.
Recuadro 3.9. MIDE Jalisco: Buena práctica de presentación transparente de información sobre monitoreo
MIDE Jalisco es una estrategia de monitoreo exhaustiva del Estado de Jalisco, operada por su Secretaría de Planeación, Administración y Finanzas, y que involucra a 35 entidades y organismos ejecutivos del estado. Facilita el monitoreo dinámico y periódico de los indicadores cuantitativos concernientes a las metas del Plan Estatal de Gobernanza y Desarrollo. Este mecanismo de monitoreo contiene 27 indicadores de impacto de largo plazo sobre el desarrollo del estado, 133 indicadores que miden el impacto directo de mediano plazo en la población, así como 194 indicadores que contienen información de corto y mediano plazo sobre la implementación de programas y políticas públicas. MIDE Jalisco tiene información que data de 2006 sobre la mayoría de los indicadores.
Además de ser una plataforma bien coordinada, interinstitucional y centralizada para el monitoreo, el instrumento de planeación estratégica MIDE Jalisco representa una buena práctica para comunicar de manera eficaz a las partes interesadas los resultados del monitoreo. La razón es que MIDE Jalisco está hospedada en una plataforma en línea, donde académicos, periodistas, organizaciones de la sociedad civil (OSC) y público en general pueden acceder a los indicadores como datos de código abierto. Por otra parte, ya que estos indicadores se actualizan al menos una vez al mes (y con mayor frecuencia si la fuente de información lo permite), los actores pertinentes pueden acceder a los resultados del monitoreo en tiempo real (o casi real). De tal manera, este sistema fomenta la participación ciudadana y la rendición de cuentas. La primera es facilitada también por el Consejo Ciudadano de MIDE Jalisco, el cual permite la colaboración entre servidores públicos, expertos y ciudadanos para mejorar la selección de indicadores y el establecimiento de objetivos.
La administración pública estatal y el Consejo podrían considerar desarrollar estrategias de comunicación para incrementar la conciencia pública y la participación en el Plan
Además del comunicado y la plataforma Avanza NL, el Consejo y la administración pública estatal podrían desarrollar otras herramientas de comunicación para llegar a una audiencia más amplia. Estas podrían incluir estrategias de redes sociales, boletines centrados en las acciones del Consejo y editoriales en periódicos locales (World Bank, 2017[68]), como el boletín, los medios de comunicación social y la columna editorial que el Consejo tiene en el medio local Verificado. Podría ser útil para este fin que el Consejo destinara una parte de su presupuesto anual a la comunicación.
Otra forma de incrementar la participación del público en el Plan Estratégico y su monitoreo sería recabar retroalimentación periódica sobre el Plan Estratégico y su implementación mediante una encuesta dirigida a la población en general, los líderes empresariales y las organizaciones de la sociedad civil. Esta encuesta podría realizarse en colaboración con el INEGI y la Encuesta Nacional de Calidad e Impacto Gubernamental (INEGI, 2019[19]), con experiencia en la realización de encuestas de opinión sobre temas similares. Sería conveniente ofrecer incentivos a algunas ONG para asegurarse de que esto pueda publicarse.
Asegurar la utilización de los resultados del monitoreo en la toma de decisiones
Aumentar el impacto de los resultados del monitoreo requerirá desarrollar una descripción del desempeño centrada en abordar las inconsistencias en la implementación
Si bien preparar el análisis del monitoreo idóneo es importante, ya que da a los usuarios acceso rápido y fácil a resultados claros del monitoreo, estos no se reflejan sistemáticamente en un mejor uso de los resultados en la toma de decisiones. De hecho, es fundamental que la evidencia obtenida a partir del monitoreo se presente de manera convincente para su audiencia. Los tableros de monitoreo deberían incluir una descripción del desempeño, interpretando y utilizando los resultados (The World Bank, 2017[12]) para entender las brechas en la implementación y proponer acciones correctivas de política, de manera que se genere una descripción congruente e impactante. Para crear tal descripción, es necesario filtrar la información pertinente y centrar la información presentada en los cuellos de botella más apremiantes o en las reformas con el mayor potencial de impacto. Los datos sin procesar deberían acompañarse de mensajes clave, conclusiones y rutas de acción sugeridas (por ejemplo, indicadores) (Zall, Ray and Rist, 2004[13]).
Incrementar la participación de los actores en el desarrollo de los indicadores del Plan es fundamental para el monitoreo y la implementación
Por otra parte, involucrar a las partes interesadas en el diseño del sistema de monitoreo puede elevar la legitimidad de la evidencia obtenida y, finalmente, generar un mayor impacto en la toma de decisiones. De hecho, la evidencia cruzada entre países muestra que es importante crear un sentido de identificación y gestionar el cambio en los sectores público y privado al buscar implementar un programa de transformación tan ambicioso (The World Bank, 2017[12]). Involucrar a los actores internos y externos en la definición de los indicadores puede mejorar su calidad, ya que las partes interesadas algunas veces pueden tener una mejor perspectiva para identificar qué dimensiones de cambio deberían obtener la mayor atención (DG NEAR, 2016[15]), es decir, qué indicadores de producto miden mejor el avance de la cadena de causalidad (resultado/impacto).
El propio Consejo tiene la finalidad de involucrar a las partes interesadas. Sin embargo, la supervisión del Consejo en la definición de los indicadores del Plan Estratégico podría haber sido más fuerte.6 Revisar el Plan Estratégico podría ser una oportunidad para el Consejo de modificar los indicadores, con el fin de generar aceptación entre los encargados de la implementación, dentro y fuera de la administración (mediante la composición del propio Consejo). De igual manera, la administración pública del estado (cada secretaría o entidad) podría considerar solicitarle asesoría al Consejo al seleccionar los indicadores para la implementación del plan de acción, con el fin de asegurar que haya una visión común sobre cómo poner en práctica el Plan Estratégico y el Plan Estatal del Desarrollo.
Monitorear los resultados implica crear circuitos de retroalimentación para institucionalizar el uso de los resultados del monitoreo
Las organizaciones formales y los mecanismos institucionales constituyen una base sólida para el uso de la evidencia en las políticas públicas y la toma de decisiones (Results for America, 2017[18]). Los mecanismos que facilitan la creación de circuitos de retroalimentación entre el monitoreo y la implementación de políticas públicas pueden incorporarse ya sea:
En el propio proceso de monitoreo, por ejemplo, mediante el ciclo de desempeño (donde se debate la evidencia del desempeño, a nivel de la secretaría competente o a nivel del CdG).
Mediante la incorporación de los hallazgos sobre el desempeño en otros procesos, por ejemplo, el ciclo de elaboración de políticas públicas, la evaluación anual del desempeño de los altos directivos del sector público, el ciclo presupuestario o los debates en el Congreso.
Como se comentó en la sección “Aclarar el sistema de monitoreo”, entablar un diálogo sobre desempeño podría permitir a los profesionales y a los responsables de tomar decisiones utilizar la evidencia obtenida a partir del monitoreo para identificar problemas de implementación y limitaciones, y adecuar sus esfuerzos y recursos para resolverlos. En especial, vincular los objetivos estratégicos con los objetivos de desempeño individual es fundamental para incentivar resultados en la administración pública estatal, particularmente a nivel de los altos directivos y líderes del sector público. Es necesario asegurar la participación de los funcionarios gubernamentales, como los titulares de organismos o departamentos, y asegurar que su organización contribuya al logro de los resultados intergubernamentales de alta prioridad, como el Plan Estratégico. Por ejemplo, en Chile se han utilizado incentivos colectivos e individuales para fomentar el desempeño del sector público en consonancia con los objetivos estratégicos (véase en el Recuadro 3.10 una explicación más detallada de este sistema).
Recuadro 3.10. Los sistemas de monitoreo chilenos y sus respectivos incentivos para el desempeño Chile
El sistema de monitoreo chileno tiene tres actores principales: el Ministerio de Hacienda, el Ministerio de Desarrollo Social y los ministerios competentes. El sistema está compuesto por cuatro subsistemas que monitorean los siguientes elementos:
El formulario H: un documento que acompaña al Proyecto de Presupuesto y consta de indicadores de desempeño que incluyen información cualitativa sobre bienes y servicios públicos. Es responsabilidad del Ministerio de Hacienda.
Monitoreo del programa con el objetivo de dar monitoreo a la ejecución de este y medir los avances hacia el logro de los objetivos. Es responsabilidad del Ministerio de Hacienda.
Monitoreo de programas sociales. Es responsabilidad del Ministerio de Desarrollo Social.
Indicadores de Gestión Interna, que se enfocan en los procesos y procedimientos internos.
En paralelo, hay tres mecanismos importantes para crear incentivos por el desempeño:
El Programa de Mejoramiento de la Gestión, que otorga bonos a los servidores públicos que alcancen objetivos específicos.
Convenios de desempeño colectivo, que estimulan el trabajo en equipo dentro de unidades de trabajo, orientado a los objetivos institucionales anuales.
Convenios de desempeño individual, que establecen objetivos estratégicos de gestión para cada servidor público.
Fuente: (Irarrazaval and Ríos, 2014[29])
Entre otros usos de los resultados del monitoreo se encuentran el uso de información para evaluaciones, el apoyo a iniciativas estratégico y de planeación de largo plazo al proveer información de referencia y comunicación con el público (véase lo dicho anteriormente). Además, la información de monitoreo generada mediante el diálogo sobre desempeño podría utilizarse para alimentar el ciclo presupuestario. Puesto que el diálogo sobre desempeño debería vincularse con el monitoreo de los programas presupuestarios (véase la sección “Aclarar el sistema de monitoreo” y como estos se vinculan mediante el plan de acción), la evidencia resultante de este ejercicio podría brindar al Congreso información útil sobre la eficiencia y la eficacia del gasto presupuestario mediante revisiones de gasto. Según la información obtenida de la encuesta sobre presupuesto y gasto público (OECD, 2007[30]), las revisiones de gastos son una herramienta ampliamente utilizada en los países de la OCDE como parte del ciclo presupuestario, y pueden sustentarse con información del monitoreo (Robinson, 2014[31]) (Smismans, 2015[32]) (The World Bank, 2017[12]). Finalmente, la evidencia obtenida a partir del monitoreo puede utilizarse en el ciclo presupuestario mediante prácticas presupuestarias basadas en resultados, como se muestra en el Recuadro 3.11.
Recuadro 3.11. Principales modelos de presupuesto basado en resultados
La OCDE ha identificado cuatro modelos principales de presupuesto, lo que refleja las diferentes fortalezas de los vínculos entre la evidencia sobre resultados y el presupuesto basado en resultados:
Relativo a la presentación: en este los productos, los resultados y los indicadores de desempeño se presentan por separado a partir del documento principal del presupuesto.
Sustentado en los resultados: incluye métricas de desempeño en el documento del presupuesto, e implica la reestructuración de dicho documento sobre la base de los programas. Esta es la forma de presupuesto basado en resultados que han adoptado muchos países de la OCDE.
Basado en resultados de gestión: es una variante del presupuesto sustentado. Se enfoca en los impactos y los cambios de gestión en el comportamiento organizacional, que se logran mediante el uso combinado del presupuesto y la información relativa al desempeño.
Basado en resultados directos: establece un vínculo directo entre los resultados y los recursos, lo que usualmente implica mecanismos de tipo contractual que relacionan directamente las asignaciones presupuestarias con el logro de resultados.
Fuente: (OECD, 2018[33])
Recomendaciones
Aclarando el sistema de monitoreo para apoyar una mejor ejecución de los planes:
Adoptar una definición exhaustiva de monitoreo para establecer un entendimiento común de sus objetivos y modalidades dentro del sector público. Tal definición podría redactarse de la siguiente forma:
El monitoreo es un proceso rutinario de recolección de datos y análisis de estos para identificar brechas en la implementación de una intervención pública. Los objetivos del monitoreo son facilitar la planeación y la toma de decisiones operativa al ofrecer evidencia para la medición del desempeño y ayudar a formular preguntas específicas para identificar retrasos y cuellos de botella en la implementación. Puede también fortalecer la rendición de cuentas y la información pública, ya que la información relativa al uso de recursos, la eficacia de los procesos de gestión interna y los productos de iniciativas de políticas se mide y se publica.
Aclarar las funciones de los actores clave, incluidos el Consejo y la administración pública estatal.
Esto requiere actualizar la Ley de Planeación Estratégica y su reglamento, y dictar un mandato jurídico explícito a cada uno de los actores, para clarificar sus respectivas responsabilidades: recabar información, analizar información, utilizar información, coordinar y fomentar el monitoreo, elaborar lineamientos para el monitoreo, entre otras.
Actualizar las regulaciones internas de las secretarías y sus entidades, con el fin de aclarar su función en el monitoreo del Plan Estratégico.
Aclarar, por ejemplo mediante lineamientos, los diferentes sistemas de monitoreo, incluidos los actores involucrados, el cronograma, la metodología y las herramientas de monitoreo, para cada tipo de objetivo principal que persigue el monitoreo:
Toma de decisiones operativa (i).
Rendición de cuentas con relación al uso de recursos, la eficiencia de los procesos de gestión interna o los productos de una determinada iniciativa de políticas públicas (ii).
La información ofrecida a los ciudadanos y partes interesadas, sobre si las actividades realizadas por el Gobierno están dando los resultados esperados (iii).
Establecer un diálogo sobre desempeño dentro de la administración pública estatal, con el fin de mejorar la toma de decisiones a nivel de las secretarías competentes y del centro de Gobierno (CdG), respecto del PE y el PED, simultáneamente.
Cada tres meses, centrar este diálogo sobre desempeño en el plan de acción para monitorear las líneas de acción (procesos) y las estrategias (productos) comunes para el PE y el PED, a nivel de secretarías competentes (por consiguiente, al mismo tiempo que las secretarías competentes monitorean sus programas presupuestarios).
Identificar criterios comunes para escalar el tema al CdG si, después de dos trimestres, los problemas de implementación identificados no se han resuelto.
Plantear problemas de implementación que requerirían coordinación intersecretarial y movilización de recursos adicionales en las reuniones del gabinete una vez al año.
Realizar una revisión anual de los objetivos del PED y el PE de manera conjunta entre las comisiones temáticas del Consejo y las secretarías. Hacer que cada secretaría presente una versión preliminar de la información y los análisis que serán presentados en las reuniones de gabinete para esta revisión, y que los comisionados ofrezcan posibles percepciones sobre por qué se ha avanzado o no en algunos indicadores, y apoyar en la implementación, cuando sea pertinente y posible.
Elaborar un folleto comunicativo sobre el EP. El folleto, que podría actualizarse cada tres años por la administración pública estatal, reemplazaría el informe de monitoreo y evaluación actual realizado por el Consejo, y podría ser designado, principalmente, como una herramienta de comunicación.
Armonizar las herramientas y los métodos de trabajo utilizados por la administración pública estatal y el Consejo, con el fin de monitorear el PED y el PE.
Diseñar un tablero para el diálogo sobre desempeño, el cual incluya información concerniente a la implementación del plan de acción, así como a los indicadores de resultado y de impacto del PE y el PED (véase en la Gráfica 3.5 un ejemplo del tablero). Para elaborar estos tableros, la administración pública estatal podría basarse en diversas buenas prácticas. Por ejemplo, los actuales consejeros ciudadanos que pertenecen al sector privado podrían compartir sus mejores prácticas con los servidores públicos, en relación con la preparación de tableros y estrategias de monitoreo.
Elaborar lineamientos para la comisión y sus secretarías técnicas sobre cómo llevar a cabo la revisión anual del desempeño, para aclarar la agenda de las sesiones de revisión, el papel de las comisiones, las herramientas que puedan utilizar y cómo se deberían tomar las decisiones.
Promoviendo la calidad del monitoreo
Aclarar la congruencia entre los indicadores y los apartados del Plan Estratégico.
Vincular de manera explícita cada área de oportunidad prioritaria con al menos un indicador de resultado e impacto. Una sola área de oportunidad podría relacionarse con varios indicadores, siempre y cuando estos últimos estén vinculados entre ellos, siguiendo esta lógica causal:
Diversificar el tipo de indicadores utilizados para medir el logro de las áreas de oportunidad y prioridad, con el fin de registrar todos los aspectos medulares de cada objetivo de política.
Considerar incluir, junto a cada área de oportunidad prioritaria, los indicadores pertinentes a nivel de producto (y sus objetivos de largo plazo) del Plan Estatal de Desarrollo, para aclarar la lógica causal de los indicadores.
Fortalecer la solidez de los indicadores del Plan Estratégico.
Considerar identificar los indicadores políticamente factibles y los indicadores de impacto y contexto calculados sobre la base de información estadística nacional e internacional.
Incluir, para cada indicador, información básica clave, junto con puntos de referencia y objetivos, con el fin de facilitar su monitoreo y evaluación.
Evaluar la solidez de los indicadores contra el modelo RACER y reemplazar los indicadores que no cumplan con los criterios.
Proporcionar un análisis adecuado y de fácil acceso en los tableros.
Incrementar las capacidades de la administración pública estatal para monitorear el Plan Estratégico.
Desarrollar habilidades en la administración pública estatal que incluyan competencias analíticas, así como de comunicación.
Asignar recursos específicos al monitoreo en la administración pública estatal, con el fin de tener una masa crítica de administradores y personal con formación técnica, así como las herramientas de tecnología de la información adecuadas.
Crear unidades especiales en cada secretaría competente.
Desarrollar mecanismos de aseguramiento de la calidad, además de los mecanismos actuales de control de calidad.
Diseñar lineamientos (la administración pública estatal) para fortalecer la calidad del proceso de recolección de datos, aplicables en todas las secretarías. Aclarar en ellos los criterios para escalar temas desde el nivel de las secretarías competentes hasta el nivel del CdG.
Diseñar lineamientos (el Consejo) para aclarar los métodos de trabajo de las comisiones para el ejercicio anual de revisión de monitoreo.
Para fortalecer la comunicación y el uso de los resultados del monitoreo:
Generar un folleto comunicativo (administración pública estatal) cada tres años, con el fin de informar al público en general.
Actualizar la Plataforma Avanza Nuevo León (administración pública estatal) con indicadores del Plan Estratégico, a intervalos regulares (por ejemplo, indicadores de tres áreas de oportunidad, cada año).
Promover el desarrollo de una descripción del desempeño en los tableros de monitoreo, con el fin de propiciar que los responsables de tomar decisiones utilicen la información sobre desempeño.
Alimentar el ciclo presupuestario con la evidencia del monitoreo recabada mediante el diálogo sobre desempeño.
Referencias bibliográficas
[20] Acquah, D., K. Lisek and S. Jacobzone (2019), “The Role of Evidence Informed Policy Making in Delivering on Performance: Social Investment in New Zealand”, OECD Journal on Budgeting, Vol. 19/1, https://dx.doi.org/10.1787/74fa8447-en.
[10] Coordinación Ejecutiva De La Administración Pública Del Estado (2018), “Reglamento Interior De La Coordinación Ejecutiva De La Administración Pública Del Estado”.
[15] DG NEAR (2016), Guidelines on linking planning/programming, monitoring and evaluation.
[27] Elmqvist, T. et al. (2018), Urban Planet: Knowledge Towards Sustainable Cities, Cambridge University Press.
[26] Estado de Jalisco (2020), MIDE Jalisco, https://seplan.app.jalisco.gob.mx/mide/panelCiudadano/inicio (accessed on 27 February 2020).
[4] Estado de Nuevo León (2017), Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación de Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED). , http://sgi.nl.gob.mx/Transparencia_2015/Archivos/AC_0001_0007_00161230_000001.pdf (accessed on 6 November 2019).
[2] Estado de Nuevo León (2014), Ley De Planeación Estratégica Del Estado.
[7] Estado de Nuevo León (2014), Reglamento De La Ley De Planeación Estratégica Del Estado De Nuevo León, http://pbr-sed.nl.gob.mx/sites/default/files/reglamento_de_la_ley_de_planeacion.pdf.
[5] Government of Canada (2020), Treasury Board of Canada Secretariat, https://www.canada.ca/en/treasury-board-secretariat.html (accessed on 25 November 2020).
[14] Government of Scotland (2020), National Performance Framework, https://nationalperformance.gov.scot/ (accessed on 6 March 2020).
[19] INEGI (2019), “Encuesta Nacional de Calidad e Impacto Gubernamental”, https://www.inegi.org.mx/programas/encig/2019/.
[17] Innovations for Poverty Action (2016), Using Administrative Data for Monitoring and Evaluation.
[29] Irarrazaval, I. and B. Ríos (2014), “Monitoreo y Evaluación de políticas Públicas”, https://www.researchgate.net/publication/267694798_Monitoreo_y_Evaluacion_de_politicas_Publicas (accessed on 25 November 2020).
[9] La Secretaría de Educación (2017), Reglamento Interior De La Secretaría De Educación.
[1] Lázaro (2015), Comparative study on the institutionalisation of evaluation in Europe and Latin America.
[21] OECD (2020), Improving Governance with Policy Evaluation: Lessons From Country Experiences, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/89b1577d-en.
[3] OECD (2019), Open Government in Biscay, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/e4e1a40c-en.
[33] OECD (2018), OECD Best Practices for Performance Budgeting.
[22] OECD (2018), Toolkit for the preparation, implementation, monitoring, reporting and evaluation of public administration reform and sector strategies: guidance for SIGMA partners, http://www.oecd.org/termsandconditions. (accessed on 18 June 2019).
[6] OECD (2014), Kazakhstan: Review of the Central Administration, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264224605-en.
[23] OECD (2008), Ireland: Towards an Integrated Public Service.
[30] OECD (2007), Performance budgeting in OECD countries., OECD, http://www.oecd.org/gov/budgeting/performancebudgetinginoecdcountries.htm (accessed on 28 February 2018).
[28] OECD/CAF/ECLAC (2018), Latin American Economic Outlook 2018: Rethinking Institutions for Development, OECD Publishing, Paris, https://dx.doi.org/10.1787/leo-2018-en.
[24] Picciotto, S. (2007), “Constructing compliance: Game playing, tax law, and the regulatory state”, Law and Policy, Vol. 29/1, pp. 11-30, http://dx.doi.org/10.1111/j.1467-9930.2007.00243.x.
[18] Results for America (2017), 100+ Government Mechanisms to Advance the Use of Data and Evidence in Policymaking: A Landscape Review.
[31] Robinson, M. (2014), Connecting Evaluation and Budgeting, https://ideas.repec.org/b/wbk/wbpubs/18997.html (accessed on 12 March 2018).
[8] Secretaría de Economía y Trabajo (2016), “Reglamento Interior De La Secretaría De Economía Y Trabajo”.
[32] Smismans, S. (2015), “Policy Evaluation in the EU: The Challenges of Linking Ex Ante and Ex Post Appraisal”, Symposium on Policy Evaluation in the EU, http://dx.doi.org/10.1017/S1867299X00004244.
[12] The World Bank (2017), Driving Performance from the Center, Malaysia’s Experience with PEMANDU.
[16] UN Global Pulse (2016), Integrating Big Data into the Monitoring and Evaluation of Development Programmes.
[11] Vági, P. and E. Rimkute (2018), “Toolkit for the preparation, implementation, monitoring, reporting and evaluation of public administration reform and sector strategies: Guidance for SIGMA partners”, SIGMA Papers, No. 57, OECD Publishing, Paris, https://dx.doi.org/10.1787/37e212e6-en.
[25] van Ooijen, C., B. Ubaldi and B. Welby (2019), “A data-driven public sector: Enabling the strategic use of data for productive, inclusive and trustworthy governance”, OECD Working Papers on Public Governance, No. 33, OECD Publishing, Paris, https://dx.doi.org/10.1787/09ab162c-en.
[13] Zall, J., K. Ray and C. Rist (2004), Ten Steps to a Results-Based Monitoring and Evaluation System, The World Bank, https://openknowledge.worldbank.org/bitstream/handle/10986/14926/296720PAPER0100steps.pdf?sequence=1 (accessed on 22 August 2019).
Notas
← 1. Por consiguiente, al mismo tiempo que las secretarías dan seguimiento a sus programas presupuestarios.
← 2. Educación, Salud, Desarrollo Social, Seguridad y Justicia.
← 3. Arte y Cultura, Deportes, Valores y Participación Ciudadana.
← 5. Esto también puede aplicarse al Plan Estatal de Desarrollo 2016-2021 y sus programas de implementación.
← 6. Fueron definidos por la consultoría que apoyó al Consejo en la definición del Plan.