Este capítulo presenta una teoría del cambio detallada para dos intervenciones tomadas de las estrategias propuestas en el capítulo 3 y que podrían ser probadas por la CGR. En primer lugar, una reunión entre la CGR y los servicios auditados antes de iniciar el proceso de seguimiento podría ayudar a explicar los resultados de la auditoría, reducir la carga cognitiva y ofrecer vías para tomar medidas correctivas. En segundo lugar, la CGR podría introducir cierta flexibilidad con los plazos para indicar de forma creíble un enfoque de apoyo por parte de la CGR. Además, el capítulo ofrece pautas sobre cómo aplicar el programa piloto y medir los resultados.
Fortaleciendo el impacto de la Contraloría de la República de Chile
Lecciones de las ciencias conductuales para la Integridad Pública
Estudios de la OCDE sobre Gobernanza Pública
4. Piloto de una reunión pre-seguimiento y de una flexibilización de los plazos en Chile
Abstract
Intervenciones piloto seleccionadas
Lograr un impacto positivo sostenible en la asimiliación de los informes de auditoría es complejo, probablemente requiera varias reformas en diferentes niveles del proceso de auditoría y seguimiento y puede requerir que se trabaje hacia un cambio cultural, tanto en la Contraloría General de la República (CGR) como en la Administración. Por ello, en el capítulo 3, la OCDE recomienda varias medidas que pueden combinarse para lograr el cambio y el impacto.
Juntos, la CGR y la OCDE identificaron dos medidas que podrían ponerse a prueba para comprobar su impacto y aprender durante el proceso de implementación piloto antes de ampliar potencialmente las medidas. Ambas intervenciones tienen lugar después de la publicación del informe de auditoría, pero antes de iniciar el proceso de seguimiento. Son complementarias y tienen como objetivo reducir la carga cognitiva de los auditados y la percepción de estrés e injusticia relacionada con los plazos:
Medida A: para apoyar a las entidades auditadas, la CGR podría considerar una reunión con el servicio auditado antes de iniciar el proceso de seguimiento. El objetivo de la reunión sería explicar las observaciones y recomendar algunas líneas de acción que los directivos podrían tomar para resolverlas, teniendo la precaución de no coadministrar.
Medida B: al analizar el proceso de seguimiento una vez finalizado el informe de auditoría, la CGR podría introducir cierta flexibilidad con los plazos para atender las observaciones caso por caso, siguiendo criterios claros y preestablecidos, involucrando al auditor interno o directores de control interno y a los funcionarios responsables de atender las observaciones.
Ambas medidas tienen como objetivo facilitar el seguimiento de las observaciones de auditoría por parte de las entidades auditadas y construir una mejor relación entre los auditores y las entidades auditadas. La justificación de la elección de las dos medidas refleja el alcance del proyecto, que se centró en el proceso de seguimiento. También aborda dos causas principales subyacentes que, según la investigación cualitativa realizada y descrita en el capítulo 2, contribuyen a explicar el nivel de asimiliación de los informes de auditoría en Chile. Por un lado, el sesgo de atención y la carga cognitiva que suponen el exceso de observaciones y la complejidad de los informes de auditoría y, por otro, el estrés y la percepción de los auditados de que la CGR no entiende ni se preocupa por la realidad de la Administración pública al imponer plazos uniformes. Como tal, la medida A se refiere al contenido; la medida B, al proceso. No obstante, otro criterio para la selección fue la continuidad, ya que una idea similar a la mencionada en la medida A se intentó anteriormente en la CGR, y la viabilidad, ya que ambas medidas pueden aplicarse y probarse sin requerir cambios legales.
Teoría del cambio
Una teoría del cambio identifica los supuestos subyacentes sobre la forma en que se produce el cambio, hace que estos supuestos sean más explícitos y los pone a prueba (Johnsøn, 2012[1]; OCDE, 2017[2]). A continuación, la Figura 4.1 brinda un panorama esquemático sobre la teoría del cambio que subyace en estas dos medidas. Los mecanismos, dos por cada medida, son los canales a través de los cuales se asume que las medidas contribuirán a los resultados.
Figura 4.1. Teoría del cambio de la reunión de seguimiento previa y la negociación de plazos
La medida A, la reunión de seguimiento previa entre la CGR y el servicio auditado, responde a un hallazgo del capítulo 2 en la medida en que los funcionarios expresaron el deseo de obtener una mejor orientación sobre el modo de abordar concretamente las observaciones o de tener la oportunidad de aclarar dichas observaciones.
La teoría del cambio que subyace a la hipótesis de que esta reunión puede mejorar la asimiliación del informe de auditoría se basa en los siguientes mecanismos (Figura 4.1):
En primer lugar, la reunión contribuye a reducir la carga cognitiva de los funcionarios del servicio auditado cuando se enfrentan al informe final de auditoría. La reunión trata de aclarar y simplificar las conclusiones y observaciones en un lenguaje sencillo y desde la perspectiva del nivel directivo. Esto, a su vez, debería repercutir en la relación entre los auditores y los auditados y conducir a una actitud más proactiva y, por tanto, a la asimiliación de los informes de auditoría.
En segundo lugar, a través de la orientación proporcionada por la CGR durante la reunión con respecto a las posibles vías para adoptar medidas correctoras, es probable que aumente la probabilidad de que los funcionarios actúen realmente si el motivo de la inacción estaba relacionado con la falta de conocimiento sobre qué hacer. Además, con posterioridad a la reunión, la probabilidad de que las acciones correctivas no se ajusten a las expectativas por parte de la CGR y, por lo tanto, permanezcan como incompletas en el sistema, debería ser menor y, por lo tanto, conducir a mayores índices de cumplimiento. Para evitar la percepción de coadministración y asegurar la apropiación, estas vías de acciones correctivas concretas deben ser elaboradas por los encargados, con el apoyo de la CGR.
La medida B es sencilla. El capítulo 2 puso de manifiesto que los funcionarios experimentan estrés y frustración por los plazos no flexibles y uniformes impuestos por la CGR. Al parecer, en ocasiones se ha generado una sensación de trato injusto o de incomprensión ("la CGR no entiende la realidad de la Administración pública"). Por lo tanto, la posibilidad de tener más flexibilidad con los plazos para tomar medidas correctivas durante la reunión propuesta en la medida A, debería permitir que se aborde esta cuestión.
La teoría que sustenta la hipótesis de que la negociación de los plazos mejorará la asimiliación del informe de auditoría se basa en los siguientes mecanismos (Figura 4.1):
En primer lugar, al permitir plazos más flexibles en cada caso, pero siguiendo criterios claros y preestablecidos, la CGR demuestra de forma visible y creíble su flexibilidad y su voluntad de apoyar a los funcionarios. Como los seres humanos tienden a la reciprocidad, esta flexibilidad por parte de la CGR podría aumentar la motivación de los funcionarios para cumplir con los informes de auditoría.
En segundo lugar, el hecho de que los funcionarios participen activamente en la fijación de los plazos podría aumentar su sentido de apropiación. Los funcionarios pueden sentirse personalmente comprometidos con el plazo. Además, podría considerarse la posibilidad de reforzar esta apropiación y compromiso mediante la firma de un acuerdo informal de cumplimiento del plazo.
En general, tanto la reunión como la posibilidad de negociar los plazos podrían contribuir a mejorar la relación entre la CGR y los servicios auditados. Como tal, el diseño de la reunión debe buscar que se propicie un ambiente constructivo, donde las dudas y preocupaciones de los funcionarios sean tomadas en serio y donde la CGR brinde un apoyo concreto para facilitar su trabajo. La reunión debe comunicarse y llevarse a cabo como apoyo a los funcionarios, no como un requisito burocrático más.
Potencialmente, la reunión puede tener efectos indirectos en la forma en que los auditores redactarán los futuros informes, teniendo en cuenta la retroalimentación que reciben y las interacciones que tuvieron durante la reunión. Para ello, la CGR debe garantizar un bucle de retroalimentación de esta reunión a los auditores. La encuesta realizada a los auditores (véase más adelante) debería tener en cuenta este posible cambio de comportamiento en el futuro.
Diseño y medición de la implementación
En sentido estricto, el impacto solo puede medirse con rigor si la intervención tiene en cuenta el contrafactual, es decir, lo que habría ocurrido sin la intervención (OCDE, 2017[2]). Para ello, el universo debe ser lo suficientemente grande como para permitir un tamaño de muestra con suficiente potencia estadística y espacio para comparar entre los grupos de intervención y de control. Sin embargo, dado que es probable que el número de auditorías en curso realizadas por la CGR sea insuficiente para alcanzar un tamaño de muestra suficiente para aplicar dicha metodología de ensayo de control aleatorio, la CGR podría optar por un enfoque de diferencias simples, como se explica en las siguientes secciones.
El programa piloto podría aplicarse a nivel municipal
Por lo tanto, la implementación del programa piloto podría centrarse en las auditorías en curso que sean similares en términos de tipo y nivel de implementación para evitar que los resultados se vean afectados por los efectos relacionados con estas dos características. Así, la CGR podría seleccionar únicamente las auditorías regulares implementadas a nivel municipal como el universo relevante para pilotar y evaluar ambas medidas (A y B).
A partir de este universo, la CGR podría seleccionar las auditorías regulares en curso en todos los municipios y asignarlas en tres grupos diferentes, según el tamaño y los recursos disponibles del municipio respectivo para mejorar la comparabilidad entre los grupos. La composición final del programa piloto, que se muestra también en la Figura 4.2 podría, por tanto, responder a la lógica siguiente:
Grupo 1: un primer grupo de auditorías municipales se utiliza como grupo de control. En estos procesos de auditoría, las medidas no se aplicarán.
Grupo 2: en otro grupo de auditorías municipales, la reunión (medida A) se llevará a cabo sin la posibilidad de permitir plazos flexibles (medida B).
Grupo 3: por último, en un tercer grupo de auditorías municipales, se aplicarán tanto la reunión (medida A) como los plazos flexibles (medida B).
Figura 4.2. Diseño de implementación de las intervenciones piloto
Nota: los grupos se equilibran en términos del tamaño y los presupuestos de los municipios.
El cambio podría medirse a través de encuestas y de la taza de implementación
Para evaluar los efectos de las reuniones y los plazos flexibles, los resultados relevantes de estos tres grupos se compararían mediante un enfoque de diferencias simples. Esto significa que el impacto de la reunión (medida A) se mide como la diferencia entre el grupo 2 y el 1, y el impacto relativo de los plazos flexibles (medida B) como la diferencia entre el grupo 3 y el 1.
Para medir los efectos de estas dos intervenciones, se podrían diseñar tres encuestas que se enviarían respectivamente a los auditores, a los funcionarios (auditados) y a los directores de control interno. Estas encuestas deben preguntar por la percepción y las actitudes de los tres grupos para comprobar los mecanismos subyacentes representados en la Figura 4.1 que podrían impulsar el cambio conductual y repercutir positivamente en la implementación de las observaciones de auditoría. Con el tiempo suficiente, el impacto de las medidas aplicadas podría medirse directamente a nivel de la taza de implementación.
De hecho, la CGR podría considerar la introducción de encuestas periódicas entre las partes interesadas. Estas podrían basarse en este ejercicio piloto y en las preguntas que se utilizaron. Varias EFS utilizan este tipo de encuestas. El Recuadro 4.1 ofrece algunos ejemplos de encuestas a clientes realizadas por las EFS para mejorar su comprensión de las percepciones de las entidades auditadas. Sin embargo, es importante tener el debido cuidado de no crear una relación demasiado fuerte con los clientes o generar potenciales respuestas de "venganza" por parte de los servicios auditados.
Recuadro 4.1. Entidades Fiscalizadoras Superiores que encuestan a usuarios clave para evaluar la calidad del trabajo de auditoría
Australia
Una vez finalizado cada informe de auditoría de gestión, la Oficina Nacional de Auditoría de Australia (ANAO) solicita información sobre el proceso de auditoría mediante una encuesta y una entrevista con el responsable de la entidad auditada. La encuesta es una herramienta importante para mejorar la calidad y la efectividad de los servicios de auditoría de desempeño. Los resultados de la encuesta proporcionan una perspectiva de la eficacia de la práctica actual y sirven de base para el desarrollo de nuevas prácticas y enfoques de auditoría. La encuesta ha sido diseñada por una empresa de consultores contratada por la ANAO, pero independiente de los equipos de auditoría de gestión. El índice de respuesta de los auditados encuestados para el periodo de información 2011-2012 fue del 75% y del 87% en 2010-2011.
Las cuestiones clave sobre las que se solicita información son el proceso de auditoría, los informes de auditoría y el valor de los servicios de auditoría de desempeño de la ANAO en general. Por ejemplo, en la encuesta de 2011-2012, la proporción de encuestados que reconoció el valor agregado por los servicios de la ANAO fue del 91% (frente al 86% en 2010-2011). El porcentaje de encuestados que consideró que los auditores habían demostrado los conocimientos profesionales y las habilidades de auditoría necesarias para llevar a cabo la auditoría fue del 85% (por debajo del 91% en 2010-2011).
Dinamarca
Rigsrevisionen, la EFS de Dinamarca, ha utilizado diversas técnicas para evaluar sus beneficios para las entidades auditadas y para el sistema de gobernanza, incluidas las encuestas a clientes. Por ejemplo, en 2009, Rigsrevisionen contrató a una consultoría para que realizara un estudio independiente de los clientes por encargo suyo. Entre los clientes se encontraban secretarios permanentes, directores generales, directores generales de empresas públicas, directores financieros, otros funcionarios del gobierno central y miembros de la Comisión de Cuentas Públicas del Parlamento.
Los funcionarios de Rigsrevisionen estaban muy interesados en conocer la opinión de sus clientes sobre la calidad de los servicios ofrecidos, su relación de trabajo y la utilidad de los resultados de sus auditorías. La encuesta identificó áreas de mejora en cuatro ámbitos: auditoría financiera (auditoría anual); auditoría del desempeño (exámenes de importancia); coordinación, planificación y asesoramiento; e interacción con el Comité de Cuentas Públicas. Los resultados incluyeron recomendaciones para ser más receptivos durante la etapa de auditoría en la que se preparan los memorandos y los proyectos de informe, así como para mejorar las competencias del personal de las EFS hasta un nivel más uniforme.
Nueva Zelanda
La Oficina del Auditor General (OAG) de Nueva Zelanda utiliza una empresa independiente para realizar una encuesta anual de satisfacción de los clientes de las entidades públicas auditadas por el auditor general. La empresa encuesta una muestra aleatoria de entidades públicas para medir el nivel de satisfacción e identificar las áreas en las que la OAG necesita mejorar sus servicios de auditoría. Antes de 2007-2008, la muestra de la encuesta se limitaba a las entidades públicas auditadas por la OAG. En 2007-2008, la OAG amplió la muestra para incluir a las entidades públicas auditadas por empresas de auditoría del sector privado. Se invita a los representantes de una muestra de estas entidades a participar en una entrevista telefónica para que aporten sus comentarios y califiquen los siguientes factores en una escala de 1 a 10, siendo 1 muy bajo y 10 muy alto:
capacidad principal de los proveedores de servicios de auditoría
conocimiento del personal de los proveedores de servicios de auditoría
el modo en que el personal de los proveedores de servicios de auditoría trabaja con las entidades, incluidos los órganos de gobierno y los comités de auditoría, cuando proceda
el valor que aportan los proveedores de servicios de auditoría y la utilidad del asesoramiento brindado
el desempeño y la contribución que los proveedores de servicios de auditoría hicieron como entidades preparadas para adoptar los equivalentes neozelandeses a las Normas internacionales de información financiera (NZ IFRS)
el grado de satisfacción general con el servicio recibido por parte del proveedor de la auditoría.
Los resultados de las encuestas a los clientes ocupan un lugar destacado en los informes anuales de la OAG, incluso en el prólogo del auditor general. De este modo, se transmite al personal de la OAG la importancia de las encuestas, al tiempo que se crea conciencia en los directivos sobre la importancia de satisfacer las necesidades cambiantes de las partes interesadas y de los clientes.
Fuente: OECD (2014[3]), Chile’s Supreme Audit Institution: Enhancing Strategic Agility and Public Trust, OECD Public Governance
Reviews, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264207561-en; New Zealand Controller and Auditor-General (2009),
“Annual Report 2008-2009”, Office of the Auditor-General, New Zealand, www.oag.govt.nz/2009/2008-09/docs/annual-report.pdf.
Referencias
[1] Johnsøn, J. (2012), Theories of change in anti-corruption work: A tool for programme design and evaluation, Chr. Michelsen Institute (U4 Issue 2012:6), Bergen, http://www.cmi.no/publications/publication/?4635=theories-of-change-in-anti-corruption-work.
[2] OCDE (2017), Monitoring and Evaluating Integrity Policies, Working Party of Senior Public Integrity Officials GOV/PGC/INT(2017)4, Paris.
[3] OCDE (2014), Chile’s Supreme Audit Institution: Enhancing Strategic Agility and Public Trust, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/9789264207561-en.