Hacer un uso eficaz de los datos y la analítica requiere una estrategia con metas y objetivos claros que promuevan un enfoque coherente en todos los niveles de la institución, así como un aprendizaje continuo para garantizar su impacto. Este capítulo explora lo que significa para la ASF adoptar un "enfoque estratégico" de los datos y la analítica, centrándose en la evaluación de riesgos de integridad. Abarca tanto el establecimiento de objetivos a nivel institucional como la necesidad de planes para que la ASF supervise su inversión en analítica, inspirándose en otras EFS y países miembros de la OCDE.
Fortaleciendo la Analítica en la Institución de Fiscalización Superior de México
Consideraciones y Prioridades para la Evaluación de Riesgos de Integridad
Estudios de la OCDE sobre Gobernanza Pública
1. Consideraciones estratégicas para que la entidad de fiscalización superior de México promueva la analítica
Abstract
1.1. Introducción
Hacer un uso eficaz de los datos y la analítica requiere más que simplemente incorporar nuevas herramientas, tecnologías o fuentes de datos al trabajo de las instituciones de auditoría. Requiere una estrategia, con metas y objetivos claros que todos los niveles de la entidad de fiscalización superior (EFS), en particular los funcionarios de línea y los encargados de la implementación de la estrategia, conozcan y puedan apoyar. Una estrategia contribuye al liderazgo de las EFS para ser administradores eficaces del dinero de los contribuyentes al garantizar que objetivos claros guíen las inversiones y las decisiones. Una estrategia también proporciona incentivos para el aprendizaje continuo y la alineación de datos y analítica con objetivos a largo plazo. Los datos y la analítica sirven a los objetivos institucionales. Definir estos objetivos y articularlos es un paso crítico en la transformación digital de una organización y para inculcar una cultura que promueva la analítica basada en decisiones en lugar de la toma de decisiones basada en datos (MIT, 2020[1]).
Para la Auditoría Superior de la Federación de México (ASF), la estrategia digital se refleja mejor en su programa de trabajo para la transformación digital, publicado en septiembre de 2020. El programa enfatiza metas y objetivos técnicos para equipar a los auditores con la infraestructura, la arquitectura, las habilidades y las herramientas necesarias para auditar eficazmente en un entorno digital. Por diseño, el programa se enfoca en muchas prioridades de toda la ASF, lo que demuestra el compromiso interno y externo de invertir en su propia modernización para seguir el ritmo de la transformación digital que ocurre en todo el gobierno mexicano y entre las EFS pares. Además, la pandemia de COVID-19 destacó aún más la importancia de la transformación digital de la ASF, como se refleja en diferentes iniciativas para mejorar las capacidades de auditoría remota.
El programa de trabajo para la transformación digital establece la tónica y una base sólida para muchas actividades. El documento que describe el programa señala que, en última instancia, los datos se pueden utilizar para el monitoreo en tiempo real o para el uso de inteligencia artificial en la auditoría. Sin embargo, no da más detalles sobre un área clave de la inversión de la ASF: datos y analítica para prevenir y detectar irregularidades.1 Como se describe en este informe, la ASF ha ya desarrollado varias iniciativas para recopilar datos y evaluar los riesgos de integridad en apoyo de sus auditorías e investigaciones. Sin embargo, sin una estrategia y objetivos claros y unificados en toda la institución para aprovechar los datos y la analítica en esta área crítica de las actividades de la ASF, las inversiones y los esfuerzos institucionales en términos de datos y analítica corren el riesgo de ser aislados, ad hoc e ineficientes. Este capítulo explora la necesidad de que la ASF mejore su “enfoque estratégico” hacia los datos y la analítica para evaluar los riesgos de integridad en términos tanto del establecimiento de objetivos a nivel institucional como de la puesta en marcha de planes para que la ASF supervise su inversión en analítica, inspirándose en otras EFS y países miembros de la OCDE.2
1.2. Establecer las bases para el uso eficaz de la analítica para evaluar riesgos de integridad
La Organización Internacional de Entidades Fiscalizadoras Superiores (INTOSAI) promueve la modernización de las EFS a través de la emisión de normas y guías que enfatizan el papel crítico de los datos para apoyar las misiones de las EFS. Específicamente, la INTOSAI hace un llamado a las EFS para que adopten un enfoque estratégico sobre cómo utilizan los datos. Varios grupos de trabajo y socios de la INTOSAI, como el Grupo de Trabajo sobre Auditoría a las Tecnologías de la Información y la Iniciativa de Desarrollo de la INTOSAI, han emitido orientación práctica sobre cómo las EFS pueden lograr esto. La orientación para combatir el fraude y la corrupción también destaca el papel fundamental que pueden desempeñar los datos y la analítica, y las políticas, prácticas y herramientas sugeridas para aprovechar los datos en apoyo de este objetivo específico. No existe una definición única de "analítica" (utilizada como abreviatura de "analítica de datos" en este informe). La analítica puede verse como el proceso de computación de "análisis de datos" exploratorio y confirmatorio, incluida la recopilación, limpieza, análisis e implementación de datos (INTOSAI, 2019[2]). Este informe adopta esta amplia definición y conceptualización de la analítica, dada la relevancia para la ASF y el enfoque del proyecto.
Recuadro 1.1. Directrices analíticas del Grupo de Trabajo de INTOSAI sobre Auditoría de TI
La analítica es un campo amplio, e incluso entre las entidades de fiscalización superior, las prácticas pueden variar ampliamente según los resultados deseados, los datos sin procesar disponibles y el contexto. Sin embargo, el Grupo de Trabajo de INTOSAI sobre Auditoría a TI, del cual la ASF es miembro, desarrolló una serie de lineamientos generales a tener en cuenta al usar la analítica para respaldar el trabajo de auditoría. Estas recomendaciones se subdividen en cinco pasos cronológicos según la INTOSAI (Gráfica 1.1).
Etapa inicial: Identifique el blanco o el objetivo, y una fuente potencial de datos a utilizar.
Idoneidad de los datos: Examine detenidamente los datos potenciales, límpielos y verifique la confiabilidad de los datos.
Creación de la analítica: Decida cómo se analizarán los datos, una vez preparados. Hay varios tipos de metodologías de analítica, y es fundamental que se seleccione la correcta para cualquier proyecto específico:
La analítica descriptiva simplemente resume los datos disponibles en porcentajes o fracciones simples.
La analítica de diagnóstico se lleva a cabo para averiguar por qué sucedió algo o por qué algo no sucedió como debería.
La analítica predictiva utiliza datos para estimar la probabilidad de eventos futuros. La regresión lineal múltiple o el aprendizaje automatizado (machine learning) son ejemplos bien conocidos. Si finalmente se selecciona un modelo de aprendizaje automatizado, también se requiere un paso adicional en esta etapa, conocido como entrenamiento. En el entrenamiento, se le enseña al programa qué buscar y cómo evaluar los hallazgos.
Despliegue de la analítica: Aplique el programa de análisis a los datos limpios y listos. Este paso puede ser puntual, frecuente o continuo, según el programa seleccionado.
Inteligencia de negocio: Aplique lo aprendido a través del programa de análisis a la generación de informes y la toma de decisiones.
Gráfica 1.1. Proceso de analítica de datos de la INTOSAI
Fuente: (INTOSAI, 2019[2]).
La inversión de la ASF en su transformación digital se alinea con tendencias más amplias en el Poder Ejecutivo del gobierno federal en los últimos años. En julio de 2019, el Diario Oficial de la Federación publicó el Plan Nacional de Desarrollo de México 2019-2024 (PND), que establece los objetivos, la estrategia y las prioridades nacionales para el desarrollo de México. De 2013 a 2018, el gobierno federal siguió una Estrategia Digital Nacional (EDN), que reconoció el valor estratégico de la digitalización para el sector público y la sociedad en general (Gobierno de México, 2013[3]). El gobierno no implementó una nueva estrategia después de 2018, aunque la Coordinación de la Estrategia Digital Nacional (CEDN) de la Presidencia de México está considerando una nueva (Coordinación de la Estrategia Digital Nacional, Gobierno de México, 2021[4]). El “Programa Nacional de Combate a la Corrupción y a la Impunidad y de Mejora de la Gestión Pública” para 2019-2024—encabezado por la SFP, la CEDN y la Secretaría de Hacienda y Crédito Público (SHCP)—proporciona orientación estratégica y prioridades que se centran específicamente en la lucha contra la corrupción.
Si bien México carece de una Estrategia Digital Nacional actualizada, el Plan Nacional de Desarrollo y los programas anticorrupción brindan orientación para el uso estratégico de los datos. La gobernanza de datos está en el centro de muchos de los principios y políticas que el gobierno mexicano ha adoptado en los últimos años. Una gobernanza de datos robusta promueve la integración y la coherencia sistémica, ofreciendo una base común para que las organizaciones utilicen los datos de manera eficaz para una variedad de objetivos de política pública, entre ellos la lucha contra la corrupción y el fraude. El modelo descrito en la Gráfica 1.2 destaca los valores de todos los aspectos organizacionales, técnicos y de política pública para una gobernanza de datos exitosa.
Gráfica 1.2. Aspectos para una gobernanza de datos exitosa
Fuente: (OCDE, 2019[5]).
El modelo de gobernanza de datos anterior es relevante tanto desde una perspectiva institucional como de gobierno completo. Para las instituciones de auditoría, la gobernanza y la gestión de datos están a la vanguardia de su trabajo diario. La Declaración de Moscú de la INTOSAI insta a las EFS a hacer un mejor uso de los datos y la analítica en las auditorías, incluidas “estrategias de adaptación, como la planeación de tales auditorías, el desarrollo de equipos experimentados para la analítica de datos y la introducción de nuevas técnicas en la práctica de la auditoría pública” (INTOSAI, 2019[6]). Además, varios grupos de trabajo y regionales de la INTOSAI, así como EFS individuales, han planteado la necesidad de una gobernanza de datos eficaz a medida que el "qué" y el "cómo" de la auditoría evolucionan con la digitalización gubernamental.3 Las entidades gubernamentales más allá de las EFS están lidiando con los mismos problemas y desarrollando sus propios marcos de gobernanza de datos (véase el ejemplo de Nueva Zelanda en el Recuadro 1.2. El modelo de la Gráfica 1.3 captura principios y necesidades comunes de todas estas fuentes, que incluyen:
El nivel estratégico demostró que las estrategias de datos son un elemento crítico de una buena gobernanza de datos. Las estrategias de datos permiten la rendición de cuentas y pueden ayudar a definir el liderazgo, las expectativas, las funciones y los objetivos. El nivel estratégico también destaca cómo la formulación de políticas y/o estrategias de datos puede beneficiarse de procesos abiertos y participativos, integrando así los aportes de los actores dentro y fuera de la ASF.
El nivel táctico permite la implementación y dirección coherentes de políticas, estrategias e iniciativas de datos. Se basa en el valor de las habilidades y competencias de los auditores y destaca las actividades centradas en las personas como el reclutamiento, la comunicación, la coordinación y la colaboración como instrumentos para extraer valor de los activos de datos. También tiene en cuenta la importancia de las redes institucionales formales e informales, como las comunidades de práctica. El nivel táctico también incluye legislación y regulaciones relacionadas con los datos que ayudan a definir y garantizar el cumplimiento de las reglas y políticas que guían la gestión de datos, incluida la apertura, la protección y el intercambio de datos.
El nivel de ejecución cubre la aplicación diaria de las estrategias de datos. Toca diferentes aspectos técnicos y de políticas del ciclo de valor de los datos en sus diferentes etapas (desde la producción de datos hasta la reutilización), el papel y la interacción de los diferentes actores en cada etapa (por ejemplo, como proveedores de datos) y la interconexión de los flujos de datos a través de las etapas. La adopción de soluciones tecnológicas se da en este nivel con vinculación a metas y objetivos estratégicos. También se relaciona, por ejemplo, con la necesidad de rediseñar la infraestructura, la arquitectura y las prácticas y procesos de gestión de datos heredados. En este nivel también se abordan cuestiones de interoperabilidad y estandarización de datos.
En entrevistas, los funcionarios de la ASF destacaron como retos aspectos de los seis elementos clave: liderazgo y visión; capacidades; regulación; ciclo de valor de los datos; infraestructura de datos; y arquitectura de datos. En particular, varias prioridades estratégicas, entre ellas el establecimiento de una visión unificada para la analítica para la integridad, una colaboración más estrecha con otras instituciones y el diseño de un plan de acción cohesivo, pasaron a primer plano durante las entrevistas de investigación con la OCDE, como se analiza a continuación. Estas prioridades son fundamentales porque son la base para un uso eficaz y eficiente de la analítica que evita la creación de silos de datos y promueve la eficiencia en la ASF en actividades transversales que requieren muchos recursos, como la gestión y limpieza de datos. Las siguientes secciones se inspiran en estos elementos como marco para identificar áreas para que la ASF mejore su propio enfoque hacia los datos y la analítica para detectar riesgos de integridad.
Recuadro 1.2. Marco de gobernanza de datos de Nueva Zelanda
La agencia líder de datos en poder del gobierno de Nueva Zelanda (Stats NZ) elaboró un marco de gobernanza de datos nuevo y mejorado para el gobierno de Nueva Zelanda. El marco es parte de los numerosos esfuerzos de la agencia para promover mejores prácticas de gestión de datos en todo el sector público y aprovechar los datos como un activo estratégico para la toma de decisiones. Uno de los pilares centrales del marco es la adopción del llamado "enfoque del ciclo de vida de la totalidad de los datos", lo que significa que se alienta a los organismos y a los empleados públicos a pensar de manera más estratégica sobre la gobernanza, la gestión, la calidad y la rendición de cuentas de sus datos, durante todo el ciclo de vida de los datos (es decir, desde el diseño y la fuente de los datos hasta su almacenamiento, publicación y eliminación).
Gráfica 1.3. Hacia un marco holístico de gobernanza de datos
Fuente: (OCDE, 2019[5]).
1.3. Acercamiento a la analítica con una mentalidad estratégica
1.3.1. Establecimiento de una visión unificada para la analítica
Si bien el Plan Nacional de Desarrollo proporciona objetivos más amplios para que el gobierno transite la transformación digital, y el papel de la ASF en el SNAC brinda cierta inspiración, la ASF puede establecer objetivos para su transformación digital y uso de la analítica a su discreción. El plan estratégico de la ASF para 2018-2026 consta de 29 objetivos que trazan una teoría de cambio para contribuir a la buena gobernanza y la rendición de cuentas en el sector público, además de posicionar a la ASF como un ejemplo nacional e internacional de experiencia técnica de alta calidad. Una de las principales propuestas de valor de la ASF descritas en su plan estratégico es sensibilizar a las entidades auditadas sobre riesgos de irregularidades. El plan también enfatiza la necesidad de análisis de riesgos, tecnologías “líderes” para apoyar las funciones de la ASF y el desarrollo de capacidades técnicas y la especialización del personal (ASF, 2018[7]). Sin embargo, la estrategia no articula metas u objetivos claros que establezcan una visión unificada o una guía para los equipos de la ASF que han desarrollado iniciativas independientes para usar datos y analítica para evaluar los riesgos de integridad.
Asimismo, el programa de trabajo digital de la ASF no contempla una visión, objetivos o dirección unificados. Además del plan estratégico, la Dirección General de Sistemas (DGS) de la ASF elaboró un programa de trabajo para guiar la transformación digital. La DGS se encuentra adscrita a la Unidad General de Administración y, entre otras funciones, tiene una labor transversal estratégica para establecer estándares, políticas y sistemas de TI en la ASF, así como para implementar herramientas técnicas y brindar asistencia técnica internamente (Gobierno de México, 2021[8]). El programa de transformación digital elabora un objetivo multidimensional para:
Desarrollar, regular e implementar proyectos de procesos sustantivos y adjetivos con flujos automatizados que consideren entradas y salidas en formato digital, desde la automatización robótica, firma electrónica, firma electrónica del Sistema de Administración Tributaria (SAT) y sellos de tiempo de la Secretaría de Economía (SE), hasta el almacenamiento de información y transacciones críticas en cadena de bloques (blockchain) a efecto de impulsar la transformación digital en la Auditoría Superior de la Federación que asegure la disponibilidad de tecnologías “de punta” para fortalecer a la institución, mantenerse a la vanguardia en el uso de tecnología existente y potencializar los resultados de la fiscalización de los recursos públicos (ASF, 2020[9]).
El programa también destaca varios proyectos que son relevantes para la analítica, incluido el desarrollo de un almacén de datos central, la automatización de los procesos de datos y el flujo de información, y la digitalización del proceso de auditoría de la ASF a través del desarrollo de un Buzón Digital (ASF, 2020[9]).
La estrategia y el programa de trabajo digital de la ASF aluden ampliamente a los riesgos de analítica e integridad, pero no describen objetivos que vinculen la analítica para identificar irregularidades. Los datos y la analítica permiten a los equipos de la ASF lograr sus objetivos y cumplir con las propuestas de valor más amplias de la institución, tal como se define en su plan estratégico. En entrevistas con altos funcionarios de la ASF, se señaló el establecimiento de una visión unificada para datos y analítica -- incluida una que refleje las tendencias de auditoría y gobernanza relacionadas con big data -- como una de las principales prioridades estratégicas de la ASF. Abordar la analítica a nivel estratégico podría tener una serie de impactos positivos en la transformación digital de la ASF. Por ejemplo, durante las entrevistas, los funcionarios reconocieron que sería útil para involucrar al liderazgo, mejorar la coordinación, promover el intercambio de datos internamente y potencialmente facilitar la centralización de las actividades de datos clave (véase la sección a continuación). También podría ayudar al liderazgo a establecer la experimentación como un objetivo estratégico y enmarcar los esfuerzos para innovar como parte de la cultura de la ASF y del compromiso de la alta gerencia para invertir en las habilidades y herramientas de los auditores (véase el Capítulo 2). El Recuadro 1.3 ilustra cómo la Oficina Nacional de Auditoría de Australia (ANAO) aborda los datos y la analítica en su plan corporativo, que es el documento central de la ANAO para establecer su visión y direcciones estratégicas.
Recuadro 1.3. Prioridades estratégicas de datos y analítica de la Oficina Nacional de Auditoría de Australia
Adoptar un enfoque unificado, cohesivo y estratégico sobre el análisis de datos es de vital importancia para las instituciones de auditoría que esperan maximizar los recursos, mejorar la toma de decisiones y lograr los objetivos organizacionales. Con esto en mente, el plan corporativo anual de la Oficina Nacional de Auditoría de Australia (ANAO) establece un marco claro y sucinto sobre cómo se utilizará la tecnología y la analítica de datos en la organización, los procesos específicos y relevantes implementados y qué equipos a través de la organización son responsables de cada aspecto. Más específicamente, el documento identifica un equipo independiente dedicado a la analítica, las áreas clave en las que la Oficina desearía utilizar los datos para cumplir mejor sus objetivos y las formas en que le gustaría mejorar las prácticas de gestión de datos. La importancia de la analítica de datos para el trabajo de la organización también se destaca por su mención en otras secciones relacionadas del plan corporativo, incluidas las de capital humano, presupuesto y productividad.
1.3.2. Creación de un plan de acción para la analítica
El enfoque de la ASF hacia la analítica se puede caracterizar como de abajo hacia arriba, con áreas especializadas que desarrollan capacidades, herramientas y procesos que sirven a sus mandatos individuales, que incluyen la evaluación de riesgos de integridad. No obstante, como se señaló anteriormente, la ASF no tiene objetivos o procesos claramente definidos para identificar riesgos de integridad a través de la analítica, y los que existen no están unificados entre los equipos. Su experiencia en datos y analítica para este propósito se distribuye en cuatro departamentos diferentes, "Auditorías Especiales", y sus Direcciones Generales (DG). Estas incluyen la Auditoría Especial de Cumplimiento Financiero (AECF) y dentro de ella, la Dirección General de Auditoría Forense (DGAF) y la Dirección General de Auditoría de Tecnologías de Información y Comunicaciones (DGATIC). Estas DG tienen recursos concentrados en datos y expertos en analítica.
Además, la experiencia en analítica se puede encontrar en otros departamentos que han desarrollado sus propias capacidades de forma independiente, como la Auditoría Especial del Gasto Federalizado (AEGF), así como la Auditoría Especial de Desempeño (AED). A fines de agosto de 2021, la ASF emitió un reglamento interior enmendado que introdujo una DG bajo los auspicios de la AEGF, denominada Dirección General de Auditoría Forense del Gasto Federalizado (DGAFGF).4 El cuarto equipo a nivel departamental de la ASF, la Auditoría Especial de Seguimiento, Informes e Investigación (AESII) juega un papel más indirecto, ya que apoya el seguimiento de las auditorías y derivaciones que utilizan la analítica trabajada por otros departamentos.
Tanto la AECF como la AEGF han desarrollado sistemas y enfoques analíticos independientes para apoyar a los auditores dentro de sus respectivos departamentos, detallados más adelante en el Capítulo 2. Estos sistemas aprovechan diferentes bases de datos, pero comparten muchos de los mismos procesos y desafíos relacionados con la gestión de datos, e incluso comparten algunas fuentes de datos. La AECF también ha desarrollado aplicaciones innovadoras de nuevas tecnologías para apoyar la auditoría de la ASF en toda la institución. Esto incluye el uso de imágenes satelitales para mejorar la supervisión remota, como en auditorías de proyectos de infraestructura. También implica el uso de sistemas de información geográfica y herramientas de georreferenciación para aportar información al análisis de las brechas territoriales en una auditoría y organizar los resultados de las auditorías durante los últimos 20 años para permitir el filtrado por geografía. La AECF previó nuevas herramientas en 2021, como el uso de drones para facilitar la auditoría de obras públicas en tiempo real y el desarrollo de tableros con indicadores clave de desempeño. El trabajo de la AECF no solo tiene amplias implicaciones para otros departamentos de la ASF, sino que también aborda las necesidades relacionadas con la mejora del uso de datos y analítica para detectar el fraude, como se analiza en el Capítulo 2.
Como lo sugiere el nombre, la misión de la DGAF es realizar auditorías e investigaciones forenses y, según los funcionarios de la DGAF, la DG utiliza datos y herramientas forenses en todas las auditorías que realiza. La DGAF también alberga el Laboratorio Forense de la ASF, que recopila, analiza y resguarda la evidencia digital en apego a las normas y procedimientos de cadena de custodia (ASF, 2021[11]). El Laboratorio Forense no es una función centralizada de datos y analítica, aunque algunas de sus actividades incluyen el análisis de datos y apoya a otras DG, principalmente de la AECF. Los principales objetivos del Laboratorio Forense son 1) obtener y resguardar evidencia digital; 2) analizar dispositivos físicos de almacenamiento o información digital que pueda ser considerada como prueba o soporte de cualquier supuesta irregularidad y posterior procedimiento sancionador; y 3) brindar análisis y apoyo a las investigaciones. Sus actividades incluyen:
Creación de imágenes forenses de dispositivos electrónicos con el fin de preservar y asegurar la integridad de la información.
Recuperación y análisis de información digital enfocados a la revisión de diferentes fuentes de datos digitales mediante la aplicación de software específico.
Análisis de datos, incluida la comparación de datos y otras técnicas.
Análisis de redes y visualizaciones para apoyar las investigaciones.
Valoración de falsificación de documentos e imitación fraudulenta de texto en archivos electrónicos.
Gestión de datos y copia de información entre dispositivos físicos de almacenamiento y, en su caso, identificación de posibles errores vinculados a datos corruptos o anomalías.
Eliminación segura de dispositivos de almacenamiento físico (ASF, 2021[11]).
Para complementar el plan estratégico y el programa de trabajo sobre transformación digital, la ASF podría diseñar un plan de acción que se centre en los objetivos institucionales para aprovechar los datos y la analítica y mejorar el trabajo de auditoría. El programa de trabajo propio de la ASF para la transformación digital cubre varias áreas críticas que podrían reflejarse en el plan de acción. Por ejemplo, el programa de trabajo incluye análisis de las fortalezas, debilidades, oportunidades y amenazas (FODA) de la ASF en los componentes clave de los objetivos de transformación digital de la entidad. Esto incluye el análisis de los objetivos de la ASF relacionados con el desarrollo de software, infraestructura tecnológica, telecomunicaciones, servicios informáticos y operaciones de sistemas. Todas estas áreas influyen en la capacidad de los auditores para hacer uso de los datos en su trabajo. Lo que hace diferente a un plan de acción de este programa de trabajo es la capacidad de perfeccionar las aplicaciones de datos y analítica en áreas específicas de las actividades de la ASF, lo que a su vez ayuda a adaptar la transformación digital a los objetivos y necesidades de los diferentes equipos. Una de estas áreas podría ser la de datos y analítica para evaluar riesgos de integridad, llenando un vacío crítico en la atención que la ASF presta actualmente al fraude y la corrupción en su programa de trabajo y estrategia para la transformación digital.
El Tribunal de Cuentas Europeo (European Court of Auditors, ECA) está experimentando su propia transformación digital. Esto incluye esfuerzos para ejercer una mayor automatización en sus procedimientos de auditoría, emplear algoritmos para detectar irregularidades en documentos digitales y hacer uso de inteligencia artificial para detectar patrones de desempeño en grandes conjuntos de datos (The European Court of Auditors, 2019[12]). Según el ECA, tales innovaciones pueden hacer que los auditores se concentren más en hacer las preguntas correctas en lugar de dedicar todo su tiempo a la verificación y el análisis. A medida que la ASF avanza en su propia transformación digital, un plan de acción la ayudará a ir más allá de su enfoque actual para identificar objetivos que sean específicos, medibles, alcanzables, relevantes y basados en el tiempo en relación con áreas específicas. La hoja de ruta de la ECA, con un enfoque en los objetivos a corto, mediano y largo plazo, puede servir como modelo para que la ASF establezca prioridades y enmarque su propio camino a seguir en el plan de acción. Implícita en esta gráfica está la noción de que la ASF podría considerar un enfoque gradual para la mejora de su analítica durante un período de varios años. Esto es similar a lo que ha hecho la Oficina Nacional de Auditoría del Reino Unido (UK National Audit Office) para lograr su propia transformación estratégica. En el primer año, la NAO completó un plan detallado y comenzó a adquirir un nuevo software de auditoría e implementó una plataforma de datos basada en la nube (es decir, el Sistema de Gestión de Información de Auditoría), mientras desarrollaba una metodología basada en datos para evaluar los riesgos relacionados con las entidades auditadas. En 2021‑22, la NAO pondrá a prueba la metodología y la implementará plenamente el año siguiente (UK National Audit Office, 2021[13]).
Gráfica 1.4. La hoja de ruta del Tribunal de Cuentas Europeo hacia la auditoría digital
El valor de desarrollar un plan de acción radica en gran parte en el proceso mismo. Dados sus mandatos, la Dirección General de Planeación y Evaluación o la DGS, probablemente tomarían roles de liderazgo en este esfuerzo. Lo que es fundamental, independientemente de qué Dirección dirija el plan de acción, es que las DG tengan líneas directas de reporte a la alta gerencia y un mandato institucional. Por ejemplo, cuando la Oficina Nacional de Auditoría del Reino Unido mejoró su analítica y estableció un servicio de datos interno, uno de los principales facilitadores de sus esfuerzos fue el apoyo del liderazgo (UK National Audit Office, 2018[14]). Sin embargo, el desarrollo del plan de acción sería un medio para involucrar y obtener el apoyo de una gama más amplia de actores, incluidos los departamentos y equipos responsables de la gestión y analítica de datos en la ASF, tal como se describe a continuación. Un esfuerzo colectivo para desarrollar un plan de acción de analítica ayudaría a romper el aislamiento entre los diferentes departamentos y equipos que están trabajando con datos similares y utilizando técnicas comparables, además de enfrentar desafíos similares relacionados con las capacidades y el acceso a los datos (véase más sobre coordinación en el Capítulo 2). El plan de acción también ayudaría a alentar al personal a considerar cómo los datos pueden respaldar la planeación y ejecución de auditorías y crear una cultura organizacional en torno al tema. Además de involucrar al liderazgo desde el principio y con frecuencia, otras consideraciones para la ASF en términos del proceso de desarrollo y el contenido de un plan de acción, algunas de las cuales se desarrollan en el Capítulo 2, incluyen:
Usar el marco de gobernanza de datos descrito anteriormente para ayudar a enmarcar áreas clave para enfocarse e identificar prioridades.
Tener en cuenta las implicaciones y la relevancia para todo el ciclo de auditoría, incluida la planeación, la implementación y el seguimiento.
Definir objetivos claros como parte del plan de acción para que el propósito esté antes que los datos y no al revés.
Considerar el contexto interno al hacer que los objetivos y las actividades se adapten y se ajusten al propósito de los equipos individuales de la ASF.
Promover el aprendizaje, la inclusión y la experimentación al utilizar datos y nuevas técnicas.
Establecer indicadores y una teoría de cambio para la ASF con respecto a datos y analítica, centrándose en los resultados y no simplemente en los productos (por ejemplo, indicadores que reflejen la prevención, mitigación o recuperación de pérdidas por fraude como resultado de datos y analítica).
Desarrollar una base de referencia para medir el impacto de las inversiones de la ASF en analítica y un punto de partida para realizar cambios en respuesta a factores internos y externos, como cambios en el financiamiento o la necesidad de responder a riesgos emergentes en el contexto del COVID-19.
Considerar el contexto y las partes interesadas externos (por ejemplo, el propio programa de trabajo para la transformación digital de la ASF describe las partes interesadas externas clave que serían relevantes y la crisis del COVID-19 puede ayudar a dar forma a las prioridades).
La institución de fiscalización superior de Brasil (Tribunal de Contas da União, TCU) desarrolló su propia capacidad analítica de manera similar, aunque con una decisión estratégica más deliberada de descentralizar sus capacidades para la analítica en los equipos de auditoría. Los departamentos individuales capacitaron a los auditores en analítica, los alentaron a buscar datos y herramientas de apoyo tecnológico que serían útiles para sus auditorías y formaron comunidades de práctica. Para ilustrar para la ASF cómo el TCU abordó una tarea similar, el Recuadro 1.4 describe los tres pilares clave que eligió para estructurar su estrategia de análisis de datos: gobernanza, una plataforma y soluciones basadas en información.
Recuadro 1.4. Pilares de la estrategia de datos y analítica de la entidad de fiscalización superior de Brasil
Las organizaciones se esfuerzan por trabajar de manera eficaz y eficiente, lo que a veces se puede articular alternativamente como hacerlo mejor, pero también elegir lo que se hace mejor. Esta misma idea se puede aplicar a las instituciones de auditoría que, debido a sus recursos limitados, con frecuencia enfrentan altos costos de oportunidad en las decisiones de selección de proyectos. La analítica puede facilitar estas decisiones, pero a menudo la cantidad cada vez mayor de información y las posibilidades aparentemente infinitas de análisis pueden obstaculizar los esfuerzos hacia la eficiencia y la eficacia. Por lo tanto, las instituciones deben formalizar e implementar procesos de trabajo para garantizar que la analítica realmente mejore el trabajo del organismo y que la información que se utiliza sea necesaria y suficiente para cumplir su propósito. La entidad de fiscalización superior de Brasil, el Tribunal de Contas da União (TCU), hizo esto centrándose en los siguientes tres principales pilares.
Gobernanza: los lineamientos, el apoyo y la dirección que provienen de la alta gerencia, incluida una estrategia organizacional cohesiva y un plan de acción. Esto puede ayudar a crear una cultura dentro de la organización que fomente el uso de la analítica para actividades de control.
Plataforma: las herramientas tangibles necesarias para ejecutar tareas relacionadas con la analítica y para obtener información útil a partir de datos sin procesar. Por ejemplo, el TCU creó y administra un entorno virtual llamado Labcontas. Labcontas permite a los auditores acceder de manera fácil e independiente a la información de decenas de bases de datos, como beneficio de los convenios firmados entre instituciones públicas. Esto facilita la coordinación de esfuerzos y reduce el tiempo y los recursos que a menudo se necesitan para obtener información durante las auditorías.
Soluciones basadas en información: las herramientas y las estructuras de alto nivel implementadas deben dar como resultado conocimientos prácticos, oportunos y confiables. Este tipo de información se utiliza en Brasil para una variedad de tareas relacionadas con la auditoría, desde sujetar a los funcionarios a rendición de cuentas hasta señalar posibles propuestas de subvención o contratación de alto riesgo presentadas al gobierno.
Fuente: (Revista do TCU, 2016[15]).
1.3.3. Involucrar a la Plataforma Digital Nacional y a la Secretaría de la Función Pública
En julio de 2016, el gobierno mexicano promulgó la ley del Sistema Nacional Anticorrupción (SNAC). El SNAC forma parte de una serie de reformas más amplias para mejorar la gobernanza en México y está estrechamente vinculado con iniciativas complementarias que establecieron el Sistema Nacional de Fiscalización y el Sistema Nacional de Transparencia (SNF y SNT, respectivamente). En conjunto, estos “sistemas” de actores de rendición de cuentas e integridad fueron concebidos para fortalecer las medidas anticorrupción, de fiscalización y de transparencia en el gobierno mexicano. La Ley General del Sistema Nacional Anticorrupción establece que un representante de un Comité de Participación Ciudadana (CPC) preside el Comité Coordinador del sistema, integrado por los titulares de la Secretaría de la Función Pública (SFP); la ASF; el Tribunal Federal de Justicia Administrativa; la Fiscalía Especializada en Combate a la Corrupción; el Instituto Nacional de Transparencia, Acceso a la Información y Protección de Datos Personales; y un representante del Consejo de la Judicatura Federal (Gobierno de México, 2021[16]).
La Ley General también estableció la Plataforma Digital Nacional (PDN). El objetivo de la plataforma es apoyar el trabajo de las autoridades del SNAC con nuevas tecnologías, metodologías, ciencia de datos e inteligencia artificial (Sistema Nacional Anticorrupción, 2021[17]). La PDN también tiene por objetivo reducir los silos de información para que los datos puedan ser comparables, accesibles y reutilizables (Secretaría Ejecutiva del Sistema Nacional Anticorrupción, Mexico, 2020[18]). La PDN tiene como objetivo brindar acceso a los siguientes sistemas y fuentes de información:
Evolución patrimonial, declaración de intereses y constancia de presentación de declaración fiscal
servidores públicos que intervengan en procedimientos de contrataciones públicas
funcionarios públicos y particulares sancionados
información y comunicación del SNAC y del SNF
denuncias públicas de faltas administrativas y hechos de corrupción
información pública de contrataciones.
En 2019, la OCDE emitió el informe de seguimiento del Estudio de Integridad en México, publicado en 2017, que brindó recomendaciones en varias áreas, incluidas propuestas para abordar los desafíos en el diseño de la PDN (OCDE, 2019[19]). Las recomendaciones se centraron en garantizar la interoperabilidad de las bases de datos y desarrollar una estrategia para usar la plataforma de manera eficaz para el análisis de riesgos. Para septiembre de 2019, la Secretaría Ejecutiva del Sistema Nacional Anticorrupción (SESNA) había lanzado la versión beta de la PDN. Al momento de redactar este informe, la PDN aún se encontraba en su primera versión, y la SESNA había incorporado exitosamente cuatro de las seis bases de datos (Sistema Nacional Anticorrupción, 2021[17]). La SESNA aún debe incorporar a la PDN los datos de denuncias y datos relacionados con la información y comunicación del SNAC y del SNF. Esto refleja lo que la SESNA describe como un importante desafío continuo de acceso y recopilación de datos de todo el gobierno (Secretaría Ejecutiva del Sistema Nacional Anticorrupción, Mexico, 2020[18]).
Como líder tanto del SNAC como del SNF, la ASF está bien posicionada para acelerar las mejoras a la PDN descritas en el informe de la OCDE de 2017, lo que incluye abordar las brechas en los datos, mejorar la calidad de los datos y ayudar a cumplir la promesa de la PDN como una herramienta eficaz para el análisis de riesgos. Con respecto a la calidad de los datos, los funcionarios de la ASF señalaron que los auditores pueden usar la PDN, pero aun así deben corroborar sus hallazgos con información certificada obtenida directamente de la autoridad pertinente. La ASF podría promover y apoyar mejoras en la calidad de los datos de la PDN con base en la experiencia de sus auditores y su seguimiento para certificar los datos. A su vez, esto podría ayudar a mejorar la calidad de los análisis de la ASF (y de otros) basados en la PDN.
Además, un involucramiento más profundo para acelerar las mejoras a la PDN también sería una vía constructiva para que la ASF se involucre más con el SNAC y el SNF, de conformidad con su mandato bajo la Ley General del Sistema Nacional Anticorrupción, al tiempo que apoya la implementación de la agenda anticorrupción de México.5 Informes recientes de los medios han criticado al SNAC por no cumplir con su mandato y, en un estudio reciente, México obtuvo un puntaje bajo en la implementación de leyes anticorrupción. Por ejemplo, un estudio de 2020 mostró que, si bien México tiene un sólido marco legal anticorrupción, se destaca en relación con otros ocho países de América Latina por la falta de aplicación de las leyes y una capacidad institucional reducida (Lawyers Council for Civil and Economic Rights, 2020[20]). Las iniciativas relacionadas con datos y analítica podrían ayudar a abordar los desafíos de implementación y generar una atención positiva para el SNAC y la ASF entre el público en general. Por ejemplo, la ASF, la SFP y otros miembros del SNAC y el SNF también podrían considerar desarrollar guías para que el gobierno mejore la calidad de los datos para la PDN, inspirándose en la Iniciativa Nacional contra el Fraude (National Fraud Initiative, NFI) del Reino Unido. La plataforma del NFI funciona de manera diferente a la de la PDN, ya que los organismos públicos están obligados a enviar datos al NFI periódicamente. Sin embargo, los problemas de datos subyacentes que enfrenta el NFI son similares al contexto mexicano. La NFI produce orientación que establece especificaciones de datos en términos de cómo deben formatearse los datos y los tipos de verificación de datos que pueden realizar las entidades. También apoya el uso ético de los datos a través de iniciativas como el Código de Prácticas de Comparación de Datos (Code of Data Matching Practice), que promueve la transparencia y establece principios y prácticas para proteger el derecho de los ciudadanos a la privacidad (véase el Recuadro 1.5).
Recuadro 1.5. El Código de Prácticas de Comparación de Datos de la Iniciativa Nacional contra el Fraude del Reino Unido
La Iniciativa Nacional contra el Fraude de la Comisión de Auditoría fue presentada en 1996 como el ejercicio de comparación de datos del Reino Unido más grande en relación con el fraude. La Ley de Delitos Graves de 2007 permitió a los organismos, además de aquellos con el requisito obligatorio de proporcionar datos para la Iniciativa Nacional contra el Fraude, participar como voluntarios proporcionando datos a la comisión (Gobierno del Reino Unido, 2007[21]).
La Iniciativa Nacional contra el Fraude ha permitido a las organizaciones participantes prevenir y detectar más de 300 millones de libras esterlinas en fraudes y errores en el período comprendido entre abril de 2016 y marzo de 2018. Aproximadamente 1 200 organizaciones del sector público y privado participan en la iniciativa, incluidas las agencias de auditoría pública de Escocia, Gales e Irlanda del Norte. Cada agencia nacional de auditoría lleva a cabo la comparación de datos bajo sus propias facultades, pero utiliza los sistemas, procesos y conocimientos expertos de la Iniciativa Nacional contra el Fraude.
Para aumentar la transparencia en torno a este ejercicio masivo de comparación de datos, la Iniciativa Nacional contra el Fraude ha establecido un Código de Prácticas de Comparación de Datos que es seguido por todas las organizaciones que participan en los ejercicios de comparación de datos de la Oficina del Gabinete. El código “crea un equilibrio entre el importante objetivo de política pública de prevenir y detectar el fraude y la necesidad de prestar la debida atención a los derechos de aquellos cuyos datos se cotejan para este fin”. Para lograr este objetivo, el código se basó en la consulta a una variedad de partes interesadas, y la oficina del Comisionado de Información proporcionó orientación sobre la protección de datos.
En particular, el código requiere que cada institución publique un aviso de privacidad que informe a los ciudadanos sobre los conjuntos de datos específicos utilizados, la forma en que se recopilan, el propósito de este ejercicio de comparación de datos y su base legal, las instituciones con las que se comparten los datos, el período de retención para los datos y los derechos de los ciudadanos, incluidos los mecanismos de denuncia.
Este ejemplo ilustra tanto la necesidad de transparencia para los actores de integridad al implementar programas antifraude como el valor de su aporte para brindar evidencia para la elaboración de códigos de práctica que salvaguarden los derechos de los ciudadanos.
La ASF también podría considerar mejorar su coordinación con la SFP con respecto al uso y reutilización de datos y la detección de riesgos de integridad. La ASF se enfoca en la auditoría ex post mientras que la SFP, como función de auditoría interna, brinda vigilancia y aseguramiento durante todo el año, por lo que es poco probable que haya duplicación, según funcionarios de la ASF. Los funcionarios también señalaron que informan a la SFP y a la entidad auditada si detectan irregularidades durante una auditoría. Sin embargo, como se señala en el siguiente capítulo, la comunicación entre la ASF y la SFP como objetivo de coordinación es un esfuerzo de baja intensidad. Sobre la base de esto, la ASF y la SFP podrían trabajar juntas para identificar objetivos compartidos y vías adicionales para la colaboración. Por ejemplo, en el contexto de la analítica para evaluar los riesgos de integridad, la ASF y la SFP podrían intercambiar registros de riesgos y convocar reuniones periódicas para coordinar mejor las respuestas y el alcance a la Fiscalía Especializada en Combate a la Corrupción, una unidad dentro de la Fiscalía General de la República (FGR), cuando se encuentren irregularidades. Este proceso actualmente carece de un enfoque coordinado, reconocieron los funcionarios de la ASF.6 Ya hay precedentes. Según funcionarios, la ASF ha celebrado convenios para el intercambio de información con varias instituciones, entre ellas el Servicio de Administración Tributaria (SAT), la SHCP y la Tesorería de la Federación (TESOFE), entre otras.7
1.4. Planeación y seguimiento para la mejora continua
1.4.1. Desarrollar un plan para monitorear las iniciativas nuevas y existentes sobre analítica
La ASF podría desarrollar un plan para asegurar la relevancia de sus iniciativas sobre analítica y la confiabilidad de los resultados, particularmente para nuevas metodologías y sistemas que están en desarrollo. La ASF puede predicar con el ejemplo y basarse en sus propios estándares de control interno (Marco Integrado de Control Interno). De acuerdo con los estándares, los gerentes de las entidades gubernamentales deben usar el monitoreo y la evaluación para identificar problemas de manera oportuna e implementar acciones correctivas (ASF, 2014[23]). La ASF es principalmente un consumidor de datos, y los modelos y sistemas que desarrolla para ejecutar analítica están sujetos a cambios con el tiempo. Esto puede incluir cambios en la calidad o relevancia de los datos, según la metodología. Por ejemplo, los funcionarios de la ASF destacaron los planes dentro de la AECF para desarrollar capacidades de aprendizaje automático (machine learning). El aprendizaje automático se basa en el uso de datos históricos para desarrollar algoritmos y modelos predictivos. Los cambios en el contexto, la confiabilidad de los datos o el acceso a los datos pueden afectar la precisión y la utilidad del modelo. Por esta razón, el monitoreo continuo del desempeño de las iniciativas de analítica y datos de la ASF es un componente crítico del plan de acción antes mencionado, en caso de que la ASF decida desarrollar uno.
El monitoreo constituye uno de los cuatro pilares clave en el Marco de Rendición de Cuentas de Inteligencia Artificial (IA) de la GAO, que también incluye gobernanza, datos y desempeño. La GAO desarrolló el Marco de IA para apoyar a los gerentes en el uso responsable de la IA y para promover la rendición de cuentas en los programas y procesos gubernamentales de IA. La GAO identificó prácticas clave que se enfocan en el diseño, desarrollo, implementación y monitoreo continuo de sistemas de IA, organizados en los cuatro pilares. Muchas de las actividades en cada uno de los pilares respaldan o cumplen un propósito de monitoreo o evaluación, lo que puede ofrecer a la ASF información sobre lo que puede monitorear mediante sus propias iniciativas de analítica. Por ejemplo, el pilar “Datos” destaca la necesidad de que las entidades gubernamentales documenten las fuentes y los orígenes utilizados para los modelos de datos, incluidos documentos sobre 1) los medios para recopilar, preparar, etiquetar y mantener los datos; y 2) los medios para monitorear los datos de manera continua (US Government Accountability Office, 2021[24]). El Recuadro 1.6 proporciona más detalles sobre el pilar de monitoreo del Marco de IA.
Recuadro 1.6. El pilar de monitoreo del Marco de Rendición de Cuentas de Inteligencia Artificial de la Oficina de Rendición de Cuentas Gubernamental de los Estados Unidos
Al igual que otras entidades gubernamentales, los organismos de auditoría que usan IA deben monitorear continuamente estos programas para asegurarse de que aún estén realizando análisis en la forma en que estaban programados. La Oficina de Rendición de Cuentas Gubernamental de los Estados Unidos (GAO, por sus siglas en inglés) incluye dos componentes de este tipo de monitoreo de IA, monitoreo continuo y evaluación de la sostenibilidad para un uso ampliado de IA. Como parte de su marco de IA, la GAO describe prácticas líderes para cada uno de estos componentes.
Supervisión continua del desempeño
Al monitorear el desempeño, las entidades gubernamentales deben considerar implementar planes que describan cuándo y cómo se verificará la IA. En general, la IA que tiene un alto impacto en el trabajo de una entidad debe estar sujeta a un mayor seguimiento. Otro posible paso para producir resultados precisos sería establecer el rango de datos y la deriva del modelo que es aceptable para garantizar que el sistema de IA produzca los resultados deseados. Los datos de entrada y salida de la IA también requieren verificación cuando se monitorea la IA. La GAO estipula que las entidades deben documentar los hallazgos y resultados del monitoreo para promover la transparencia y la rendición de cuentas. El monitoreo también debe incluir la realización de entrevistas y consultas con las partes interesadas clave.
Evaluación para la sostenibilidad y el uso ampliado
Para evaluar la sostenibilidad, los organismos de auditoría deben evaluar si el programa de IA sigue siendo relevante para el contexto actual y si todavía cumple con los requisitos de la organización. También se deben considerar nuevas áreas en las que se puede expandir el uso de la IA. Esto podría implicar la realización de evaluaciones de terceros.
El monitoreo para la mejora continua también puede ayudar a la ASF a identificar el alcance de falsos positivos y comprender cómo refinar su analítica para garantizar que los recursos y las actividades de control se orienten de manera adecuada. Ninguna técnica de analítica es a prueba de fallas, y el error humano puede ser difícil de deslindar del fraude o la corrupción en base a lo que esencialmente equivale a una revisión de las bases de datos. Los sesgos humanos también pueden filtrarse en los algoritmos y los análisis (véase el Recuadro 1.7). Los auditores de la ASF dan seguimiento a las irregularidades (véase el siguiente capítulo), pero la capacidad es limitada y los circuitos de retroalimentación para que los auditores conozcan los resultados de su trabajo a partir de las partes interesadas (por ejemplo, la SFP o las fiscalías) son ad hoc. El plan de monitoreo de datos y analítica puede ayudar a abordar este problema al promover la comunicación y el involucramiento de las partes interesadas, lo que a su vez puede ayudar a la ASF a refinar sus algoritmos y analítica en función de los resultados reales.
Recuadro 1.7. Monitoreo de sesgos en algoritmos
La independencia es un componente importante del trabajo de cualquier auditor, y este principio fundamental también se puede extender a los programas de IA utilizados en las auditorías. Los modelos de IA sesgados pueden crearse mediante acciones intencionales o accidentales, y pueden dañar desproporcionadamente a grupos o individuos, lo que lleva a fallas preocupantes de justicia y equidad. Por ejemplo, se descubrió que un software de inteligencia artificial desarrollado por una importante empresa de tecnología para preseleccionar a los solicitantes de empleo estaba sesgado en contra de las candidatas mujeres. Los daños a la justicia y la equidad causados por una IA pueden disminuir la confianza en los gobiernos y, por lo tanto, los programas de IA deben monitorearse regularmente. El monitoreo de la IA presenta una serie de desafíos. Es posible que las leyes locales prohíban la recopilación o el uso de ciertas formas de datos demográficos, e incluso si se encuentran sesgos, puede ser difícil definir el enfoque correcto para mitigarlos. Sin embargo, como contramedida a estos desafíos, los gobiernos están tomando cada vez más pasos para ofrecer orientación sobre el monitoreo de la IA en busca de sesgos y auditando los modelos de IA.
Por ejemplo, en el Reino Unido, el Centro para la Ética y la Innovación de los Datos (Centre for Data Ethics and Innovation, CDEI) es una entidad gubernamental dependiente del Departamento de lo Digital, la Cultura, los Medios y el Deporte que tiene la tarea de desarrollar el régimen de gobernanza adecuado para las tecnologías basadas en datos. Específicamente, el CDEI ofrece orientación sobre el uso efectivo de la IA en el gobierno. Recomienda que las organizaciones que usan IA comparen con frecuencia los datos que se usaron para entrenar un modelo de IA con la población de la que se tomaron para garantizar que estos sean representativos. En segundo lugar, los gerentes de los programas de IA deben analizar y mitigar cualquier otra fuente de sesgo que pueda conducir a diferencias en los resultados. Finalmente, es importante comprender y analizar la correlación entre las variables clave del modelo y los grupos demográficos para entender cómo éstos pueden afectar los sesgos y los resultados.
1.4.2. Evaluar el retorno de la inversión de las iniciativas de analítica
De acuerdo con el Marco de Pronunciamientos Profesionales de la INTOSAI (INTOSAI-P12 sobre el Valor y los Beneficios de las Entidades de Fiscalización Superior), la medida en que las EFS pueden marcar una diferencia en la vida de los ciudadanos depende de 12 principios.8 Uno de estos principios es que las EFS deben ser sensibles a los entornos cambiantes y los riesgos emergentes para demostrar una relevancia continua para los ciudadanos, el parlamento y otras partes interesadas (INTOSAI, 2019[26]). Para cumplir con este principio, en parte, las EFS deben establecer mecanismos para recopilar información, tomar decisiones y medir el desempeño. La forma en que las EFS hacen esto varía, pero el Marco de Medición del Desempeño de las EFS, que la ASF ayudó a desarrollar cuando presidió el Grupo de Trabajo de la INTOSAI sobre el Valor y los Beneficios de las EFS, proporciona una guía general para que las EFS evalúen los resultados en una variedad de actividades (INTOSAI, 2016[27]).
Tal como se describe en el Informe de la OCDE sobre Avances en la Implementación del Mandato de la Auditoría Superior de la Federación de México, la ASF cuenta con un equipo dedicado en la Unidad Técnica denominado Dirección de Análisis y Seguimiento de la Gestión, que evalúa el impacto del trabajo de la ASF (OCDE, 2021[28]). Una métrica clave que desarrolló el equipo enmarca el impacto de la ASF como una función de las recuperaciones en relación con su presupuesto general (es decir, la cantidad de recuperaciones de la cuenta pública auditada dividida por el presupuesto modificado asignado a la ASF para el año fiscal es igual a los pesos recuperados por cada peso de presupuesto modificado). Las fuentes de información para el cálculo de este retorno de la inversión (ROI) son el Informe Anual que se entrega a la Comisión de Vigilancia de la Auditoría Superior de la Federación, así como los datos del presupuesto de la institución. La Gráfica 1.5 muestra los resultados de la ASF durante un período de 10 años, según la fórmula de recuperación. Por ejemplo, por cada peso asignado a la ASF en 2012, la ASF recuperó cerca de 10 pesos. La tendencia general para el período de 10 años ha sido una disminución en el ROI, según esta medición.
Gráfica 1.5. El retorno de la inversión de la ASF utilizando las recuperaciones como métrica
Nota: La relación promedio en este mismo período fue de 5.39; la mediana fue 4.47.
Fuente: (OCDE, 2021[28]).
El Informe de Avances de la OCDE propuso que la ASF tome medidas adicionales para evaluar el impacto de su trabajo de auditoría y comunicar su valor, incluida la adición de nuevos indicadores para complementar su evaluación de las recuperaciones cada año. Sobre la base de las propuestas de ese informe, la ASF también podría considerar medir el desempeño de sus actividades de analítica. Con el desarrollo de nuevas capacidades de TI en los últimos años y los planes para nuevas iniciativas, algunas de las cuales se describen en este informe, la ASF continuará invirtiendo dinero de los contribuyentes en su capacidad para auditar de manera eficaz en la era digital. Está más allá del alcance de este informe analizar todas las iniciativas y evaluar las métricas; sin embargo, los costos probables incluyen los salarios del personal y los expertos en datos, las mejoras en la infraestructura o arquitectura de TI, las tarifas de licencias para software y los materiales para capacitaciones. En el contexto de la integridad, la ASF podría mejorar sus evaluaciones para considerar no solo indicadores de productos (por ejemplo, número de irregularidades detectadas mediante la analítica), sino también indicadores de resultados a corto plazo. Por ejemplo, como parte del desarrollo de capacidades en procesos de seguimiento (véase el Capítulo 2), la DGAF podría considerar mejorar su recopilación de datos, en colaboración con la Fiscalía Especializada en Combate a la Corrupción, para comprender el impacto final que su analítica y casos referidos tienen en los resultados de dichos casos. Gran parte de la información, la retroalimentación y los datos que respaldarían una mejor medición del desempeño pueden consolidarse en el plan de monitoreo descrito anteriormente y adaptarse para diferentes propósitos. Además, tener una base de referencia para el ROI puede ayudar a la ASF a tomar decisiones sobre nuevas inversiones y la ampliación de iniciativas exitosas basadas en evidencia y resultados.
1.5. Resumen de las propuestas de acción
Este capítulo explora las consideraciones para que la ASF eleve la analítica para evaluar riesgos de integridad a un nivel estratégico. Establecer una visión estratégica, objetivos y un curso de acción coordinado ayudaría a reunir todos los niveles de la ASF en torno a un entendimiento común de su uso de analítica para evaluar riesgos de integridad, y puede inspirar un cambio cultural en el que los auditores incorporen datos y analítica en todas las fases del ciclo de auditoría. Una estrategia y un plan de acción para la analítica en las evaluaciones de riesgos de integridad también marcarían la pauta del compromiso del liderazgo con el desarrollo profesional de los auditores, al mismo tiempo que establecería una línea base para monitorear y medir el desempeño de las inversiones en esta área. Específicamente, para avanzar en un enfoque más estratégico, la ASF podría considerar las siguientes propuestas de acción:
Establecer una visión unificada para el uso de datos y analítica por parte de la ASF para la evaluación de riesgos de integridad: Los datos y la analítica permiten a los equipos de toda la ASF alcanzar sus objetivos y cumplir con las metas de la institución descritas en su plan estratégico. Altos funcionarios de la ASF señalaron como una prioridad estratégica principal el desarrollo de una visión unificada de datos y analítica, en particular una que refleje las tendencias relacionadas con big data. Existe la necesidad similar de una visión unificada para guiar la aplicación de la analítica para evaluar riesgos de integridad. La estrategia actual de la ASF y el programa de trabajo para la transformación digital no enfatizan este punto, sin embargo, existen iniciativas descentralizadas que tienen procesos y necesidades similares en términos de capacidades, habilidades y requisitos de datos, con planes de desarrollo a largo plazo. La analítica juega un papel fundamental en el trabajo de la ASF en múltiples direcciones, en particular con relación a sus esfuerzos para combatir el fraude y la corrupción. Abordar los datos y la analítica a nivel estratégico, ya sea en la próxima estrategia de la ASF, en las iteraciones posteriores de su programa de trabajo digital o en otro momento, promovería la coherencia y la coordinación en toda la organización.
Crear un plan de acción para la analítica: Con una visión más coherente, la ASF podría tomar medidas adicionales para garantizar que las iniciativas internas estén alineadas vertical y horizontalmente. El enfoque de la ASF respecto a la analítica se puede caracterizar como de abajo hacia arriba, con áreas especializadas que desarrollan capacidades, herramientas y procesos que sirven a sus mandatos individuales. Si bien este modelo tiene sus beneficios en términos de especialización, también aumenta el riesgo de duplicación, así como de incoherencia en sus políticas y procedimientos. La ASF podría diseñar un plan de acción que se centre en los objetivos institucionales para aprovechar los datos y la analítica para mejorar el trabajo de auditoría. Un plan de acción separado para la analítica proporcionaría la granularidad necesaria para perfeccionar las aplicaciones de datos y analítica en áreas específicas de las actividades de la ASF. Una de estas áreas podría ser datos y analítica para la integridad, llenando un vacío crítico en la atención que la ASF actualmente presta al fraude, la corrupción y la integridad en su estrategia y programa de trabajo para la transformación digital.
Involucrar a la Plataforma Digital Nacional (PDN) y a la Secretaría de la Función Pública (SFP): Los objetivos comunes de la PDN y la ASF en términos de mejorar el uso de datos para combatir la corrupción y detectar riesgos de integridad sugiere oportunidades para mejorar la coordinación y la colaboración. La ASF podría ayudar a acelerar las mejoras en la plataforma, incluido el abordaje de las brechas actuales relacionadas con la información y los datos del SNAC y el SNF. La ASF podría también promover y apoyar mejoras en la calidad de los datos de la PDN con base en la experiencia de los auditores de la ASF y su seguimiento para certificar datos para las auditorías. A su vez, esto podría ayudar a mejorar la calidad del propio análisis posterior de la ASF utilizando la PDN. Además, la ASF podría mejorar la coordinación y colaboración con la SFP, incluido el intercambio de registros de riesgos y la convocatoria de reuniones periódicas para coordinar mejor las respuestas y la comunicación de información a la Fiscalía Especializada en Combate a la Corrupción, cuando se encuentren irregularidades.
Elaborar un plan para monitorear iniciativas analíticas nuevas y ya existentes: La ASF podría desarrollar un plan para garantizar la pertinencia de sus iniciativas analíticas y la confiabilidad de los resultados, particularmente para nuevas iniciativas, en línea con los estándares de INTOSAI y las prácticas internacionales líderes. Los cambios en el contexto, la confiabilidad de los datos o el acceso a los datos pueden afectar la precisión y la utilidad de varias técnicas analíticas, incluido el aprendizaje automático (machine learning), que está desarrollando la ASF. El monitoreo continuo del desempeño de las iniciativas de datos y analítica de la ASF es un componente crítico del plan de acción antes mencionado, en caso de que la ASF decida desarrollar uno. Un beneficio de monitorear su analítica, incluyendo los modelos y algoritmos subyacentes, es que puede ayudar a la ASF a identificar el alcance de falsos positivos y comprender cómo refinar su analítica para garantizar que los recursos y las actividades de control se orienten de manera adecuada. Ninguna técnica analítica es a prueba de fallas, y el error humano puede ser difícil de deslindar del fraude o la corrupción en base a lo que esencialmente equivale a una revisión de las bases de datos. Los sesgos humanos también pueden filtrarse en algoritmos y análisis. El plan de monitoreo de datos y analítica puede ayudar a abordar tales problemas y proporcionar un proceso constructivo para que la ASF involucre a las partes interesadas en el perfeccionamiento de los procedimientos analíticos.
Evaluar el retorno de la inversión en iniciativas de analítica: El Informe de Avances de la OCDE sobre la Implementación del Mandato de la Auditoría Superior Mexicana de México propuso que la ASF tomara medidas adicionales para evaluar el impacto de su trabajo de auditoría y comunicar su valor, incluida la adición de nuevos indicadores para complementar su estimación de recuperaciones cada año. Basándose en las propuestas de ese informe, la ASF también podría considerar medir el desempeño de sus actividades analíticas. Con el desarrollo de nuevas capacidades de TI en los últimos años y planes para nuevas iniciativas de analítica, la ASF podría mejorar sus evaluaciones para considerar no solo indicadores de productos (outputs), sino también indicadores de resultados (outcomes) a corto plazo. Tener una base de referencia para el retorno de la inversión (ROI) puede ayudar a la ASF a tomar decisiones sobre nuevas inversiones y la ampliación de iniciativas exitosas basadas en evidencia y resultados.
Referencias
[29] Angel, A. (2021), “More than 80% complaints from the ASF for deviations fall in three years; impunity persists”, Animal Politico, https://www.animalpolitico.com/2021/03/caen-denuncias-asf-desvios-impunidad-persiste/ (accessed on 17 November 2021).
[11] ASF (2021), Presentation by ASF Officials in the Director General of Forensic Audits, “Laboratorio de Cómputo Forense”.
[9] ASF (2020), El Programa de Transformación Digital (Digital Transformation Programme).
[7] ASF (2018), 2018-2026 Plan Estratégico Institucional (Strategic Institutional Plan), ASF.
[23] ASF (2014), Marco Integrado de Control Interno, https://www.asf.gob.mx/uploads/176_Marco_Integrado_de_Control/Marco_Integrado_de_Cont_Int_leyen.pdf.
[10] Australian National Audit Office (2020), Corporate Plan 2020-21, https://www.anao.gov.au/work/corporate/anao-corporate-plan-2020-21.
[22] Cabinet Office’s National Fraud Initiative, Gobierno del Reino Unido (2018), Code of Data Matching Practice, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/750372/Code_of_Data_Matching_Practice.pdf.
[25] Centre for Data Ethics and Innovation (2020), Review into bias in algorithmic decision-making, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/957259/Review_into_bias_in_algorithmic_decision-making.pdf.
[4] Coordinación de la Estrategia Digital Nacional, Gobierno de México (2021), Planning Process for the Development of the National Digital Strategy and Technology Policy, https://www.gob.mx/cedn/documentos/proceso-de-planeacion-para-el-desarrollo-de-la-estrategia-digital-nacional-y-de-la-politica-tecnologica (accessed on 3 August 2021).
[8] Gobierno de México (2021), “Diario Oficial de la Federación”, in Agreement amending, adding and repealing several provisions of the Internal Regulations of the Superior Audit Office of the Federation.
[16] Gobierno de México (2021), The General Law of the National Anticorruption System (Ley General Del Sistema Nacional Anticorrupción), http://www.diputados.gob.mx/LeyesBiblio/pdf/LGSNA_200521.pdf.
[3] Gobierno de México (2013), National Digital Strategy, https://www.gob.mx/cms/uploads/attachment/file/17083/Estrategia_Digital_Nacional.pdf.
[21] Gobierno del Reino Unido (2007), Serious Crime Act 2007, https://www.legislation.gov.uk/ukpga/2007/27/section/49 (accessed on 3 September 2021).
[2] INTOSAI (2019), Data Analytics Guideline Prepared for INTOSAI’s Working Group on IT Audit.
[26] INTOSAI (2019), INTOSAI-P - 12 - The Value and Benefits of Supreme Audit Institutions – making a difference to the lives of citizens, https://www.issai.org/pronouncements/intosai-p-12-the-value-and-benefits-of-supreme-audit-institutions-making-a-difference-to-the-lives-of-citizens/.
[6] INTOSAI (2019), Moscow Declaration, https://incosai2019.ru/en/documents/46?download=275 (accessed on 3 August 2021).
[27] INTOSAI (2016), Supreme Audit Institutions Performance Management Framework, https://www.idi.no/elibrary/well-governed-sais/sai-pmf/426-sai-pmf-2016-english/file.
[20] Lawyers Council for Civil and Economic Rights (2020), Latin America Anti-Corruption Assessment, Cyrus R. Vance Center for International Justice and the New York City Bar, https://www.vancecenter.org/wp-content/uploads/2021/05/Latin-America-Anticorruption-Assessment-2020.pdf.
[1] MIT (2020), “Leading With Decision-Driven Data Analytics”, MIT Sloan Management Review, https://sloanreview.mit.edu/article/leading-with-decision-driven-data-analytics/ (accessed on 3 August 2021).
[28] OCDE (2021), Informe de avances sobre la implementación del mandato de la Auditoría Superior de la Federación de México, OECD, Paris, https://www.oecd.org/governance/ethics/informe-de-avances-sobre-la-implementacion-del-mandato-de-la-Auditoria-Superior-de-la-Federacion-de-Mexico.pdf.
[19] OCDE (2019), Informe de Seguimiento del Estudio de la OCDE sobre Integridad en México, OCDE, Paris, https://www.oecd.org/corruption/ethics/follow-up-report-oecd-integrity-review-mexico.htm (accessed on 3 August 2021).
[5] OCDE (2019), The Path to Becoming a Data-Driven Public Sector, OECD Digital Government Studies, OECD Publishing, Paris, https://doi.org/10.1787/059814a7-en.
[15] Revista do TCU (2016), “Evolution of Control in the”, Federal Court of Accounts Journal, See PDF (accessed on 3 August 2021).
[18] Secretaría Ejecutiva del Sistema Nacional Anticorrupción, Mexico (2020), The National Digital Platform: Data for the fight against corruption, https://contralacorrupcion.mx/la-plataforma-digital-nacional/#_ftnref1 (accessed on 2 July 2021).
[17] Sistema Nacional Anticorrupción (2021), Plataforma Digital Nacional, https://www.plataformadigitalnacional.org/about (accessed on 5 July 2021).
[12] The European Court of Auditors (2019), “Developing data services for audit”, Presentation of Magdalena Cordero, Director of Information, Workplace and Innovation, https://ecademy.eca.europa.eu/pluginfile.php/260/mod_resource/content/1/Developing%20data%20services%20for%20auditors%20%E2%80%93%20the%20ECA%20experience.pdf (accessed on 3 August 20021).
[13] UK National Audit Office (2021), NAO strategy: progress update and estimate memorandum for 2021-22, https://www.nao.org.uk/wp-content/uploads/2021/04/NAO-strategy-Progress-update-and-estimate-memorandum-for-2021-22-1.pdf.
[14] UK National Audit Office (2018), Data Analytics at the National Audit Office (UK), https://www.intosaipas.org/wp-content/uploads/2020/02/Agenda-item_2A_Andy-Fisher_Data-Analytics-at-the-UK-NAO.pdf (accessed on 3 August 2021).
[24] US Government Accountability Office (2021), Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities, https://www.gao.gov/assets/gao-21-519sp.pdf.
Notas
← 1. A los efectos de este documento, "irregularidades" se utiliza de manera intercambiable con "riesgos de integridad" para denotar un amplio conjunto de riesgos relacionados con el fraude, la corrupción, el despilfarro, el abuso y el error.
← 2. Si bien este informe se enfoca en el aprovechamiento de datos y analítica por parte de la ASF para detectar irregularidades, muchos de los problemas y propuestas de acción planteados tienen implicaciones más amplias para la ASF que pueden sustentar otras actividades de analítica que respaldan las auditorías del desempeño, la eficacia y la eficiencia de programas. Hay herramientas disponibles para que la ASF considere evaluaciones más amplias de tecnologías de la información (TI). Por ejemplo, en el momento de redactar este informe, la Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) estaba elaborando y probando una evaluación de madurez de las tecnologías de la información en entidades de fiscalización superior.
← 3. Por ejemplo, consulte el informe de investigación de la Organización Africana de Entidades Fiscalizadoras Superiores sobre la integración de big data en la auditoría del sector público (https://afrosai-e.org.za/wp-content/uploads/2020/12/Research-Paper-Integrating-Big-Data-in-Public-Sector-Auditing.pdf); la herramienta de capacitación sobre datos ambientales publicada por el Grupo de Trabajo de INTOSAI sobre Auditoría Ambiental (https://www.environmental-auditing.org/media/113693/23g-wgea_environmental-data_2019-fin.pdf); o las experiencias del Tribunal de Cuentas de los Países Bajos en el desarrollo de un marco de auditoría para algoritmos (http://intosaijournal.org/developing-an-audit-framework-for-algorithms/).
← 4. Esta DG no fue considerada en el análisis y la redacción de la OCDE, ya que se estableció después de la misión de investigación. Por lo tanto, las áreas potenciales de coordinación y los riesgos de empalme con la DGAF no se abordan en este informe.
← 5. La participación de la ASF en el diseño, perfeccionamiento y suscripción de la PDN está establecida en el Artículo 9, fracciones XII y XIII de la Ley General del Sistema Nacional Anticorrupción (Gobierno de México, 2021[16]).
← 6. Según informes de los medios, la tasa de éxito de la FGR en términos de procesamiento de denuncias de corrupción es baja y las condenas reales son inexistentes. Reconociendo esto, la ASF ha adaptado su estrategia al reducir el número de casos remitidos a la FGR, mientras que al mismo tiempo trata de mejorar la calidad de sus expedientes (Angel, 2021[29]). Mejores datos e información, incluida la información integrada de la coordinación mejorada entre la ASF y la SFP, podrían ayudar a mejorar las tasas de éxito de la FGR y facilitar la propia estrategia de la ASF.
← 7. El acuerdo con la TESOFE fue cancelado el 16 de diciembre de 2020 mediante oficio 401-T-136/2020.
← 8. Al momento de escribir este informe, la ASF era el líder del Grupo de Trabajo sobre Valor y Beneficios de las EFS.