Este capítulo ofrece una visión general de la Intervención General de la Administración del Estado (IGAE) y su supervisión de las subvenciones y subsidios públicos en España. Describe el enfoque actual de la IGAE para la planificación basada en el riesgo y destaca las condiciones previas y las consideraciones para que la IGAE avance en el uso de datos de subvenciones para evaluar los riesgos de fraude. Esto incluye consideraciones y recomendaciones para garantizar una gobernanza y una gestión de datos efectivas, así como desarrollar la capacidad para utilizar modelos de aprendizaje automático.
La Lucha contra el Fraude en las Subvenciones Públicas en España
Aprendizaje Automático para Evaluar los Riesgos y Orientar las Actividades de Control
Estudios de la OCDE sobre Gobernanza Pública
1. Control basado en riesgos en España: una base para fortalecer los análisis
Abstract
Introducción
La Intervención General de la Administración del Estado (IGAE) lleva a cabo el control interno sobre la gestión económica y financiera de la administración del estado español. Esto incluye la administración general del Estado, los organismos autónomos dependientes, las entidades estatales de derecho público y las entidades públicas empresariales. Como parte de su mandato, la IGAE ejecuta actividades de control para garantizar una buena gestión financiera y el cumplimiento, entre otras, de la Ley Orgánica de Estabilidad Presupuestaria y Sostenibilidad Financiera, la Ley General de Subvenciones y la legislación de la Unión Europea (OCDE, 2014[1]). La IGAE también investiga áreas de alto riesgo de posibles fraudes e irregularidades, incluidas las subvenciones públicas y las ayudas que apoyan la consecución de los objetivos de las políticas públicas de España.1
Las ayudas y subvenciones públicas que supervisa la IGAE ascienden a 89 860 millones de euros del presupuesto total anual, e involucran a miles de beneficiarios y entidades. Dado el tamaño de este universo auditor y el gran volumen de operaciones relacionadas con el pago de ayudas, la IGAE ha desarrollado un enfoque basado en el riesgo como herramienta para abordar los riesgos más elevados y administrar sus recursos de manera eficiente. Los criterios de riesgo que la IGAE ha desarrollado tienen en cuenta el potencial de fraude e irregularidad en función de criterios predeterminados, como se describe en este capítulo.
Si bien la IGAE ha desarrollado un enfoque basado en el riesgo para sus actividades de control, existen oportunidades de hacer un mejor uso de los datos existentes y de las nuevas metodologías para centrar aún mejor sus recursos en áreas de alto riesgo. Este capítulo explora las consideraciones claves para que la IGAE avance en el uso de datos y análisis. Como se describe en el Capítulo 2, el proyecto se ha centrado en una metodología específica, inspirada en el aprendizaje automático. En cualquier caso, las consideraciones de este capítulo son de aplicación general, independientemente de la técnica o metodología a emplear. Además, si bien el proyecto de la OCDE ha puesto el foco en mejorar la detección de riesgos de fraude de subvenciones, los conocimientos de este capítulo y el siguiente son aplicables a otros tipos de análisis de riesgo cuando se disponga de datos fiables.
Descripción general del ciclo de subvenciones y las responsabilidades de supervisión de la IGAE
La IGAE sigue un modelo de funcionamiento descentralizado, con tres funciones de servicio central que desarrollan sus áreas de responsabilidad a nivel de la administración central, incluyendo la Oficina Nacional de Auditoría (ONA), la Oficina Nacional de Contabilidad (ONC) y la Oficina de Informática Presupuestaria (OIP). La IGAE tiene responsabilidades de control previo y posterior:
Previo, controlando, antes de su aprobación, las tareas de ejecución de gastos, ingresos, pagos e inversiones, o la aplicación general de fondos públicos, para garantizar que la administración cumpla todas las leyes vigentes. El control previo tiene por tanto un carácter preventivo, que se realiza antes de la concreción de diversos actos económicos, como contratos, ayudas, convenios, pagos y nóminas, entre otros. Puede ejercerse de forma limitada, examinando determinados aspectos críticos de los actos económicos y financieros, o puede abarcar a su totalidad, examinando toda la documentación vinculada a un acto.
Posterior, mediante la verificación permanente del estado y funcionamiento de las entidades del sector público para comprobar el cumplimiento de la normativa aplicable y que la gestión se ajusta a los principios de buena gestión financiera, y en particular, a la consecución del objetivo de estabilidad presupuestaria y financiera. La IGAE lleva a cabo auditorías públicas, que pueden adoptar diversas formas, incluyendo auditorías anuales de regularidad contable (revisión de la información contable para verificar su cumplimiento de las normas contables), auditorías de cumplimiento normativo (verificación de la legalidad de la gestión presupuestaria, adquisiciones, personal, gestión de ingresos y ayudas) y auditorías de desempeño (examinar operaciones y procedimientos para evaluar la racionalidad financiera y económica y el cumplimiento de los principios de buena gobernanza como medio para detectar deficiencias y hacer recomendaciones para subsanarlas).
Los principales resultados de las auditorías de la IGAE se resumen en un informe anual. Cuando se detectan infracciones que pudieran derivar en corrupción o fraude, se envía un informe especial al Ministerio de Hacienda y Función Pública, además de a la entidad controlada. Este informe propicia mejoras a lo largo del tiempo en las técnicas y procedimientos de gestión económica y financiera, a medida que se actúa siguiendo sus recomendaciones. Existen mecanismos de colaboración entre la IGAE, intervenciones de las comunidades autónomas e intervenciones locales (OCDE, 2014[1]).
El mandato de control de las ayudas recae principalmente sobre la ONA y la División de Control e Información de Subvenciones de la IGAE. Sin embargo, hay Intervenciones Delegadas a nivel regional o provincial e Intervenciones Delegadas integradas en los ministerios y en las organizaciones del sector público. Estas entidades actúan como controladores financieros y son responsables del seguimiento continuo de los controles financieros y las auditorías internas públicas (IGAE, 2020[2]). Además, las Intervenciones Delegadas tienen la labor de controlar los gastos públicos dirigidos a terceros, incluyendo las subvenciones públicas, préstamos y garantías.
El artículo 140.2 de la Ley 47/2003, General Presupuestaria, otorga a la IGAE la facultad de ejecutar el control interno del sector público con plena autonomía frente a las autoridades y demás entidades cuya gestión controla (Gobierno de España, 2003[3]). Esta facultad incluye la autoridad de ejecutar actividades de control relacionadas con los beneficiarios de las ayudas, de acuerdo con los artículos 141 y 140.2 de la Ley 47/2003 y (Gobierno de España, 2003[3]) y 44 de la Ley 38/2003, (Gobierno de España, 2003[4]) General de Subvenciones (IGAE, 2020[5]).
La administración, o el organismo que concede la subvención, supervisa los procesos generales en cada fase del ciclo de la subvención, y el organismo que concede la subvención es responsable de supervisar al beneficiario para garantizar el cumplimiento de las condiciones de la subvención. Por ejemplo, al inicio del ciclo de la subvención, los asuntos que se abordan pueden incluir si la agencia que concede la subvención ha generado correctamente la subvención y si la subvención se concedió, aplicó y verificó con exactitud. Además de la supervisión de la agencia concedente, los organismos externos, como las Cortes, el Tribunal de Cuentas y otros órganos de auditoría, proporcionan supervisión y controles adicionales. El modelo de la IGAE para la supervisión de las subvenciones públicas abarca el ciclo de subvenciones que, normalmente, consta de las siguientes fases:
1. Competencia: las condiciones que debe cumplir el beneficiario de una subvención para recibir esta son definidas por la agencia concedente. La agencia que otorga la subvención aprueba estas condiciones y se abre un periodo de solicitud.
2. Selección: los candidatos se revisan y seleccionan en función de la calidad de sus solicitudes en comparación con el conjunto de criterios original.
3. Ejecución de la subvención: si el solicitante ya cumple todos los requisitos para la subvención, o si la subvención tiene una provisión para un anticipo, se realiza un pago y el beneficiario debe comenzar inmediatamente las actividades exigidas por la subvención.
4. Seguimiento: una vez que se cumplen los requisitos de la subvención, el beneficiario debe presentar una justificación de cómo se han gastado los fondos. La agencia concedente revisará esta justificación y decidirá si es necesario realizar algún pago final o si es necesario recuperar los fondos. Esto último puede tener lugar si una actividad no se completó según lo estipulado en el acuerdo de concesión inicial.
Las actividades de investigación y control de la IGAE a lo largo del ciclo de subvenciones tienen diferentes propósitos. Por ejemplo, su objetivo es verificar si el beneficiario obtuvo y ha gestionado correctamente la subvención. La IGAE también puede evaluar si la subvención estaba justificada y si las operaciones cubiertas por la subvención son reales y legítimas. La IGAE también investigará si el beneficiario no informó a la administración de hechos materiales que pudieran haber afectado a la concesión de la subvención. (IGAE, 2020[5])
La transparencia se enfatiza en las leyes y en la práctica. Por ejemplo, el Real Decreto 130/2019 (Gobierno de España, 2019[6]) integra muchas de las normas mencionadas y reitera las disposiciones relativas a la transparencia, el acceso a la información pública y la buena gobernanza. Esta ley, junto con el Reglamento (UE) n.º 651/2014 (Unión Europea, 2014[7]) y el 702/2014, (Unión Europea, 2014[8]) dicta que los datos sobre estas subvenciones y su desembolso deben ser publicados cada año, sin restricciones, en el Sistema Nacional de Publicidad de Subvenciones y Ayudas Públicas (SNPSAP) (IGAE Ministerio de Hacienda,, 2021[9]).
El enfoque de la IGAE para la planificación basada en riesgos
Anualmente la IGAE elabora un plan de controles previos y posteriores. Este plan se dirige a qué controles abordan riesgos más elevados y cuáles contribuyen de manera más eficaz al avance de los cuatro objetivos generales del organismo. Estos objetivos son: 1) Combatir el fraude; 2) Aumentar la sensibilización de las actividades de control entre los beneficiarios y organismos que conceden las subvenciones; 3) Buscar un valor añadido en el control, más allá de la simple verificación o repetición; y 4) Cumplir los principios de descentralización utilizando todos los recursos, medios y herramientas disponibles para las actividades de control. Los controles planificados previamente, que estaban incompletos del año anterior, también se transferirán al plan anual. Los planes anuales de la IGAE están sujetos a cambios a lo largo del año si surgen nuevos riesgos imprevistos (IGAE, 2020[5]). Por ejemplo, en 2021, la IGAE seleccionó dos controles para evaluar adicionalmente: uno de los cuales es que no se hubieran concedido subvenciones a ninguna entidad inhabilitada y otro es que no se hubieran concedido subvenciones que superen los umbrales regulatorios de la Comisión Europea (IGAE, 2020[5]).
La IGAE suele planificar sus actividades de control en función del análisis de la Base de Datos Nacional de Subvenciones (BDNS), que es una base de datos que tiene información sobre las subvenciones de todas las administraciones públicas y sus beneficiarios, y está administrada por la IGAE. La IGAE también se apoya en CincoNet y Presya, que son respectivamente el sistema contable de la administración del estado y el sistema de contabilidad de préstamos públicos, así como en denuncias. Ejemplos de fuentes de denuncia son la Agencia Estatal de Administración Tributaria (AEAT), delatores individuales, organizaciones concedentes e investigadores de blanqueo de capitales. La información sobre el beneficiario real está disponible en una variedad de fuentes (por ejemplo, la base de datos del Consejo General del Notariado), y el Ministerio de Justicia está desarrollando un Registro de Titularidad efectiva que consolidará diversas fuentes. La experiencia de años anteriores y el conocimiento contextual también ayudan a la IGAE a determinar qué áreas son de alto riesgo y tienen debilidades de control.
Los objetivos, prioridades y limitaciones de recursos de la IGAE también se tienen en cuenta para planificar las actividades para el próximo año (IGAE, 2020[5]). Para promover el uso eficiente de sus recursos, la IGAE utiliza una aproximación basada en el riesgo que describe en su Plan de Auditorías y Control Financiero de Subvenciones y Ayudas Públicas para 2021, incorporando los marcos de control reconocidos internacionalmente, como el del Comité de la Organizaciones Patrocinadoras de la Comisión Treadway (COSO) y la Estrategia Antifraude de la Comisión Europea. El plan subraya las tres consideraciones principales de la IGAE:
1. Subvenciones con mayor riesgo percibido: como indicadores de riesgo, la IGAE tiene en cuenta el importe concedido, el nivel de fraude observado en años anteriores, las características de las convocatorias de subvenciones y de los procedimientos de concesión, justificación y verificación.
2. La visibilidad del control: la IGAE tiene en cuenta la visibilidad y el impacto de la actividad de control, reconociendo que las actividades de gran visibilidad pueden actuar como elemento disuasorio (es decir, los beneficiarios y otras partes interesadas son más conscientes de la vigilancia de la IGAE) y pueden propiciar una mejor gestión.
3. La «rentabilidad de los medios disponibles»: se refiere en términos generales a la consideración de la IGAE de la eficiencia de sus actividades de control y la estructura descentralizada (Servicios Periféricos), que incluye la colaboración con los ministerios y departamentos regionales (IGAE, 2020[5]).
En la planificación y ejecución de su trabajo, la IGAE debe seguir determinados parámetros que configuran sus actividades de control. Su mandato se limita al control de las subvenciones y ayudas públicas, incluyendo los préstamos, contemplados en el Título III de la Ley General de Subvenciones (LGS). Además, las actividades de control de la IGAE para 2021 se centran en el ejercicio económico de 2018 o posterior, reconociendo que algunas subvenciones tienen períodos de ejecución de varios años. Las actividades de control de la IGAE se limitan principalmente a subvenciones y ayudas financiadas con fondos nacionales, aunque es posible que una acción subvencionada también haya recibido financiación de la Unión Europea (UE) (IGAE, 2020[5]).
Los funcionarios de IGAE destacan tres áreas claves de riesgo de fraude que preocupan especialmente en los programas públicos de subvenciones en España: 1) Facturación excesiva de horas por parte de los beneficiarios; 2) Doble financiación; y 3) Exceso de facturación por parte de contratistas o terceros.
Existe el riesgo de que los beneficiarios facturen horas extra sobre el servicio real prestado. Las organizaciones que reciben fondos de subvenciones deben informar a la agencia concedente de cuántas horas de trabajo realiza el personal en el proyecto subvencionado. Esta cifra tiene implicaciones sobre la cantidad de fondos que recibe el beneficiario. Sin embargo, dado que las operaciones de muchas organizaciones se financian solo en parte mediante subvenciones, existe el riesgo de que se inflen las horas de trabajo realizadas por los empleados en trabajos relacionados con las subvenciones. Por ejemplo, una organización podría afirmar falsamente que los costes salariales en los que se habría incurrido, aún en ausencia de cualquier subvención eran, en cambio, un resultado directo de la financiación pública (ver en el Recuadro 1.1 a continuación, la experiencia de los Centros de Servicios de Medicare y Medicaid de EE. UU.). La IGAE intenta controlar este riesgo exigiendo informes laborales sobre las horas empleadas y aplicando umbrales máximos; sin embargo, estos enfoques solo pueden mitigar parcialmente los riesgos. Los funcionarios de la IGAE destacan la necesidad de mejorar los datos para ayudar a detectar este tipo de fraude, incluyendo los datos de salario/hora, los ingresos totales de la empresa y los gastos de personal habituales previos a la concesión de la subvención. Esta información podría añadirse al BDNS para respaldar un análisis adicional, según los funcionarios. Esto podría incluir la comparación de los beneficiarios con sus competidores u operadores del mismo sector para encontrar aquellos que usan de manera ineficiente las horas de trabajo, o comprobaciones previas y posteriores para evaluar las discrepancias entre lo que una empresa afirma en los documentos de la subvención y los salarios que realmente paga.
Una segunda área de preocupación es que los beneficiarios podrían recibir financiación de dos o más fuentes, tanto públicas como privadas, a un nivel que exceda los costes incurridos y se traduzca en ganancias indebidas. La BDNS ayuda a la IGAE a combatir esta práctica, ya que incluye una lista de todas las subvenciones de todas las administraciones concedidas a una sola organización. Sin embargo, el BDNS no incluye las subvenciones de la UE. Los funcionarios de la IGAE señalan que disponer de esta información adicional sobre todas las subvenciones otorgadas a una organización y los ingresos totales de cada una de las fuentes sería especialmente útil para identificar áreas de alto riesgo. Hoy en día esta declaración omnicomprensiva de todas las fuentes de financiación ya es un requisito para los grandes beneficiarios, pero no lo es para los más pequeños. Se podría lograr una extensión de esta declaración obligatoria a todos los beneficiarios a través de una autodeclaración por parte del beneficiario, una búsqueda en la web o un análisis de los estados financieros de la organización.
El exceso de facturación o subcontratación se produce cuando un proveedor del beneficiario cobra de más por un servicio o suministro en particular, ya sea cobrando un valor superior al de mercado o proporcionando la cantidad inferior a la indicada. Este riesgo de fraude es especialmente difícil de detectar, ya que a menudo va acompañado de un rastro documental legítimo. Los funcionarios de la IGAE destacan la necesidad de aprovechar las nuevas tecnologías y datos para identificar los casos en los que esto puede ocurrir y para analizar mejor el entorno en el que operan las empresas y sus proveedores, el contexto geográfico y las relaciones entre ellos. De hecho, analizar las relaciones puede ser útil para un análisis de riesgos más amplio, yendo más allá del análisis del exceso de facturación por sí solo. Esto puede incluir relaciones entre proveedores, beneficiarios, filiales de los beneficiarios o empresas relacionadas y organizaciones concedentes. Estos tipos de relaciones pueden dar lugar a una apropiación indebida o a que se conceda a las organizaciones un exceso de financiación. Los funcionarios de la IGAE señalan que crear una base de datos que rastree este tipo de relaciones sería útil para identificar áreas de alto riesgo de fraude. Véase el capítulo 2 para ver un ejemplo y una exposición más detallada de las técnicas de análisis de redes.
Recuadro 1.1. Atacando la sobrefacturación por parte de los Centros de Servicios de Medicare y Medicaid de EE. UU.
Cuando las administraciones públicas financian a terceros, un área de riesgo frecuente es que el beneficiario facture horas de trabajo en exceso, ya sea por error o con mala intención. En Estados Unidos, los Centros de Servicios de Medicare y Medicaid (CMS) utilizan un sistema de análisis predictivo para intentar detectar sobrefacturaciones de este tipo. El Sistema de Prevención de Fraude (FPS) utiliza diversos datos para evaluar una serie de métricas, entre ellas:
Diferenciación basada en reglas, como la identificación de tarjetas de crédito o cuentas asociadas a comportamientos fraudulentos en el pasado.
Identificación de anomalías, como señalar beneficiarios que comparativamente facturan importes mayores que otros similares.
Análisis predictivo, que identifica a los beneficiarios que tienen características similares a conocidos agentes de conducta negativa.
Análisis de redes, mediante el cual se comparan números de teléfono y direcciones de beneficiarios con los de conocidos agentes de conducta negativa.
Al examinar estos rasgos y comportamientos, los CMS han identificado una serie de entidades con prácticas de facturación de alto riesgo. Después de haber sido marcadas por el programa de análisis y después de aplicar otras formas más tradicionales de investigación, se han bloqueado varias entidades para que no sigan facturando o para inhabilitarlas en el sistema. El FPS ha permitido a los CMS asignar sus recursos de manera eficiente y eficaz. En última instancia, se estima que el programa ha ahorrado a los contribuyentes más de 200 millones de USD, que es una rentabilidad de 5 USD por cada 1 USD de inversión en el sistema.
Consideraciones comunes para el uso de datos y análisis para evaluar riesgos
La IGAE es fundamentalmente un consumidor de datos, ya que depende de los inputs de datos de otras entidades públicas para realizar su trabajo de supervisión y evaluar riesgos. Como se ha expuesto, gran parte de estos datos se integran en la BDNS, pero la IGAE también hace uso de otras fuentes, como sistemas contables, bases de datos de préstamos y datos de denuncias. La IGAE también mantiene sus propios registros sobre el resultado de las actividades de control y casos sancionados. Los funcionarios de la IGAE destacan la utilización de controles de calidad y controles destinados a garantizar la fiabilidad de los datos que utilizan. Sin embargo, a la vez que ha apoyado a la IGAE para desarrollar la metodología de riesgos detallada en el Capítulo 2, la OCDE ha identificado áreas en las que la IGAE podría tomar medidas adicionales para mejorar su uso de datos y análisis, independientemente de la técnica o metodología concreta. En términos generales, como se detalla en esta sección, esto incluye: 1) Mejoras en la gobernanza y gestión de datos de la IGAE; 2) desarrollar aún más su capacidad de análisis utilizando datos y análisis; y 3) tener en cuenta los errores relacionados con los métodos avanzadas de evaluación de riesgos, como las limitaciones de uso de indicadores de riesgo compuestos y sesgos.
Fortalecer la gobernanza y la gestión de datos
La gobernanza de datos, y más concretamente la gestión de datos, es la piedra angular de un análisis eficaz, incluido el enfoque descrito en el Capítulo 2. Independientemente de la metodología específica, cualquier enfoque «basado en datos» se fundamenta en estos elementos. El modelo descrito en Figura 1.1 destaca los valores de todos los aspectos organizativos, políticos y técnicos para una gobernanza de datos exitosa.
Figura 1.1. Gobernanza de datos en el sector público
Fuente: (OCDE, 2019[11])
El modelo de gobernanza de datos anterior es relevante tanto desde una perspectiva institucional como de toda la administración pública. Las instituciones de auditoría, respecto a la gobernanza y la gestión de datos están a la vanguardia en su trabajo diario. Las normas y directrices internacionales, en concreto las avanzadas por las instituciones supremas de auditoría (ISA), destacan la necesidad de una gobernanza de datos eficaz para ayudar a los órganos de auditoría a seguir el ritmo de la digitalización del gobierno y la sociedad.2 Las entidades públicas distintas de las ISA también están abordando los mismos problemas y desarrollando su propio marco de gobernanza de datos. Por ejemplo, en Nueva Zelanda, la agencia líder de datos de la administración (Stats NZ) ha desarrollado un marco de gobernanza de datos para el sector público que promueve una mejor gestión de datos y motiva a la administración pública a adoptar un «enfoque de ciclo de vida integral de datos» El marco motiva a los funcionarios públicos a pensar de manera más estratégica sobre la gobernanza, la gestión, la calidad y la responsabilidad de los datos que utilizan durante todo el ciclo de vida (es decir, desde el diseño y la fuente de los datos hasta su almacenamiento, publicación y eliminación) (OCDE, 2019[11]). En términos de calidad de los datos, hay varios principios rectores, entre ellos:
Relevancia: la medida en que los datos satisfacen las necesidades de la organización y sus interesados legítimos.
Precisión y fiabilidad: el grado en que los datos describen correcta y coherentemente el fenómeno que se examina.
Oportunidad y puntualidad: la velocidad a la que se pueden obtener los datos y la fiabilidad de esta medición.
Accesibilidad y claridad: la facilidad de acceso, la claridad y la asequibilidad de los datos disponibles.
Coherencia y comparabilidad: la coherencia de los datos y la facilidad con la que se pueden combinar y comparar con otros datos.
Disponibilidad de metadatos: la facilidad con la que se puede encontrar o comprender la información subyacente sobre los datos, su estructura y atributos (INTOSAI, 2019[12]).
El uso de datos de varias fuentes, que se preparan de forma independiente entre sí, puede generar una serie de desafíos para los organismos de control cuando se aplica a la detección del riesgo de fraude. La IGAE administra la BDNS y la utiliza para su propio análisis de riesgos, pero no es responsable de introducir los datos en la BDNS. Los organismos públicos, la Administración Local, la administración de Comunidades Autónomas, las fundaciones del sector público, entre otros, están obligadas a facilitar información a la BDNS. La IGAE no realiza evaluaciones de fiabilidad de datos en todos los datos. Como consumidor de datos, algunos de los problemas de calidad de los datos que son evidentes en los datos que usa la IGAE, como errores o valores omitidos, son responsabilidad de la agencia que introduce los datos. No obstante, los organismos de auditoría y control tienen la obligación de verificar la fiabilidad y validez de los datos de acuerdo con las normas internacionales, como las del Consejo de Normas Internacionales de Auditoría y Aseguramiento (IAASB) o el Comité de la Organización Patrocinadora de la Comisión Treadway (COSO). Además, las propias normas españolas para la obtención de pruebas de auditoría, como la Norma Internacional de Auditoría 500,3 enfatizan la necesidad de que los auditores evalúen la fiabilidad, exactitud e integridad de los datos. Por tanto, aunque la IGAE puede depender en cierta medida de la gobernanza, la gestión y los controles de calidad de los datos de los productores de datos (es decir, administraciones públicas u otras instituciones), también debe tomar medidas para evaluar de forma independiente los datos que obtiene.
Como se ilustra en el Capítulo 2, interpretar y depurar los datos para mejorar el modelo de riesgo de fraude de la IGAE requeriría mucho tiempo y recursos. Durante el transcurso del proceso sobre el que versa este informe, se hicieron evidentes las mejoras de «rápida ganancia» en la gestión de datos de la IGAE, como poder disponer un diccionario de datos que describa claramente los elementos de datos, o garantizar que los identificadores únicos se apliquen uniformemente en todos los conjuntos de datos. En general, los datos de mala calidad pueden reflejar problemas como omisión de observaciones, información incorrecta o incorrectamente denominadas. Cualquiera de estos asuntos podría dificultar que los órganos de auditoría o control realicen análisis significativos y precisos de los riesgos y controles. Por ejemplo, en el contexto de la IGAE, los valores omitidos en los datos, aunque frecuentes, han sido un problema importante identificado al trabajar con varias bases de datos para desarrollar el modelo de riesgo. La información o los puntos de datos que faltan pueden reflejar errores o una supervisión laxa por parte de la entidad que introdujo los datos, pero también pueden deberse a una omisión intencionada. La implantación de verificaciones y controles para evitar que esto ocurra también puede ser un medio adicional para detectar y prevenir el fraude. Desde una perspectiva metodológica, depender de datos de mala calidad podría conducir a un muestreo ineficaz, por ejemplo, lo que significa que una serie de casos de fraude de subvenciones podrían pasar desapercibidos cada año. Los datos inexactos o incompletos también podrían sesgar negativamente técnicas más avanzadas, como el enfoque de aprendizaje automático elaborado en el Capítulo 2, lo que da como resultado modelos con poco poder predictivo y en última instancia una asignación ineficiente de los recursos de la IGAE.
La IGAE podría tomar medidas adicionales para garantizar que los datos de los sistemas y fuentes que utiliza sean fiables. Puesto en contexto, confirmar que los datos son fiables significa que la IGAE los consideraría suficientes y adecuados específicamente para el análisis de riesgos de fraude y la metodología que selecciona. En otras palabras, ¿los datos están completos, son exactos y describen realmente los conceptos claves que se están analizando? Como consumidora de datos, la IGAE podría trabajar con las instituciones y organizaciones fuente de datos en los que se basa para abordar algunos de los problemas indicados anteriormente y en el Capítulo 2, y garantizar la existencia de controles internos sólidos sobre los datos. Esto incluye las políticas y los procedimientos que rigen la recopilación, la gestión, el almacenamiento y el uso de datos.
En general, estos controles pueden clasificarse de tres formas: 1) Controles generales, 2) controles de aplicación y 3) controles de usuario (United States Government Accountability Office, 2019[13]) Los controles generales se aplican a los sistemas de información de la institución en su conjunto, mientras que los controles de aplicación son aquellos integrados en una aplicación en concreto para garantizar que todas las acciones dentro de ella sean válidas, precisas y completas. Los controles de usuario son aquellos administrados por personas para mejorar la fiabilidad del sistema de información. Al entender los controles que ya existen, la IGAE puede tener una mayor seguridad con respecto a la fiabilidad de los datos específicamente para evaluar los riesgos de fraude. Además, basándose en la experiencia de la OCDE al trabajar con los datos para detectar el fraude, la IGAE puede prestar especial atención a los siguientes problemas al juzgar la fiabilidad de los datos que utiliza:
Verificar el número total de registros facilitados con las estadísticas de resumen.
Comprobar si faltan observaciones, teniendo en cuenta todas las columnas o filas necesarias.
Confirmar que ninguno de los registros esté duplicado.
Buscar fechas fuera del rango deseado.
Buscar valores que sean extremos atípicos.
La IGAE también puede consultar la documentación o manuales que expliquen cómo se diseñan los sistemas de información, pero en este caso también necesitaría verificar que la forma en que el sistema funciona se adhiere verdaderamente a este criterio. Como otra verificación adicional, los datos también podrían rastrearse hasta su origen para garantizar que los dos sean coherentes (United States Government Accountability Office, 2019[13]).
Desarrollar capacidad para análisis y evaluaciones de riesgos basadas en datos, en concreto, competencias para trabajar con conjuntos de datos y visualización de datos a gran escala.
Arquitectura de datos, infraestructura de datos y capacidad de implantación, han sido destacados por funcionarios de la IGAE como algunas de sus principales prioridades para mejorar el uso de datos y análisis en general. Estas áreas han sido el núcleo de varias recomendaciones de la OCDE para la IGAE y la ONA, para fortalecer el sistema de supervisión continua, en parte mediante la automatización de los procesos de importación de datos, así como mejorando los esfuerzos para validar y corroborar los datos autoinformados (OCDE, 2021[14]). En el contexto de la evaluación de riesgos de fraude, dado el almacenamiento y la escala de la mayoría de las subvenciones y conjuntos de datos relacionados que utiliza la IGAE, o a los que podría acceder en el futuro, como datos del registro mercantil, es fundamental para la extracción de datos la capacidad de los servidores de la administración pública para gestionar el volumen de datos de manera oportuna y fiable. Grandes conjuntos de datos de varios millones de registros, incluso la limpieza de datos básica y el trabajo analítico, pueden requerir el uso de servidores de gran capacidad. Los funcionarios de la IGAE destacaron la necesidad de mejorar la infraestructura de datos de la IGAE. Sin embargo, para los propósitos de este proyecto y para evaluar los riesgos de fraude en los datos de las subvenciones públicas, la infraestructura existente es suficiente para formas más avanzadas de análisis de riesgos, como lo demuestra la metodología de aprendizaje automático descrita en el Capítulo 2.
Como una necesidad más inmediata de implementar dicha metodología y análisis similares, la IGAE puede desarrollar sus competencias digitales internas para manejar conjuntos de datos a gran escala (es decir, cientos de miles o millones de observaciones) e implementar métodos estadísticos avanzados, como Random Forests, como se describe en el Capítulo 2. La fase de preprocesado - creación, extracción, fusión y organización de los conjuntos de datos antes del análisis real - consume mucho tiempo, es costosa y requiere conocimientos básicos de datos para tratar y limpiar los datos. Los costes a menudo dependen de la calidad y transparencia de los sistemas de datos públicos. Salvo algunas excepciones, la IGAE tiene capacidad para acceder a muchas bases de datos que pueden usarse para la detección de fraude, pero consumir tiempo procesando datos de poca calidad puede aumentar los costes.
Además de la calidad de los datos, los generadores de costes pueden incluir la creación de conjuntos de datos de subvenciones digitalizados, centralizados y estructurados, así como el formato para almacenarlos y la correspondiente facilidad para extraer los campos relevantes. Para este proyecto, la OCDE ha apoyado a la IGAE en la creación de una base de datos que pueda utilizarse para el análisis de riesgos de fraude, independientemente de la metodología utilizada, reduciendo así dichos costes en el futuro. Sin embargo, los datos, como los riesgos en sí mismos, no son estáticos y requieren la combinación adecuada de conocimientos técnicos y experiencia en riesgos para actualizarse continuamente. Por ejemplo, para mejorar aún más su capacidad para realizar evaluaciones de riesgo de fraude basadas en datos, la IGAE puede formar un equipo multidisciplinar con experiencia en operaciones de subvenciones, gestión de riesgos de fraude, análisis y visualización de datos.
La metodología del Capítulo 2 ha utilizado software de código abierto (es decir, Python y R). Si bien muchas instituciones de auditoría dependen de software de pago (como IDEA, ACL, SAS o Stata), no existe una solución única para todas, y muchas entidades han desarrollado análisis eficaces con herramientas de código abierto, en busca de una herramienta más sólida que Excel. En general, los objetivos del análisis, así como las aptitudes y la experiencia de los auditores, determinarán qué herramienta es la más apropiada. Por ejemplo, el Tribunal de Cuentas de Austria (ACA) desarrolló una herramienta para monitorizar la salud financiera de los municipios austriacos. La herramienta funciona principalmente a través del software estadístico R y permite comparar en función de diversos criterios a los municipios, e identificar aquellos que presentan el riesgo financiero más elevado. La ACA percibió que el software R era más apropiado que Excel para analizar big data, menos propenso a errores, y el código en R podían reutilizarse fácilmente en evaluaciones futuras con pocas adaptaciones. La curva de aprendizaje para los analistas del ACA fue significativa, según los funcionarios del ACA, dado el nivel de experiencia técnica detallada requerida. No obstante, tener experiencia interna en estas aplicaciones y lenguajes de codificación se ha convertido en un conjunto de aptitudes estándar para muchas instituciones de auditoría que han avanzado en sus capacidades analíticas en los últimos años.
La capacidad de aprovechar los datos y el análisis va de la mano de aptitudes de visualización de datos. Visualizar datos de manera que ayude a los usuarios a comprender y actuar sobre los resultados requiere conocimiento de los principios de visualización de datos, así como familiaridad, si no experiencia, con software especializado que pueda generar paneles de control y facilite la comprensión de los riesgos por parte de los auditores (por ejemplo, paquete R Shiny, o Tableau). Los funcionarios de la IGAE destacaron la necesidad de dichas herramientas y paneles de control para respaldar los análisis de la BDNS como una de sus principales prioridades y necesidades. Actualmente, la IGAE hace poco uso de visualizaciones de datos para evaluar grandes riesgos de fraude. Los análisis de redes para identificar conflictos de interés son un área que se presta bien para visualizar riesgos (ver Capítulo 2).
Los usuarios que tienen un profundo conocimiento sobre los procesos de subvenciones, las bases de datos disponibles y los riesgos son fundamentales para crear una capacidad analítica eficaz y un enfoque basado en datos para evaluar riesgos. La IGAE tiene un equipo con una base sólida en todas estas áreas, pero podría invertir más en adquirir experiencia en análisis y visualización de datos para avanzar en sus capacidades digitales. La creación, las pruebas de validación y el análisis de modelos de riesgo de fraude exigen un profundo conocimiento del proceso de concesión y ejecución de subvenciones, así como aptitudes analíticas avanzadas. El conocimiento específico sobre ayudas y subvenciones ayuda a comprender el alcance de los datos y las definiciones de variables, así como el marco normativo que rige el ciclo de subvenciones. Estos diversos problemas de capacidad, muchos de los cuales reflejan las necesidades de la IGAE, destacan la importancia de tener objetivos y prioridades claros al desarrollar una capacidad analítica.
Si bien los nuevos enfoques basados en datos pueden ser un catalizador para un cambio más amplio, hacer un uso eficaz de los datos y el análisis requiere más que simplemente introducir nuevas herramientas, técnicas o fuentes de datos. Además, es probable que las cuestiones sobre la creación de una capacidad analítica deban tener en cuenta otros aspectos del trabajo de la IGAE más allá del alcance de este proyecto. Por ejemplo, la forma en que la IGAE desarrolla su capacidad para mejorar sus análisis para evaluar riesgos de fraude probablemente puede relacionarse con una estrategia de digitalización más amplia, metas y recursos para mejorar la arquitectura e infraestructura de datos, u objetivos institucionales para actividades de control más específicas y eficaces. Recuadro 1.2 describe la experiencia de la estrategia del Servicio de Auditoría Interna de la Unión Europea para mejorar su función analítica adoptando un enfoque institucional.
Recuadro 1.2. Desarrollo de una estrategia de analítica en el Servicio de Auditoría Interna de la Unión Europea
El Servicio de Auditoría Interna (IAS) de la Unión Europea han avanzado a pasos agigantados en el uso de análisis y tecnología en sus investigaciones y auditorías en los últimos años. Esto se consiguió, desde el principio, ideando e implantando una estrategia de análisis sólida y consistente. De entrada, el equipo de Informática existente realizó un análisis extenso de áreas de mejora, incluidas innovaciones y nuevas tecnologías que el servicio podría incorporar a su trabajo. Los IAS también establecieron un grupo interno para continuar este trabajo, incluido el descubrimiento de formas en que los datos y la tecnología podrían usarse en actividades novedosas, para mantenerse al día de las buenas prácticas actuales y que el departamento sea más eficiente a través de la analítica. Para impulsar este esfuerzo, el IAS diseñó una estrategia a largo plazo en torno a la analítica centrada en tres áreas claves: 1) desarrollar un inventario sólido de conocimientos y aptitudes, 2) iniciar proyectos piloto y 3) compartir conocimientos. Crear una estrategia única para toda la organización ayudó al IAS a planificar las auditorías de manera más eficaz, entre otras ventajas.
Fuente: (Barrigon, 2020[15])
Tener consciencia las trampas relacionadas con los indicadores compuestos de riesgo, así como de los sesgos
Si bien el control basado en el riesgo es parte del plan anual de la IGAE, la selección de auditorías e investigaciones basadas en riesgos percibidos tiene como objetivo, en última instancia, optimizar la relación calidad-coste en el uso del dinero de los contribuyentes. Por tanto, es fundamental que la IGAE sea consciente de algunas de las dificultades inherentes a los enfoques típicos de las evaluaciones de riesgos, y que reduzca el riesgo de falsos positivos y falsos negativos. Una de las formas más frecuentes de crear indicadores de riesgo (compuestos) se basa en la selección manual de características observadas de casos conocidos destacados y generalizarlos, aplicando los mismos indicadores a todo el conjunto de datos de casos.
Este enfoque adolece de dos grandes inconvenientes. En primer lugar, provoca el llamado sesgo de selección, lo que significa que se han considerado casos particulares, suponiendo que sus características son generalizables a otras observaciones, sin que exista prueba de que sean típicas o representativas de todo tipo de esquemas de fraude. En segundo lugar, estos enfoques no suelen tener en cuenta la prevalencia de indicadores de riesgo seleccionados (o señales de alerta) entre los casos limpios y desconocidos. En otras palabras, suelen producir altos índices de falsos positivos, lo que significa que a menudo señalan riesgos de fraude cuando no hay fraude. En tercer lugar, por lo general, estos enfoques aplican una media sencilla de las señales de alerta individuales para producir una puntuación compuesta, ya que no entienden cómo los diferentes indicadores concurren entre sí, o cuáles son más importantes.
Aunque no es el único enfoque, se seleccionó la metodología descrita en el Capítulo 2 porque aborda estas deficiencias, y como se analiza a continuación, permite a la IGAE solucionar algunas de las peculiaridades de los datos que usa. El método de aprendizaje automático del Capítulo 2 se generaliza a partir de todos los casos probados en el pasado (es decir, casos sancionados) para identificar qué factores influyeron en la probabilidad de ser sancionado. Este enfoque conduce a una calificación única de riesgo compuesta por todas las características relevantes en los datos, con ponderaciones de cada característica definidas para optimizar el poder predictivo. El enfoque también aborda explícitamente el problema de los falsos positivos y los falsos negativos, aprendiendo tanto de los casos positivos probados (sancionados) como de los probables negativos (no sancionados). No obstante, ninguna metodología está completamente libre del riesgo de sesgos o imprecisiones. Sin embargo, tener en cuenta estos y las tendencias inherentes de metodologías específicas relacionadas con estos temas puede ayudar a la IGAE a adoptar una visión fundamentada para fortalecer su metodología actual de evaluación de riesgos. Recuadro 1.3 explora más a fondo cómo la IGAE puede controlar los sesgos en sus modelos, basándose en las principales prácticas internacionales.
Recuadro 1.3. Abordar los sesgos en los modelos de aprendizaje automático
Los modelos de aprendizaje automático se entrenan en función de los datos disponibles, por lo que pueden estar intrínsecamente sesgados. El diseñador del algoritmo también puede amplificar aún más estos sesgos, intencional o inconscientemente. Esto es de especial interés para auditores o investigadores de fraude, para quienes la objetividad es de suma importancia. Varias instituciones, incluidos los organismos de auditoría y los grupos de expertos (por ejemplo, la Brookings Institution), han publicado unas orientaciones sobre cómo auditar la inteligencia artificial y cómo verificar los sesgos en los algoritmos, para mejorar el modelo de aprendizaje automático. Estas recogen, entre otros, los siguientes puntos:
Los algoritmos se pueden auditar de forma periódica e independiente. La auditoría debería incluir evaluar el proceso de recopilación de datos, monitorizar cómo funciona el programa y verificar si están tratando de manera justa los subgrupos sensibles.
El programa debería compararse con evaluaciones de riesgo preparadas por humanos para ver si en realidad es más eficaz.
Se puede verificar si los algoritmos cumplen las leyes de no discriminación.
Los operadores de algoritmos pueden intentar aumentar la interacción humana con el programa, esforzándose por garantizar que se entienda el código y las métricas que se utilizan y que se tenga en cuenta su relación con las principales desigualdades sociales.
La entidad que opera los algoritmos debería considerar redactar una declaración de impacto de sesgo formal, para documentar su consideración y estrategia consciente al gestionar este desafío.
Según la Brookings Institution, algunas preguntas que se pueden tener en cuenta e incluir en una declaración de este tipo incluyen:
¿Qué hará la decisión automatizada?
¿Sobre qué audiencia trabaja el algoritmo y quiénes se verán más afectados por él?
¿Tiene la organización datos de formación para hacer las predicciones correctas sobre la decisión?
¿Son los datos de entrenamiento suficientemente diversos y fiables? ¿Cuál es el ciclo de vida de los datos del algoritmo?
¿Qué grupos pueden ser tratados injustamente o pueden verse afectados de manera desproporcionada por los procesos de entrenamiento del modelo y el consiguiente análisis?
¿Cómo se detectarán los posibles sesgos?
¿Cómo y cuándo se probará el algoritmo? ¿A quiénes estarán dirigidas las pruebas?
¿Cuál será el umbral para medir y corregir el sesgo en el algoritmo?
¿Cuáles son los incentivos del operador del algoritmo?
¿Qué ganancias se esperan con el desarrollo del algoritmo?
¿Cuáles son los posibles malos resultados y cómo se dará cuenta la organización de ellos?
¿Cómo de abierto (por ejemplo, en código o intención) será el proceso de diseño del algoritmo para las partes interesadas internas y externas?
¿Cómo se intervendrá si se predice que podría haber malos resultados asociados al desarrollo o implantación del algoritmo?
¿Cómo se están implicando otras partes interesadas?
¿Cuál es el ciclo de retroalimentación del algoritmo para desarrolladores, usuarios y partes interesadas?
¿Tienen las organizaciones de la sociedad civil algún papel en el diseño del algoritmo?
¿Se ha tenido en cuenta la diversidad en el diseño y ejecución?
¿Tendrá el algoritmo implicaciones para los grupos culturales y se desarrollará de manera diferente en contextos culturales?
¿Es el equipo de diseño lo suficientemente representativo como para capturar estos matices y predecir la aplicación del algoritmo en diferentes contextos culturales? Si no es así, ¿qué medidas se están tomando para hacer que estos escenarios sean más destacados y comprensibles para los diseñadores?
Teniendo en cuenta el propósito del algoritmo, ¿los datos de entrenamiento son lo suficientemente diversos?
¿Existen restricciones legales que las organizaciones deberían revisar para asegurarse de que el algoritmo sea tanto legal como ético?
Conclusión
La IGAE ha desarrollado una base sólida para avanzar en el uso de datos y análisis para evaluar los riesgos de fraude en los datos de subvenciones públicas. Las habiidades y conocimientos que posee internamente, en concreto con respecto a los procesos de concesión de subvenciones, los riesgos existentes y las complejidades de las bases de datos pertinentes, son elementos claves de la capacidad y la experiencia necesarias para evaluar eficazmente los riesgos de fraude en las subvenciones. No existe una herramienta o método analítico que pueda reemplazar este conocimiento o juicio de expertos. Además, para algunos autores, las comprobaciones sobre el terreno y los mecanismos internos de denuncia de fraude se perciben como la medida de detección de fraude más eficaz y están mejor posicionadas que el análisis de datos o la minería de datos (Dozhdeva and Mendez, 2020[18]). No obstante, con una administración pública y una sociedad cada vez más digitales, los órganos de supervisión como la IGAE tendrán que evolucionar por necesidad y no por elección.
Sobre la base de su sólida experiencia y conocimientos, la IGAE puede valorar incorporar capacidades para aprovechar todo el potencial de las bases de datos existentes a su disposición, en concreto fortalecer su capacidad para trabajar con grandes conjuntos de datos y la visualización de datos. Al mismo tiempo, la IGAE puede seguir mejorando su gestión de datos y verificar la calidad de los datos, para facilitar la fusión de conjuntos de datos y evaluar el riesgo de fraude en subvenciones públicas. Se trata de acciones que ayudarían a la IGAE a madurar desde una perspectiva analítica, independientemente de que decida adoptar la metodología específica del Capítulo 2. Avanzar en el uso de datos y análisis ayudaría a la IGAE no solo a recopilar información más predictiva sobre los riesgos en los programas de subvenciones públicas, sino también a ser más eficiente y eficaz en el uso del dinero de los contribuyentes.
Referencias
[15] Barrigon, F. (2020), “Innovation and digital auditing – the journey of the European Commission’s IAS towards state-of-the-art technologies”, ECA Journal, Vol. 1/2020, pp. 97-101, https://www.eca.europa.eu/Lists/ECADocuments/JOURNAL20_01/JOURNAL20_01.pdf.
[16] Canadian Audit and Accountability Foundation (2019), Artificial Intelligence and Auditing: Overview of Potential Impact on Public Sector Auditors, https://caaf-fcar.ca/en/performance-audit/research-and-methodology/research-highlights/3455-research-highlights-3.
[10] Centers for Medicare & Medicaid Services (2014), Report to Congress, Fraud Prevention System, Second Implementation Year, https://www.cms.gov/About-CMS/Components/CPI/Widgets/Fraud_Prevention_System_2ndYear.pdf (accessed on 13 August 2021).
[18] Dozhdeva, V. and C. Mendez (2020), Is fraud risk management in cohesion policy effective and proporitionate?, https://www.eprc-strath.eu/public/dam/jcr:dbcbcfde-e024-44a0-a11b-b12456ffe0c5/EPRP%20121%20-%20IQ_Net_Thematic%20paper%2047(2).pdf.
[19] European Commission Anti-Fraud Office (OLAF) (2017), Handbook on Reporting on Irregularities in Shared Management, https://www.eu-skladi.si/sl/dokumenti/navodila/handbook-irregularity-reporting-final.pdf (accessed on 13 August 2021).
[6] Gobierno de España (2019), Real Decreto 130/2019, https://www.boe.es/eli/es/rd/2019/03/08/130 (accessed on 13 August 2021).
[4] Gobierno de España (2003), Ley 38/2003, de 17 de noviembre, General de Subvenciones, https://www.boe.es/buscar/pdf/2003/BOE-A-2003-20977-consolidado.pdf (accessed on 13 August 2021).
[3] Gobierno de España (2003), Ley 47/2003, de 26 de noviembre, Presupuestaria, https://www.boe.es/buscar/act.php?id=BOE-A-2003-21614&p=20201231&tn=6.
[2] IGAE (2020), Activity report 2019 (Memoria de actividades 2019), https://www.igae.pap.hacienda.gob.es/sitios/igae/es-ES/QuienesSomos/Documents/Memoria_2019.pdf.
[5] IGAE (2020), Approval Of The Audit And Financial Control Plan Of Subsidies 2021 (Aprueban El Plan De Auditorías Y Control Financiero De Subvenciones 2021), https://www.igae.pap.hacienda.gob.es/sitios/igae/es-ES/Control/CFPyAP/Documents/Resoluci%C3%B3n%20Plan%20Auditor%C3%ADa%20Pbca%20y%20CFP%202021.pdf (accessed on 13 August 2021).
[9] IGAE Ministerio de Hacienda, (2021), National System of Publicity for Subsidies and Public Aid (Sistema Nacional de Publicidad de Subvenciones y Ayudas Públicas).
[12] INTOSAI (2019), Training Tool on Environmental Data: Resources and Options for Supreme Audit Institutions, https://www.environmental-auditing.org/media/113693/23g-wgea_environmental-data_2019-fin.pdf (accessed on 13 August 2021).
[17] Lee, N., P. Resnick and G. Barton (2019), “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms”, Brookings Institute, https://www.brookings.edu/research/algorithmic-bias-detection-and-mitigation-best-practices-and-policies-to-reduce-consumer-harms/ (accessed on 13 August 2021).
[14] OCDE (2021), Mejora de la Responsabilidad Pública en España Mediante la Supervisión Continua, Estudios de la OCDE sobre Gobernanza Pública, OECD Publishing, Paris, https://doi.org/10.1787/4962ce0f-es.
[11] OCDE (2019), The Path to Becoming a Data-Driven Public Sector, OECD Digital Government Studies, OECD Publishing, Paris, https://dx.doi.org/10.1787/059814a7-en.
[1] OCDE (2014), Spain: From Administrative Reform to Continuous Improvement, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264210592-en.
[7] Unión Europea (2014), Commission Regulation (EU) No 651/2014, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A02014R0651-20210405 (accessed on 13 August 2021).
[8] Unión Europea (2014), Commission Regulation (EU) No 702/2014, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A02014R0702-20201210 (accessed on 13 August 2021).
[13] United States Government Accountability Office (2019), Assessing Data Reliability, https://www.gao.gov/assets/gao-20-283g.pdf (accessed on 13 August 2021).
Notas
← 1. La Unión Europea define las irregularidades como "toda infracción de una disposición del Derecho comunitario resultante de una acción u omisión de un agente económico que tenga o pueda tener por efecto a un perjuicio para el presupuesto general de las Comunidades o para los presupuestos administrados por éstas, ya sea por la disminución o la pérdida de ingresos procedentes de recursos propios percibidos directamente por cuenta de las Comunidades, o ya sea por un gasto no justificado". Por otra parte, se considera fraude "en materia de gastos, todo acto u omisión intencional relativo a la utilización o a la presentación de declaraciones o de documentos falsos, inexactos o incompletos, que tengan por efecto la desviación o la retención indebida de fondos del presupuesto general de la UE o de los presupuestos administrados por ésta o en su nombre, o la no comunicación de información en violación de una obligación específica, con el mismo efecto, o la utilización indebida de dichos fondos para fines distintos de aquellos para los que fueron concedidos inicialmente." (European Commission Anti-Fraud Office (OLAF), 2017[19]).
← 2. Por ejemplo, consulte el informe de investigación de la Organización de Instituciones Supremas de Auditoría de África sobre la integración de macrodatos en la auditoría del sector público (https://afrosai-e.org.za/wp-content/uploads/2020/12/Research-Paper-Integrating-Big-Data-in-Public-Sector-Auditing.pdf); la herramienta de formación sobre datos medioambientales publicada por el Grupo de Trabajo de Auditoría Medioambiental de la INTOSAI (https://www.environmental-auditing.org/media/113693/23g-wgea_environmental-data_2019-fin.pdf); o las experiencias del Tribunal de Cuentas de los Países Bajos en el desarrollo de un marco de auditoría para algoritmos (http://intosaijournal.org/developing-an-audit-framework-for-algorithms/).
← 3. La Norma Internacional de Auditoría 500 fue adaptada de las Normas Internacionales de Auditoría emitidas por la Federación Internacional de Cuentas a través del IAASB.