Como lo demuestran los casos prácticos presentados en el capítulo 3, hay gran potencial de empleo de aplicaciones de IA en el sector público de América Latina y el Caribe. No obstante, el uso de la IA también plantea muchos retos y tiene implicancias que los líderes gubernamentales y los servidores públicos de esta región deben considerar para determinar si la tecnología puede ayudarlos, y en qué forma, a resolver los problemas y alcanzar sus objetivos. Este capítulo explora cómo los gobiernos de ALC están construyendo principios y tomando medidas para garantizar la adopción de un enfoque responsable, confiable y centrado en el ser humano de la IA.
Uso estratégico y responsable de la inteligencia artificial en el sector público de América Latina y el Caribe
Estudios de la OCDE sobre Gobernanza Pública
4. Acciones para desarrollar un abordaje responsable, fiable y centrado en el ser humano
Abstract
Los bajos y, a menudo, decrecientes niveles de confianza en los Gobiernos de la región (Figura 4.1) demuestran que estos deben adoptar un enfoque estratégico y responsable respecto de la IA en el sector público. Tal abordaje debe inspirar confianza en la población acerca del uso fiable, ético e imparcial de la IA, y del lugar central que ocupan las necesidades y preocupaciones de los ciudadanos en las decisiones y medidas gubernamentales respecto de esta tecnología.
Figura 4.1. Disminución de la confianza en el Gobierno en numerosos países de América Latina y el Caribe, desde un punto de partida que a menudo ya es bajo
Nota: Los datos se refieren al porcentaje de personas que respondieron “sí” a la pregunta sobre si confiaban en el Gobierno nacional. No hay información disponible de Barbados, la información de Trinidad y Tobago corresponde a 2017 en lugar de a 2019, y la de Jamaica y Trinidad y Tobago corresponde a 2006 en lugar de a 2007.
Fuente: Gallup World Poll.
Para lograr tales propósitos, los Gobiernos de América Latina y el Caribe deben elaborar un enfoque del diseño y la implementación de la IA que sea responsable, fiable y que esté centrado en el ser humano, de modo tal de identificar equilibrios, mitigar el riesgo y el sesgo, y garantizar acciones y procesos que sean abiertos y de los cuales puedan rendirse cuentas. Además, deben crear equipos que tengan diversidad de integrantes y sean multidisciplinarios, y que estén orientados a colaborar con esas determinaciones y promover el desarrollo de iniciativas y proyectos de IA, tanto efectivos como éticos, para el sector público. Por último, un aspecto esencial del abordaje de estas y otras consideraciones es que los países de América Latina y el Caribe comprendan las necesidades de su población, y pongan énfasis en los usuarios y las personas a quienes los sistemas de IA puedan afectar durante todo su ciclo de vida.1
En este capítulo se consideran tales temas dentro del contexto regional de ALC con la finalidad de contribuir a que los líderes gubernamentales y los funcionarios maximicen los beneficios de la IA al tiempo que mitiguen y reduzcan al mínimo sus posibles riesgos. Todos los temas de este capítulo se indican en la Figura 4.2.
Figura 4.2. Temas tratados en el capítulo 4
Ética de los datos
La mayor parte de los sistemas modernos de IA se ha cimentado en datos. No obstante, la disponibilidad, calidad, integridad y pertinencia de los datos no son suficientes para garantizar la imparcialidad y la inclusividad de las políticas y las decisiones, o para reforzar su legitimidad y la confianza pública. La constante convergencia con valores y principios éticos compartidos, y su observancia en la gestión y uso de los datos son esenciales para: 1) aumentar la apertura y transparencia; 2) incentivar el compromiso público y asegurar la confianza en la formulación de políticas, la creación de valor público, el diseño y la entrega de los servicios; y 3) equilibrar las necesidades para proporcionar datos oportunos y fiables (OCDE, 2020[34]). A efectos de colaborar con los países en la realización de un análisis detallado sobre las consideraciones relativas a la gestión y uso de los datos, la OCDE ha elaborado los principios de buenas prácticas respecto de la ética de datos en el sector público (Good Practice Principles for Data Ethics in the Public Sector) (Recuadro 4.1). Dado que los datos conforman los cimientos de la IA, la ética de los datos, por extensión, es esencial para un diseño y una implementación confiables de esta tecnología. La reseña de próxima aparición titulada Going Digital: The State of Digital Government in Latin America [El camino hacia la digitalización: el estado del gobierno digital en Latinoamérica] proporcionará un debate más amplio acerca de la ética de los datos en los países de América Latina y el Caribe. En consonancia con lo antedicho, esta sección se concentrará más específicamente en los aspectos relacionados con una IA fiable y ética.
Recuadro 4.1. OECD Good Practice Principles for Data Ethics in the Public Sector [Principios de buenas prácticas de la OCDE respecto de la ética de datos en el sector público]
Es necesario que los Gobiernos se preparen para abordar y manejar problemas e inquietudes relacionados con la corrupción de los datos; los sesgos en su generación, selección y empleo; el uso inapropiado y abuso de los datos; y los resultados negativos imprevistos derivados de su mayor utilización. El Equipo de Gobierno Digital y Datos de la OCDE y su grupo de trabajo de funcionarios de alto nivel de gobierno digital o líderes digitales denominado Working Party of Senior Digital Government Officials (E-Leaders) han completado principios rectores para apoyar un uso ético de los datos en los proyectos, productos y servicios de gobierno digital, con la finalidad de asegurar que sean merecedores de la confianza de los ciudadanos. Tales principios son los siguientes:
Gestionar los datos con integridad.
Conocer y observar, en todos los niveles de Gobierno, las disposiciones pertinentes acerca del acceso confiable a los datos, su intercambio y uso.
Incorporar consideraciones éticas sobre los datos a los procesos de toma de decisiones gubernamentales, organizacionales y del sector público.
Monitorear y retener el control sobre los datos que se ingresan, en especial los destinados a fundamentar el desarrollo y entrenamiento de los sistemas de IA, y adoptar un enfoque de riesgo respecto de la automatización de las decisiones.
Ser específico con relación al propósito para el cual se usan los datos, en particular en el caso de los datos personales.
Definir límites de acceso, intercambio y empleo de los datos.
Ser claro, inclusivo y abierto.
Publicar datos abiertos y el código fuente.
Ampliar el control de personas y colectivos sobre sus datos.
Rendir cuentas y ser proactivo en la gestión de riesgos.
Fuente: (OCDE, 2021[35]).
IA fiable y alineación con los Principios de la OCDE sobre Inteligencia Artificial
Es fundamental garantizar la existencia de prácticas fiables y éticas, ya que la aplicación de la inteligencia artificial implica que los Gobiernos implementarán sistemas con diversos grados de autonomía. Si van a concretar las potenciales oportunidades y eficiencias de la IA en el sector público, los Gobiernos deben garantizar que las acciones conducentes a examinar y adoptar esta tecnología ubiquen en primer plano las decisiones éticas respecto del bienestar de los ciudadanos. La confianza en las instituciones gubernamentales dependerá de su capacidad de ser competentes y efectivas en el desempeño de sus mandatos, y de operar constantemente sobre la base de un conjunto de valores que reflejen las expectativas ciudadanas de integridad e imparcialidad (OCDE, 2017[36]).
El uso de la IA en apoyo de la administración pública deberá estar enmarcado en sólidas exigencias de transparencia y ética que complementen las reglamentaciones pertinentes en vigor (por ejemplo, en relación con la protección y la privacidad de los datos), y que despejen dudas acerca de posibles sesgos en los resultados y otros problemas resultantes de procedimientos con políticas y usos de IA opacos. La división de la OCDE sobre políticas de economía digital2 de la Dirección de Ciencia, Tecnología e Innovación ha elaborado los Principios de la OCDE sobre Inteligencia Artificial, que incluyen el desarrollo de un marco de referencia sobre el ciclo de vida de un sistema de IA (OECD, 2019[37]). El Comité de Políticas de la Economía Digital de la OCDE ha estado trabajando desde 2019 para implementar los Principios de la OCDE sobre Inteligencia Artificial de acuerdo con el mandato recibido del Consejo de la organización. Asimismo, el Comité puso en marcha el observatorio de políticas en materia de IA, y contrató una gran red de expertos en IA para que analizara y elaborara buenas prácticas de implementación sobre tales principios.
La presente sección del informe se respalda en los Principios de la OCDE sobre Inteligencia Artificial para evaluar la forma en la que los países de América Latina y el Caribe están encarando los temas de confianza, imparcialidad y rendición de cuentas respecto del desarrollo y uso de los sistemas de IA. Al mismo tiempo, examina los mecanismos existentes con los que se abordan estas inquietudes a lo largo del ciclo de vida del sistema de esta tecnología. Por tal motivo, el análisis considera cómo responden los países a los interrogantes éticos que plantean el diseño y la aplicación de la IA y los algoritmos conexos.
Muchos Gobiernos nacionales han evaluado las preocupaciones de índole ética que plantean los sistemas y aplicaciones de IA, sobre todo en cuanto a la inclusión, los derechos humanos, la privacidad, la imparcialidad, la transparencia y explicabilidad, la rendición de cuentas, y la seguridad y protección. Varios países del mundo son signatarios de los principios rectores internacionales de la IA. Como se mencionó en la Introducción, 46 países han adherido a los Principios de la OCDE sobre Inteligencia Artificial (Recuadro 4.2), de los cuales siete son de ALC. Recientemente, el G20 adoptó los principios del G20 sobre inteligencia artificial,3 extraídos directamente de los principios de la OCDE. Tres países de América Latina y el Caribe —Argentina, Brasil y México— se han comprometido con estos principios por su participación en el G20. Algunos países también han diseñado sus propios principios. Adherir a principios claros en relación con la IA o de otra forma enunciarlos representa un paso positivo hacia la cooperación internacional, y hacia el logro de un entorno y una cultura alineados con los objetivos y valores sociales formulados en los Principios. La Tabla 4.1 proporciona un resumen de los Gobiernos de América Latina y el Caribe que adhieren a los Principios de la OCDE sobre Inteligencia Artificial y a los del G20, e indica qué países han establecido principios propios.
Recuadro 4.2. Principios de la OCDE sobre Inteligencia Artificial
Los Principios de la OCDE sobre Inteligencia Artificial apoyan una IA innovadora y fiable, que respete los derechos humanos y los valores democráticos. Los países miembros de la OCDE adoptaron los Principios el 22 de mayo de 2019 como parte de la Recomendación del Consejo de la OCDE sobre Inteligencia Artificial (OCDE, 2019[6]). Los Principios fijan estándares para la IA que son suficientemente prácticos y flexibles como para resistir el paso del tiempo en un campo que evoluciona con suma celeridad. Complementan estándares existentes de la OCDE en áreas tales como la privacidad, la gestión de riesgos de seguridad digital y la conducta comercial responsable.
La Recomendación identifica cinco principios complementarios y basados en valores para la administración responsable de una IA digna de confianza:
la IA debe beneficiar a la población y al planeta mediante el fomento del crecimiento inclusivo, el desarrollo sostenible y el bienestar;
los sistemas de IA deben diseñarse de manera que respeten el estado de derecho, los derechos humanos, los valores democráticos y la diversidad, y deben incorporar salvaguardias adecuadas —por ejemplo, permitir la intervención humana cuando sea necesario— con miras a garantizar una sociedad justa y equitativa;
debe haber transparencia y una divulgación responsable de los sistemas de IA para asegurar que las personas entiendan sus resultados y puedan cuestionarlos;
los sistemas de IA deben funcionar en forma robusta, segura y protegida a lo largo de su ciclo de vida, y los posibles riesgos deben evaluarse y gestionarse en forma permanente;
las organizaciones y las personas que desarrollen, instalen u operen sistemas de IA deben rendir cuentas de su correcto funcionamiento, de conformidad con los principios previamente mencionados.
En consonancia con estos principios basados en valores, la OCDE también proporciona cinco recomendaciones a los Gobiernos:
facilitar la inversión pública y privada en investigación y desarrollo para impulsar la innovación en una IA fiable;
promover ecosistemas de IA accesibles, con infraestructura y tecnologías digitales, y mecanismos para el intercambio de conocimiento y datos;
asegurar un entorno de políticas públicas que abra el camino para el despliegue de sistemas fiables de IA;
capacitar y empoderar a las personas en competencias de IA y apoyar a los trabajadores para que puedan hacer una transición equitativa;
cooperar a través de las fronteras y los sectores para avanzar hacia la administración responsable de una IA digna de confianza.
A principios de 2020, la OCDE convocó una red de expertos en IA (ONE AI) multipartita y multidisciplinaria para que elaborara una guía práctica de implementación de los Principios (OCDE, 2019[6]). El grupo de trabajo sobre políticas para la IA preparó un informe acerca del estado de ejecución de los Principios de la OCDE sobre Inteligencia Artificial desde la perspectiva de las políticas nacionales en materia de IA titulado State of Implementation of the OECD Principles on AI: Insights from National AI Policies (OECD, 2021[7]). El informe presenta buenas prácticas y enseñanzas acerca de la puesta en marcha de las cinco recomendaciones destinadas a los responsables de la formulación de políticas contenidas en los Principios de la OCDE sobre Inteligencia Artificial.
Tabla 4.1. Establecimiento de los principios sobre inteligencia artificial en los países de América Latina y el Caribe, y adhesión
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020); https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449; https://oecd.ai.
Comprometerse con principios de ética o adherir a ellos es probablemente una condición necesaria pero no suficiente para el despliegue confiable de la IA. Para que los principios tengan un impacto máximo sobre el comportamiento, deben ser ejecutables, y estar incorporados a los procesos e instituciones que conforman la toma de decisiones dentro del Gobierno. La OCDE manifestó que la ausencia de estándares y marcos de referencia comunes es el obstáculo citado más a menudo por los funcionarios de gobierno digital en su actividad relativa a la IA y otras tecnologías emergentes, en gran medida debido a las crecientes preocupaciones respecto de la imparcialidad, transparencia, protección de datos, privacidad y rendición de cuentas/responsabilidad legal (Ubaldi et al., 2019[14]). De 11 entrevistados en la encuesta a organismos de gobierno digital realizada por la OCDE, siete países de América Latina y el Caribe expresaron que la orientación insuficiente acerca del uso ético de los datos es una barrera fuerte o moderada para la formulación de políticas, el diseño y entrega de servicios, y la gestión organizativa impulsada por datos (Figura 4.3). Entre esos países hubo varios que adhirieron a los principios de la OCDE y/o crearon sus propios principios. Si bien las respuestas ponen énfasis en el uso ético de los datos, pueden servir como una medida indirecta respecto de la ética de la IA. Los casos prácticos considerados en el capítulo anterior también muestran que los datos públicos y los avances en materia de IA han encontrado objeciones éticas que podrían mitigarse o aclararse de contar con orientación, estándares y/o marcos de referencia en cuestiones éticas que respalden la aplicación de los principios generales. Las secciones que se presentan a continuación analizan los principales instrumentos e iniciativas que contribuyen a desarrollar enfoques de la IA en el sector público responsables, fiables y centrados en el ser humano.
Figura 4.3. La orientación insuficiente acerca del uso ético de los datos es una barrera para mejorar la formulación de políticas, el diseño y entrega de servicios, y la gestión organizativa
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
Marcos de referencia y mecanismos para una IA fiable y ética en el sector público de los países de América Latina y el Caribe
Figura 4.4. Capacidades para crear marcos jurídicos y éticos en materia de IA en la región de ALC
Nota: Todos los países que adhieren a los Principios de la OCDE sobre Inteligencia Artificial figuran en la categoría “Demuestran fuerte compromiso” o en una categoría superior.
Como puede observarse en la Tabla 4.1, de los 17 Gobiernos de América Latina y el Caribe incluidos en este estudio, cinco han desarrollado o están en proceso de desarrollar sus propios principios orientadores del estudio y uso de la IA. Todas estas actividades comenzaron durante los últimos años, lo cual indica un énfasis reciente y acelerado en el tema, especialmente en cuanto a asegurar políticas y sistemas confiables y éticos. A continuación, se presenta una breve descripción de cómo evolucionó esta área:4
En 2018, México publicó 14 principios para el desarrollo y uso de la IA, y se convirtió, así, en el primer país de la región en crear marcos propicios para esta tecnología, con especial énfasis en el sector público.
En 2019, Uruguay adoptó nueve principios generales como parte de su estrategia de IA para guiar la transformación digital del Gobierno y proporcionar un marco de referencia para su uso en la esfera pública.
En 2020, tanto Colombia como Chile emitieron documentos de consulta sobre proyectos de principios para orientar sus actividades en el campo de la IA. Colombia publicó el Marco Ético para la Inteligencia Artificial, resultante de compromisos incluidos en su estrategia sobre IA de 2019, y actualmente organiza mesas redondas de expertos para recibir comentarios y desarrollar una versión definitiva.5 Chile también incluye la ética como subeje de su política sobre IA.
En 2021, en su estrategia nacional de inteligencia artificial, Brasil se comprometió a elaborar principios éticos que rigieran el diseño y la implementación de los sistemas de IA. Si bien la estrategia brasileña de inteligencia artificial pone un énfasis particular en la ética, el alcance y contenido de los principios éticos propios del país aún no se han dado a conocer.
Además de los principios que específicamente se refieren a la IA, Barbados, Brasil, Jamaica, Panamá y Perú últimamente promulgaron leyes sobre protección de datos que logran una mejor alineación de esos países con los Principios de la OCDE sobre Inteligencia Artificial, ya que incluyen los principios y derechos de transparencia, explicabilidad e imparcialidad en relación con la recolección y el procesamiento de los datos. La legislación brasileña sobre protección de datos incluye, además, principios de seguridad y rendición de cuentas. Tales normas pueden contribuir a un diseño y uso fiable y ético de los sistemas de IA, y representan un avance en la creación de un marco jurídico y regulatorio para respaldar y orientar el progreso de la IA. Varios países de América Latina y el Caribe manifestaron que estas actualizaciones eran esenciales a la luz de las nuevas tecnologías. Por ejemplo, en Panamá se llegó a un consenso entre todas las organizaciones del sector público entrevistadas en noviembre de 2018 durante una misión de obtención de información de la OCDE, en el sentido de que era necesario actualizar el marco jurídico y regulatorio de modo que reflejara tecnologías tales como la IA y la analítica de datos (OCDE, 2019[38]).
Como se expone en el Anexo B,6 los países de ALC que elaboran sus propios principios abordan mayormente los mismos temas que los Principios de la OCDE, aunque en mayor detalle y con más precisión para resaltar las prioridades locales y el contexto específico de cada uno. Por ejemplo, al considerar cómo se alinean los países con el Principio número 1 de la OCDE sobre “el crecimiento inclusivo, el desarrollo sostenible y el bienestar”, generalmente cubren la inclusión, el beneficio social y el interés general, pero también subrayan temas particulares. Uruguay manifiesta que el desarrollo tecnológico de la IA debe tener como finalidad complementar y agregar valor a las actividades humanas; México considera que medir el impacto es fundamental para garantizar que los sistemas de IA logren los objetivos para los que fueron concebidos; Perú prevé crear una unidad dedicada a monitorear y promover el uso ético de la IA en el país; Colombia incorpora una medida específica de protección de los derechos de niños y adolescentes; y el enfoque de Chile integra la sostenibilidad ambiental (que abarca el crecimiento sostenible y la protección ambiental), la multidisciplinariedad como enfoque predeterminado de la IA, y el impacto y alcance mundiales de los sistemas de IA.
Al considerar la legislación sobre protección de los datos en países que no cuentan con principios específicos de IA, hay una clara convergencia con el Principio 2 (valores centrados en el ser humano y la equidad) y el Principio 3 de la OCDE (transparencia y explicabilidad). De acuerdo con nuevos avances en otras partes del mundo (por ejemplo, el Reglamento General de Protección de Datos, en Europa), las últimas leyes sobre protección de datos en América Latina y el Caribe incluyen salvaguardias para evitar el sesgo y la inequidad, y promueven la explicabilidad de la toma de decisiones automatizada. Es el caso de Barbados, Brasil, Ecuador, Jamaica, Panamá y Perú. No obstante, estas leyes de protección de datos no se aplican específicamente a la IA y pasan por alto ciertos aspectos que instrumentos con mayores matices y más específicos, tales como los principios y marcos éticos para la IA, pretenden abordar. Por ejemplo, en general, estas leyes no ofrecen las opciones de objeción o apelación de las decisiones tomadas sobre la base de procesos automatizados, ni consideran de qué manera los avances de la IA podrían apoyar u obstaculizar el logro de los objetivos de la sociedad. Además, dado que ponen el énfasis en la protección de los datos, tienen un alcance limitado en lo que hace a la consideración de los usos derivados de los datos, tales como los algoritmos del aprendizaje automático. Tal vez haya oportunidad de revisar las leyes actuales de protección de los datos en vista del creciente abanico de formas en las que estos pueden utilizarse para fines tales como los algoritmos y la toma de decisiones automatizada. Ello implica la posible necesidad de actualizar o complementar la legislación actual (por ejemplo, con marcos de referencia específicamente aplicables a la IA) para capturar las nuevas oportunidades y retos que plantean las tecnologías de IA.
El Marco Ético para la Inteligencia Artificial de Colombia es un buen ejemplo en la región (Recuadro 4.3), ya que toca explícitamente todas las áreas incluidas en los Principios de la OCDE sobre Inteligencia Artificial, a los que Colombia adhirió, al tiempo que basa este marco en el contexto y la cultura del país. Fuera de la región de ALC, la Carta de Derechos Digitales de España brinda un sólido mecanismo centrado en el ser humano en una forma pertinente y apropiada para el país, y buscan “trasladar los derechos que ya tenemos en el mundo analógico al mundo digital y poder añadir algunos nuevos, como los relacionados con el impacto de la inteligencia artificial” (Nadal, 2020[39]) (Recuadro 4.4). Si bien trasciende la inteligencia artificial, la Carta incluye importantes principios y requerimientos que giran exclusivamente en torno de los derechos públicos.
Recuadro 4.3. Marco Ético para la Inteligencia Artificial en Colombia
El Marco Ético para la IA se diseñó en respuesta a las implicancias éticas derivadas de una creciente implementación de tecnologías de inteligencia artificial en Colombia y para iniciar un debate acerca de los límites respecto de su uso buscados por la sociedad. El marco hace referencia a los problemas morales relacionados con los datos (generación, registro, adaptación, procesamiento, difusión y uso), los algoritmos y sus prácticas conexas (innovación responsable, programación, piratería y códigos profesionales).
El Marco consta de nueve principios y nueve herramientas de implementación de la IA para Gobiernos y entidades privadas. La siguiente tabla ilustra la forma en la que las herramientas de implementación (filas) interactúan con los principios (columnas).
Se sometieron a consulta varias versiones del Marco Ético por medio de la activación de un debate y sugerencias multisectoriales que se incorporaron a la última versión del documento.
La versión final del Marco Ético se presentó el 12 de octubre de 2021 y puede consultarse en este enlace: https://bit.ly/3EC7wJy.
Fuente: (Guío Español, 2020[40]).
Recuadro 4.4. Carta de Derechos Digitales (España)
El Ministerio de Asuntos Económicos y Transformación Digital español y su Secretaría de Estado de Digitalización e Inteligencia Artificial (Recuadro 5.1) elaboraron una Carta de Derechos Digitales para cumplir con uno de los compromisos de la estrategia España Digital 2025.
El proyecto de Carta incluyó 28 conjuntos de derechos, muchos de los cuales se relacionan directamente con el desarrollo y uso éticos y fiables de los sistemas de IA y los datos en los que se basan. Los más relevantes aparecen en el Artículo 25, “Derechos ante la Inteligencia artificial”:
La inteligencia artificial deberá asegurar un enfoque centrado en la persona y su inalienable dignidad, perseguirá el bien común y asegurará cumplir con el principio de no maleficencia.
En el desarrollo y ciclo de vida de los sistemas de inteligencia artificial:
Se deberá garantizar el derecho a la no discriminación cualquiera que fuera su origen, causa o naturaleza, en relación con las decisiones, uso de datos y procesos basados en inteligencia artificial.
Se establecerán condiciones de transparencia, auditabilidad, explicabilidad, trazabilidad, supervisión humana y gobernanza. En todo caso, la información facilitada deberá ser accesible y comprensible.
Deberán garantizarse la accesibilidad, usabilidad y fiabilidad.
Las personas tienen derecho a solicitar una supervisión e intervención humana y a impugnar las decisiones automatizadas tomadas por sistemas de inteligencia artificial que produzcan efectos en su esfera personal y patrimonial.
Fuente: https://bit.ly/39eHh0Q y https://bit.ly/3wnB5f1.
Además del desarrollo de principios sobre la inteligencia artificial, algunos países de América Latina y el Caribe buscan enfoques complementarios al de una IA ética y fiable, a pesar, tal vez, de hacerlo en una forma menos explícita, detallada o madura que la descripta anteriormente:
La estrategia de Argentina en materia de IA incluye un eje transversal de “Ética y Regulación” en el que se compromete a: “Garantizar el desarrollo e implementación de IA de acuerdo a principios éticos y legales, en concordancia con derechos fundamentales de las personas y compatibles con derechos, libertades, valores de diversidad y dignidad humana”. También busca propiciar el desarrollo de IA para el beneficio, bienestar y empoderamiento de las personas, impulsando sistemas transparentes, no sesgados, auditables, robustos y que promuevan la inclusión social. A pesar de que la estrategia no define un marco ético, crea dos órganos responsables de dirigir el diseño de tales instrumentos: el Observatorio Nacional en Inteligencia Artificial, y el Comité de Ética de IA.7 Argentina se compromete además a “impulsar guías para el desarrollo de IA confiable que promuevan, siempre que sea pertinente, la determinación humana en alguna instancia del proceso, la robustez y explicabilidad de los sistemas”. Asimismo, considera la importancia de “un esquema de gestión de riesgos que tenga en cuenta cuestiones de seguridad, protección, como así también transparencia y responsabilidad cuando resulte apropiado y más allá de los derechos y reglamentaciones vigentes que protegen el bienestar de las personas y del planeta”. Por último, reconoce que puede no ser conveniente utilizar sistemas de IA si no se cumplen los estándares en materia de transparencia, permeabilidad, escalabilidad, explicabilidad, mitigación del sesgo, responsabilidad, fiabilidad, e impacto sobre la equidad y la inclusión social.
Como se indicó anteriormente, Brasil se compromete a desarrollar principios de inteligencia artificial en su estrategia de IA. La estrategia en sí se centra asimismo en la ética, y entrelaza consideraciones que emergen a lo largo de todo el documento. Por ejemplo, incluye un eje temático transversal sobre legislación, regulación y uso ético, y se compromete a compartir los beneficios del desarrollo de la IA en la mayor medida posible, y promover la igualdad de las oportunidades de desarrollo en las diferentes regiones e industrias. Asimismo, incluye medidas que apuntan al desarrollo de una IA ética, transparente y responsable; a garantizar la diversidad en los equipos que desarrollen la IA en cuanto a género, raza, orientación sexual y otros aspectos socioculturales; y se compromete a desarrollar técnicas para detectar y eliminar sesgos, entre otras acciones que se indican en el Anexo B.
La política de IA de Chile comprende una sección dedicada a consideraciones y medidas éticas, con acciones vinculadas que se detallan en el plan de acción de la política. Las actividades específicas incluyen, entre otras, la realización de un estudio sobre ética, la elaboración de un sistema basado en el riesgo para clasificar los sistemas de IA, garantizar un acuerdo sobre mejores prácticas nacionales y crear una institución que supervise los sistemas de IA. Cabe notar que la política y el Plan de Acción también exhortan a adaptar el currículo escolar mediante la inclusión de una ética de la tecnología.
En su estrategia digital, Panamá prevé celebrar un acuerdo de cooperación con IPANDETEC (Instituto Panameño de Derecho y Nuevas Tecnologías) con la finalidad de promover los derechos humanos en el contexto digital.8
El proyecto 2021 de estrategia nacional de IA en Perú incluye un pilar transversal sobre la ética, y el objetivo estratégico de ser líder regional en el uso responsable de los datos y algoritmos. También se compromete a la aplicación en el país de los Principios de la OCDE sobre Inteligencia Artificial, a los que Perú adhiere, y a la creación de una unidad para monitorear y promover el uso responsable y ético de la IA en el país. El Proyecto contempla, además, la adopción de “lineamientos éticos para un uso sostenible, transparente y replicable de la IA con definiciones claras sobre responsabilidades y de protección de datos”. Asimismo, el Marco de Confianza Digital dispone el uso ético de la IA y otras tecnologías intensivas en el uso de datos, como se indica a continuación: “Artículo 12.2 – Las entidades públicas y las organizaciones del sector privado promueven y aseguran el uso ético de tecnologías digitales, el uso intensivo de datos, como Internet de las Cosas (IoT), inteligencia artificial, ciencia de datos, analítica y procesamiento de grandes volúmenes de datos”.9 Sin embargo, a pesar de que Perú adhiere a los Principios de la OCDE sobre Inteligencia Artificial, no explica lo que se entiende por ético, ni brinda un conjunto más preciso de principios aplicables, lo que implica que tal vez estos principios sirvan de criterio.
En la búsqueda de aplicar y hacer operativos los principios generales y asegurar un abordaje uniforme en el sector público, únicamente México y Uruguay han emitido lineamientos de evaluación del impacto de los algoritmos en la administración pública. AGESIC, el organismo de gobierno digital de Uruguay, ha elaborado un modelo de Estudio de Impacto Algorítmico (EIA) consistente en un conjunto de preguntas que pueden utilizar los directores de proyecto en el sector público para evaluar y debatir sobre los riesgos de sistemas que utilizan el aprendizaje automático. México ha publicado la Guía de análisis de impacto para el desarrollo y uso de sistemas basados en Inteligencia Artificial en la Administración Pública Federal. Como en el caso de la estrategia y los principios sobre IA, esta guía fue elaborada por la administración anterior del país y no está claro si sigue contando con el más alto nivel de apoyo para su aplicación. El Recuadro 4.5 presenta más información acerca de ambas guías.10 Estos mecanismos pueden apuntalar la concreción de muchos aspectos relativos a la creación de un abordaje fiable, entre los que figuran los puntos tratados más adelante en esta sección.
Recuadro 4.5. Lineamientos actuales para evaluar el impacto de los algoritmos en las administraciones públicas de América Latina y el Caribe
Modelo de Estudio de Impacto Algorítmico (Uruguay)
AGESIC, el organismo de gobierno digital de Uruguay, diseñó el Estudio de Impacto Algorítmico (EIA) como una herramienta para analizar los sistemas de soporte de las decisiones automatizadas que usan el aprendizaje automático. Dirigido a directores de proyectos o a equipos que lideran proyectos de IA, el EIA ha sido concebido para identificar aspectos clave de los sistemas que merecen más atención o tratamiento. El modelo consiste en un cuestionario que evalúa distintos aspectos de los sistemas, entre ellos, el algoritmo en que se basan, los datos y sus impactos. Los usuarios pueden entonces compartir, analizar y evaluar los resultados. El cuestionario está estructurado como se indica a continuación:
breve descripción del proyecto;
resultado u objetivo del proyecto;
impacto social;
sobre el sistema;
sobre el algoritmo;
sobre la decisión;
evaluación de impacto del sistema de decisión automatizado:
sobre los datos:
origen de los datos del sistema de decisión automatizado;
tipos de datos del sistema de decisión automatizado;
interesados del sistema de decisión automatizado;
medidas para reducir y atenuar los riesgos del sistema de decisión automatizado:
calidad de los datos;
imparcialidad procesal.
Guía de análisis de impacto para el desarrollo y uso de sistemas basados en Inteligencia Artificial en la Administración Pública Federal (México)
La Guía de análisis de impacto es una herramienta concebida para determinar el alcance social y ético de los sistemas de IA desarrollados por la Administración Pública Federal, y definir salvaguardias de acuerdo con sus posibles impactos. Se basa en la directiva sobre toma de decisiones automatizadas de Canadá denominada Directive on Automated Decision Making y su evaluación de impacto algorítmico conexa.
La guía presenta un cuestionario inicial que analiza cinco dimensiones:
uso y gestión de datos;
proceso;
nivel de autonomía y funcionalidad del sistema;
impacto en individuos, empresas y sociedad;
impacto en operaciones del Gobierno.
Cada pregunta genera una puntuación a la cual se añade un multiplicador dependiendo de la cantidad de ámbitos en los que tiene efecto (impacto físico o mental, experiencia del usuario, estándares y regulaciones, objetivos/fines, operación, reputación). Ello produce una puntuación para cada una de las cinco dimensiones y se identifica un nivel de impacto global.
De acuerdo con la puntuación total y el impacto resultante en cada dimensión, la guía asigna un “impacto total” al sistema en una escala de 1 a 4. En cada nivel, el sistema debe cumplir una serie de requisitos antes, durante y después de la implementación. Por ejemplo, si dos o más dimensiones de los sistemas de IA, incluyendo alcance socioeconómico, tienen impacto alto o muy alto, se los asigna al nivel IV. Los sistemas de nivel IV deben cumplir los siguientes requisitos:
Antes de la implementación:
registrar el sistema ante la Unidad de Gobierno Digital (UGD), e incluir una descripción clara y completa de su función, objetivos e impacto previsto;
o entregar un informe a la UGD que detalle inquietudes éticas, riesgos y posibles usos no planificados del sistema;
asignar recursos para investigar el impacto y las implicaciones de usar el sistema.
Durante la implementación:
o llevar a cabo pruebas trimestrales de robustez, fiabilidad e integridad del sistema y del modelo;
o publicar información (variables, metadatos) sobre los datos utilizados en el entrenamiento de un algoritmo y la metodología para el diseño del modelo;
o comunicar al usuario y al público una descripción clara y completa del modelo y su impacto esperado.
Después de la implementación:
o brindar una explicación plausible, clara y oportuna a los usuarios sobre cómo y por qué se tomó la decisión (incluir variables, lógica y técnica);
o publicar información sobre la efectividad y la eficiencia del sistema cada seis meses.
Fuente: (AGESIC, 2020[41]), (Coordinación de la Estrategia Digital Nacional, 2018[42]).
Imparcialidad y atenuación del sesgo
Aunque los datos y los algoritmos constituyen la esencia de los sistemas modernos de IA, pueden crear nuevos desafíos para los responsables de la formulación de políticas. Si los datos son insuficientes, conducen a sistemas de IA que recomiendan malas decisiones. Si los datos reflejan inequidades sociales, aplicar algoritmos de IA puede reforzarlas, y distorsionar problemas y preferencias de las políticas (Pencheva, Esteve y Mikhaylov, 2018[43]). Si un sistema de IA se entrena con datos de un subconjunto de la población cuyas características difieren de las de la población total, el algoritmo puede brindar resultados sesgados o incompletos. Por tal motivo, las herramientas de IA pueden reforzar formas existentes de discriminación, tales como el racismo y el sexismo.11
Figura 4.5. Capacidades de la región de América Latina y el Caribe para establecer salvaguardias contra el sesgo y la injusticia
Nota: Todos los países que adhieren a los Principios de la OCDE sobre Inteligencia Artificial figuran en la categoría “Demuestran fuerte compromiso” o en una categoría superior.
Todos los países de América Latina y el Caribe que adhirieron a los Principios de la OCDE sobre Inteligencia Artificial han demostrado un sólido compromiso con la imparcialidad, la no discriminación y la prevención de daños (Principio 2). Este Principio también ha sido objeto de particular atención en los principios y leyes de protección de datos autodefinidos por los países de la región. Algunos de los aspectos más explícitos de tales principios se indican a continuación:
Como parte de su Marco Ético para la Inteligencia Artificial, Colombia desarrolló un tablero de control de seguimiento que está disponible en forma gratuita para todos los ciudadanos. Este tablero o dashboard proporciona información acerca del uso de los sistemas de IA en todo el país y de la aplicación de los principios éticos de la inteligencia artificial en los proyectos que llevan a cabo las entidades públicas.
Colombia, México y Uruguay han establecido un rol más claro para los seres humanos en cuanto a mantener el control de los sistemas de IA, resolver dilemas y corregir su curso cuando sea necesario.
El Principio de Interés general de Uruguay coincide con los Principios 1 y 2 de la OCDE. La primera parte del principio fija un objetivo social, es decir, proteger el interés general, y garantizar la inclusión y la equidad. La segunda parte manifiesta que “para esto, se debe trabajar específicamente para reducir la posibilidad de sesgos no deseados en datos y modelos utilizados que puedan impactar de manera negativa en las personas o favorecer prácticas discriminatorias”.
El principio de una IA inclusiva de Chile declara que la inteligencia artificial no debe discriminar ni perjudicar a ningún grupo, y subraya la consideración de niños y adolescentes, y la necesidad de una perspectiva de género, que puede compararse con el subeje sobre género de la Política Nacional de Inteligencia Artificial del país. La estrategia sobre IA y el plan de acción de Chile convocan a un debate intersectorial permanente acerca del sesgo, así como de la elaboración de recomendaciones y estándares sobre sesgo y transparencia de los algoritmos.
La legislación sobre protección de los datos de Barbados, Brasil, Jamaica, Panamá y Perú incluye salvaguardias contra la toma de decisiones y la realización de perfiles en forma automatizada que pueden perjudicar al sujeto o vulnerar sus derechos. El derecho a no ser sujeto de una toma automatizada de decisiones es una visión compartida de estos países que puede resultar aplicable cuando el procesamiento automatizado de datos conduce a decisiones basadas en el desempeño de un individuo en el trabajo, aspectos de su personalidad, estado de salud, solvencia crediticia, confiabilidad y conducta, entre otros, o que los definen. En el caso de Ecuador, a pesar de no tener el mismo carácter jurídico que la legislación sobre protección de datos, la Guía para tratamiento de datos personales en la administración pública estipula que el tratamiento de datos personales por parte de la administración pública central no puede originar discriminación de ningún tipo (artículo 8).
Aparte de los aspectos comprendidos en los principios específicos y en las leyes de protección de datos de cada país, los países de América Latina y el Caribe están creando salvaguardias contra el sesgo y la inequidad. Entre las actividades que muestran un alto potencial podemos citar las siguientes:
La estrategia de IA de Argentina reconoce el riesgo de sesgo en los sistemas de IA como parte de su diagnóstico del eje transversal “Ética y Regulación”, si bien no se explican cuáles serían las medidas específicas.
La estrategia nacional de IA de Brasil incluye medidas a tomar para desarrollar técnicas que identifiquen y atenúen el sesgo algorítmico, y garanticen la calidad de los datos en el entrenamiento de los sistemas de IA, asignen fondos a proyectos que propongan soluciones compatibles con la imparcialidad y la no discriminación, y pongan en marcha acciones de apoyo de la diversidad en los equipos de desarrollo de la IA. También se compromete a elaborar abordajes que refuercen el rol del ser humano en función del riesgo.
La política de IA de Chile propone la creación de nuevas instituciones capaces de establecer medidas precautorias respecto de la IA. La propuesta es promover la investigación sobre sesgo e inequidad, al tiempo que un elemento exclusivo de género evalúa cómo disminuir el sesgo relacionado con el género, y resalta la producción de datos sesgados y equipos de desarrollo con poca diversidad. Entre otras, las medidas pertinentes son las siguientes:
promover activamente el acceso, la participación y el desarrollo igualitario de las mujeres en las industrias y las áreas relacionadas con IA;
trabajar con centros de investigación para promover la investigación con perspectiva de género en ámbitos relacionados con la IA;
establecer requerimientos de evaluación durante todo el ciclo de vida de los sistemas de IA para evitar la discriminación por género.
El Centro para la Cuarta Revolución Industrial de Colombia, creado por el gobierno y el Foro Económico Mundial (WEF), lidera un proyecto que busca generar estrategias integrales y prácticas orientadas a la neutralidad de género en sistemas de inteligencia artificial y en los datos que los alimentan.12
El proyecto de estrategia nacional sobre IA de Perú de 2021 prevé la colaboración entre organizaciones del sector público para realizar un estudio de impacto sobre el sesgo algorítmico e identificar las formas de atenuarlo en algoritmos que involucran la clasificación de personas. Sin embargo, el alcance de este emprendimiento parece limitado a los algoritmos del sector privado. Por otra parte, la estrategia dispone que, en el sector público, en todos los casos de uso de IA para la clasificación de personas (para dar beneficios, ofrecer oportunidades o imponer sanciones), deberá realizarse un estudio de impacto socioeconómico para garantizar la equidad.
Uruguay ha publicado dos instrumentos importantes que abordan el tema del sesgo y la inequidad. El marco de trabajo para la gestión de la calidad de datos13 incluye un conjunto de herramientas, técnicas, estándares, procesos y buenas prácticas vinculados a la calidad de los datos. Más específicamente vinculado a la IA, el modelo de Estudio de Impacto Algorítmico (Recuadro 4.5) formula preguntas para evaluar y considerar los impactos de los sistemas de decisión automatizados. La sección “Medidas para reducir y atenuar los riesgos del sistema de decisión automatizado” (p. 8) incluye varias preguntas que apuntan a atenuar el sesgo. Las secciones sobre “Impacto social” (p. 4) y “Evaluación de impacto del sistema de decisión automatizado” (p. 6) tienen como objetivo orientar a los equipos de desarrollo para que evalúen si sus algoritmos podrían dar lugar a un trato injusto.
No debe darse por sentado que el sesgo de la IA es una barrera inevitable. Mejorar los datos a ingresar, introducir ajustes contra el sesgo y eliminar las variables que lo causan puede producir aplicaciones de IA más justas y precisas. Como se consideró anteriormente, las nuevas leyes de protección de datos y los principios codificados están incidiendo en la forma en la que los sistemas de IA procesan los datos personales. Las leyes son una opción para abordar estas cuestiones y atenuar los riesgos que conllevan. Elaborar leyes en esta área puede ser un enfoque particularmente útil en los países de América Latina y el Caribe, donde la OCDE ha observado una fuerte orientación jurídica y atención al cumplimiento de la letra exacta de la ley (OCDE, 2018[27]) (OCDE, 2019[38]). Si bien un abordaje tal puede promover la confianza, también puede volverse obsoleto muy rápidamente y obstaculizar la innovación o desalentar a los funcionarios en cuanto a explorar nuevas perspectivas. Otra modalidad es crear marcos de referencia ágiles que adopten los necesarios resguardos para el uso de tecnologías intensivas en términos de datos pero que se mantengan adaptables y promuevan la experimentación.
Hacia el futuro, los gobiernos de América Latina y el Caribe deberán combinar principios generales con controles específicos, marcos evolutivos y mecanismos de orientación para garantizar que la puesta en marcha de la IA concuerde con los principios y las normas. Las evaluaciones de impacto algorítmico mencionadas previamente representan un paso en la dirección correcta (Recuadro 4.5). Hay países fuera de la región que también desarrollaron algunos ejemplos que van más allá de los compromisos y principios de las estrategias. Por ejemplo, el gobierno del Reino Unido reconoce que los datos de problemas que afectan desproporcionadamente a las mujeres no se recolectan nunca o son de mala calidad. En un intento de reducir el sesgo de género en la recolección de datos, ha creado un portal gubernamental dedicado a los datos de género (OCDE, 2019[44]).14 La existencia de una entidad independiente también facilita el avance, en especial en relación con poner a prueba ideas, fijar estrategias y medir los riesgos, como en el caso del grupo asesor sobre ética de los datos Data Ethics Advisory Group del gobierno de Nueva Zelanda (Recuadro 4.6).
Recuadro 4.6. Nueva Zelanda: Grupo asesor sobre ética de los datos
Para equilibrar el mayor acceso a los datos y su uso con niveles apropiados de atenuación del riesgo y precaución, la autoridad gubernamental de administración de datos de Nueva Zelanda fundó el Grupo asesor sobre ética de los datos, cuyo principal propósito es asistir al Gobierno de Nueva Zelanda en materia de comprensión, asesoría y comentarios sobre usos nuevos y emergentes de los datos.
Para garantizar que el grupo asesor cumpla su mandato, la mencionada autoridad designó como miembros a siete expertos independientes de distintas áreas que tienen que ver con el uso y la ética de los datos, incluidos referentes en leyes sobre privacidad y derechos humanos, en tecnología y en innovación.
El grupo considera y brinda comentarios únicamente en temas e iniciativas relativos al uso de los datos, y no respecto de soluciones digitales más amplias proporcionadas por organismos públicos. El uso apropiado de algoritmos de datos (por ejemplo, cómo evitar el sesgo algorítmico), y la correcta implementación de iniciativas sobre la gobernanza de datos son ejemplos de los temas sobre los cuales pueden solicitarse comentarios a este grupo asesor.
Un subconjunto de sistemas de IA que resultaron particularmente polémicos en relación con el sesgo es el reconocimiento facial. Estos sistemas pueden tener un sesgo tecnológico inherente (por caso, cuando se basan en la raza o el origen étnico) (OCDE, 2020[45]). Como se expuso en el capítulo 3 de este informe, el reconocimiento facial representa un grupo muy reducido pero creciente de casos de uso de la IA en los Gobiernos de América Latina y el Caribe. A modo de ejemplo, funcionarios ecuatorianos le manifestaron a la OCDE que están explorando un programa de identidad por reconocimiento fácil para acceder a los servicios digitales. Los Gobiernos y otras organizaciones se encuentran diseñando marcos de referencia y principios de orientación a terceros a medida que exploran este complejo campo. Puede ser útil para los países de América Latina y el Caribe remitirse a Safe Face Pledge, que pone énfasis en la biométrica facial (Recuadro 4.7).
Recuadro 4.7. Safe Face Pledge
Safe Face Pledge fue un proyecto conjunto de Algorithmic Justice League y Center on Privacy & Technology de la facultad de derecho de la Universidad de Georgetown de Washington, DC. El objeto del proyecto fue proporcionar un medio a las organizaciones para que se comprometieran públicamente a mitigar el abuso de la tecnología de análisis facial. Sus compromisos principales fueron cuatro:
S mostrar el valor de la vida, la dignidad y los derechos humanos:
No contribuir con las aplicaciones que ponen en riesgo la vida humana.
No facilitar la vigilancia gubernamental secreta y discriminatoria.
Mitigar el abuso de las fuerzas del orden.
Cerciorarse de que se cumpla la ley.
Abordar el sesgo perjudicial:
Implementar procesos internos de evaluación del sesgo y apoyar la evaluación independiente.
Cuando se disponga de ellos, presentar modelos en el mercado para hacer una evaluación comparativa.
Facilitar la transparencia:
Aumentar la conciencia pública acerca del uso de la tecnología de análisis facial.
Permitir el análisis externo de la tecnología de análisis facial en el mercado.
E incorporar los compromisos a las prácticas comerciales:
Modificar los documentos jurídicos de modo que reflejen el valor de la vida, la dignidad y los derechos humanos.
Interactuar con las partes interesadas.
Brindar detalles acerca de la implementación de Safe Face Pledge.
Safe Face Pledge finalizó en febrero de 2021, pero sus principios generales permanecen vigentes.
Fuente: www.safefacepledge.org/pledge.
Otros factores se relacionan también con atenuar el sesgo y asegurar la equidad. En el campo de la IA, si los equipos que trabajan en ideas y diseños de productos tienen diversidad de integrantes y son inclusivos pueden contribuir a prevenir o eliminar posibles sesgos desde el primer momento (OCDE, 2019[1]), en particular los relacionados con la discriminación generada por los datos y los algoritmos. La sección “Formas de asegurar un abordaje inclusivo y centrado en el usuario”, que figura más adelante en este capítulo, profundiza el análisis de este tema.
Transparencia y explicabilidad
Un componente importante de un sistema de IA fiable es la capacidad de explicar sus decisiones y su transparencia a los fines de una evaluación externa (OCDE, 2019[1]). En el caso de PretorIA (Colombia) (Recuadro 3.3), la Corte Constitucional decidió que la prioridad máxima de este nuevo sistema sería la explicabilidad, basándose en que podría influir en los resultados judiciales a través de intervenciones en el proceso de selección de las demandas. A la inversa, en Salta, Argentina, el algoritmo diseñado para predecir el embarazo adolescente y la deserción escolar (Recuadro 3.14) fue más opaco y creó incertidumbre acerca de cómo llegaba a sus conclusiones. Este elemento contribuyó al escrutinio por parte de la sociedad civil y a una falta de confianza en los años posteriores. En general, como parte del análisis de estos casos prácticos, este estudio halló poca información disponible acerca de la implementación, el ámbito de actuación, el estado y la operación interna de los sistemas de IA en el sector público.
Figura 4.6. Capacidades para considerar la explicabilidad de los sistemas de IA y la toma automatizada de decisiones en la región de América Latina y el Caribe
Nota: Todos los países que adhieren a los Principios de la OCDE sobre Inteligencia Artificial figuran en la categoría “Demuestran fuerte compromiso” o en una categoría superior.
Los países de América Latina y el Caribe están trabajando en distintas formas para garantizar la transparencia de los sistemas de IA y sus decisiones. Los que han elaborado principios y marcos éticos para IA están, por lo general, fuertemente alineados con el Principio 3 de la OCDE (transparencia y explicabilidad). Los principios de Uruguay representan una pequeña excepción en este caso, ya que consideran la transparencia, pero no mencionan la explicabilidad. Sin embargo, al incluir la expresión “transparencia activa” en la redacción, el principio podría prestarse a una interpretación más amplia. No obstante, el Estudio de Impacto Algorítmico de Uruguay sí considera la explicabilidad. Otras iniciativas son las siguientes:
El Marco Ético para la Inteligencia Artificial de Colombia incluye dos herramientas de implementación importantes: una “evaluación de algoritmos”, que permite desarrollar un mapeo constante de los programas de IA del sector público para evaluar cómo se aplican los principios éticos, y un modelo de “explicación inteligente” que consiste en aportar información comprensible a la ciudadanía sobre los sistemas de IA.
Los principios de IA de México requieren que se explique a los usuarios el proceso de decisión del sistema de IA, así como los beneficios esperados y los potenciales riesgos que se derivan de utilizar estos sistemas. También promueven la transparencia mediante la publicación de información que permita a los usuarios entender el método de entrenamiento y el modelo de toma de decisiones del sistema, así como los resultados de sus evaluaciones.
La legislación más reciente de protección de datos también amplía los derechos de acceso tradicionales al exigir mayor transparencia sobre los métodos y procesos de la toma automatizada de decisiones. En Barbados y Jamaica, el derecho de acceso incluye el de estar al tanto de la existencia de las decisiones automatizadas, así como de los procesos algorítmicos. Barbados amplía este derecho al incluir “la importancia y las consecuencias previstas”. Brasil otorga acceso a la información acerca de las modalidades, el plazo y los resultados del tratamiento de los datos personales. Cuando existe la toma automatizada de decisiones, los individuos tienen la posibilidad de acceder a información sobre criterios y procedimientos, respetando secretos comerciales e industriales.
A su vez, los países están elaborando enfoques para aumentar la transparencia y la explicabilidad, más allá de las leyes y marcos formales. Entre otros, esos enfoques son los siguientes:
Como parte de su eje transversal “Ética y Regulación”, la estrategia de IA de Argentina establece que “se deberían fomentar los desarrollos que tiendan a la Inteligencia Artificial Explicable (Explainable AI o XAI), en los cuales el resultado y los razonamientos por los que se llega a una decisión automatizada pueden ser comprendidos por los seres humanos”. Sin embargo, no se indican medidas específicas.
La estrategia nacional de IA de Brasil se compromete a financiar proyectos que apoyen la transparencia y a crear mecanismos de supervisión para el escrutinio público de las actividades de IA.
La estrategia nacional y el plan de acción sobre la IA en Chile realiza una serie de consideraciones sobre la transparencia y la explicabilidad de los sistemas de IA, especialmente en lo relativo a la elaboración de estándares y buenas prácticas que puedan adaptarse a medida que el concepto se entienda mejor a lo largo del tiempo, la promoción de nuevas técnicas de explicabilidad y la realización de investigaciones en esta área. El proceso incluye el establecimiento de estándares y recomendaciones de transparencia para aplicaciones críticas.
República Dominicana confeccionó una guía de gobierno digital15 que incluye una disposición acerca de la documentación y explicabilidad de las iniciativas, el software, los servicios, entre otros, de gobierno digital. Sin embargo, no se proporcionan los lineamientos específicos de transparencia y explicabilidad algorítmicos.
El proyecto de estrategia nacional de IA de Perú prevé la elaboración de un registro de algoritmos de IA utilizados en el sector público y de los conjuntos de datos subyacentes a los sistemas de IA de ese sector. No queda claro si el registro estará abierto al público.
La estrategia de IA de Uruguay promueve la transparencia de los algoritmos a través de dos medidas interrelacionadas: “definir estándares, guías y recomendaciones para el análisis de impacto, seguimiento y auditoría de los algoritmos de toma de decisiones utilizados en la administración pública” y “establecer estándares y procedimientos para la difusión de los procesos utilizados para el desarrollo, entrenamiento y puesta en funcionamiento de algoritmos y sistemas de IA, así como los resultados obtenidos, promoviendo el uso de códigos y datos abiertos.”
La Ley de Infogobierno de Venezuela define un principio de soberanía tecnológica, que ordena que todo el software adoptado por el Estado debe ser abierto y auditable. Por ejemplo, el artículo 35 establece lo siguiente: “Las licencias para programas informáticos utilizados en el Poder Público, deben permitir el acceso al código fuente y a la transferencia del conocimiento asociado para su compresión, su libertad de modificación, libertad de uso en cualquier área, aplicación o propósito y libertad de publicación y distribución del código fuente y sus modificaciones.”16
Si bien los países han asumido una cantidad de compromisos, la mayoría de estos compromisos no se han puesto en práctica de modo que resulten aplicables. El Recuadro 4.8 brinda un ejemplo externo a la región de América Latina y el Caribe, que muestra la forma en que un Gobierno abordó este desafío.
Recuadro 4.8. Orientación, transparencia y explicabilidad de los algoritmos de IA públicos (Francia)
Etalab, un equipo de trabajo de la oficina del Primer Ministro francés, ha elaborado una guía para las administraciones públicas sobre el uso responsable de algoritmos en el sector público. La guía establece el modo en el que las organizaciones deben informar acerca de su uso para promover la transparencia y la rendición de cuentas. Consta de tres elementos:
Elementos contextuales. Estos elementos ponen énfasis en la naturaleza de los algoritmos, la forma en la que pueden usarse en el sector público, y la distinción entre decisiones automatizadas y aquellos casos en los que los algoritmos funcionan como herramientas de soporte de decisiones.
Ética y responsabilidad respecto del uso de los algoritmos para aumentar la transparencia. Este elemento incluye la información pública sobre el uso de los algoritmos; cómo garantizar que la toma de decisiones sea justa e imparcial; y la importancia de la transparencia, la explicabilidad y la confianza.
Marco legal para la transparencia de los algoritmos, que comprende el Reglamento General de Protección de Datos de la Unión Europea (RGPD) y la legislación nacional. Ello incluye un conjunto de reglas aplicables a los procesos de decisiones administrativas sobre la información específica que debe publicarse acerca de los algoritmos públicos.
Asimismo, Etalab propone seis principios orientativos sobre la rendición de cuentas respecto de la IA en el sector público:
1. Reconocimiento: los organismos están obligados a informar a las partes interesadas cuando se usa un algoritmo.
2. Explicación general: los organismos deben explicar clara y comprensiblemente cómo funciona un algoritmo.
3. Explicación individual: los organismos deben proporcionar una explicación personalizada acerca de un resultado o decisión específicos.
4. Justificación: los organismos deben justificar por qué se usa un algoritmo y cuáles son los motivos de elegir uno determinado.
5. Publicación: los organismos deben publicar el código fuente y la documentación, e informar a las partes interesadas si el algoritmo fue creado por un tercero.
6. Permitir la impugnación: los organismos deben proporcionar formas de debatir y apelar los procesos algorítmicos.
Fuente: www.etalab.gouv.fr/datasciences-et-intelligence-artificielle; www.etalab.gouv.fr/how-etalab-is-working-towards-public-sector-algorithms-accountability-a-working-paper-for-rightscon-2019/, https://etalab.github.io/algorithmes-publics y www.europeandataportal.eu/fr/news/enhancing-transparency-through-open-data; www.etalab.gouv.fr/algorithmes-publics-etalab-publie-un-guide-a-lusage-des-administrations (OCDE, 2019[1]).
Seguridad y protección
Esta sección examina cómo y en qué medida los países de América Latina y el Caribe están estableciendo medidas de desarrollo y uso de sistemas de IA seguros y protegidos. Como se indica en los Principios de la OCDE sobre Inteligencia Artificial, los sistemas de inteligencia artificial deben ser robustos, seguros y deben estar protegidos en todo momento, de modo tal que, en condiciones de utilización normal o previsible, o en caso de una utilización abusiva o de condiciones desfavorables, puedan funcionar apropiadamente y no planteen un riesgo de seguridad excesivo.17 Estos sistemas de IA pueden involucrar la aplicación de un enfoque de gestión de riesgos, tal como el desarrollo de un proceso de evaluación del impacto algorítmico que asegure la trazabilidad de procesos y decisiones, y que aclare el rol (apropiado) de los seres humanos en tales sistemas (OCDE, 2019[1]).18
Figura 4.7. Capacidades de promover la seguridad y la protección de los sistemas de IA en el sector público en la región de América Latina y el Caribe
Nota: Todos los países que adhieren a los Principios de la OCDE sobre Inteligencia Artificial figuran en la categoría “Demuestran fuerte compromiso” o en una categoría superior.
La adhesión de los países de América Latina y el Caribe a los Principios de la OCDE sobre Inteligencia Artificial puede interpretarse como un firme compromiso con la seguridad y la protección. Los países de la región también están adoptando medidas adicionales para garantizar que los sistemas de IA sean seguros y estén protegidos. Aquellos que han elaborado estrategias nacionales de IA y principios de IA específicos del país subrayan a menudo la seguridad, protección y robustez de los sistemas de IA en estos principios. Por ejemplo:
En su estrategia de IA, Argentina asume el compromiso de crear un marco ético con un esquema de gestión de riesgos que tenga en cuenta cuestiones de seguridad, protección, transparencia y responsabilidad, con la finalidad de proteger el bienestar de las personas y del planeta.
La política de IA de Chile incorpora una orientación a la seguridad de la IA a través de evaluaciones de los riesgos y vulnerabilidades, y de la mejora de la ciberseguridad, con el objetivo específico de “posicionar la IA como un componente relevante en el ámbito de la ciberseguridad y ciberdefensa, promoviendo sistemas tecnológicos seguros”.
El Marco Ético para la Inteligencia Artificial de Colombia propone mecanismos de seguridad tales como la inmutabilidad, confidencialidad e integridad de los datos básicos, y el establecimiento de códigos de conducta y sistemas de riesgo para identificar posibles impactos negativos. El Marco manifiesta que “los sistemas de inteligencia artificial no deben generar afectaciones a la integridad y salud física y mental de los seres humanos con los que interactúan”.
La Guía de análisis de impacto para el desarrollo y uso de sistemas basados en Inteligencia Artificial en la Administración Pública Federal de México19 proporciona un conjunto detallado de principios de seguridad relacionados con la mitigación de los riesgos y la incertidumbre, las fases de diseño y puesta en funcionamiento, y los mecanismos de protección de los datos del usuario.
Los principios de IA de Uruguay establecen que “los desarrollos de IA deben cumplir, desde su diseño, con los principios básicos de la seguridad de la información.” El modelo de Estudio de Impacto Algorítmico uruguayo ayuda a establecer un enfoque de seguridad y protección de la IA basado en el riesgo y también incluye pautas para aclarar el rol de los seres humanos en las tomas de decisiones algorítmicas.
Recuadro 4.9. Evaluar el rol humano en las decisiones algorítmicas (Uruguay)
El modelo de Estudio de Impacto Algorítmico de Uruguay permite a los equipos de gobierno digital evaluar el rol de los seres humanos en la toma de decisiones algorítmicas, lo que impulsa el debate ético sobre este punto. A pesar de que el modelo no aclara cuál es el rol apropiado de los seres humanos en la toma de decisiones, sus preguntas orientadoras permiten que los equipos del sector público evalúen los algoritmos vigentes o propuestos a la luz de los principios de seguridad y rendición de cuentas (ver sección siguiente), y decidan qué características se incorporarán. Las siguientes preguntas seleccionadas del modelo de Estudio de Impacto Algorítmico se refieren a la seguridad y a la rendición de cuentas:
Evaluación de impacto del sistema de decisión automatizado
1. ¿El sistema solo se utilizará para ayudar a tomar decisiones en el contexto de este proyecto? (Sí o no)
2. ¿Reemplazará el sistema una decisión que de otro modo tomaría un humano? (Sí o no)
3. ¿El sistema automatizará o reemplazará las decisiones humanas que requieren juicio o discreción? (Sí o no)
4. ¿Son reversibles los efectos resultantes de la decisión?
a. Reversibles.
b. Probablemente reversibles.
c. Difíciles de revertir.
d. Irreversibles.
Imparcialidad procesal
1. ¿Muestra la traza de auditoría quién es el tomador de decisión autorizado? (Sí o no)
2. ¿Existe un proceso para otorgar, realizar monitoreo y revocar los permisos de acceso al sistema? (Sí o no)
3. ¿Hay un proceso de recurso planificado o establecido para los usuarios que desean impugnar la decisión? (Sí o no)
4. ¿Permite el sistema la anulación manual de sus decisiones? (Sí o no)
Fuente: (AGESIC, 2020[41]).
Brasil es el único país de América Latina y el Caribe que no tiene principios propios de IA, pero incluye objetivos en otras leyes alineadas con los Principios de la OCDE sobre Inteligencia Artificial. En particular, la ley nacional sobre protección de datos incorpora un “principio de prevención” que invita a adoptar medidas para prevenir daños causados por el procesamiento de datos personales. Además, la reciente estrategia nacional de IA se compromete a actuar para garantizar la revisión por parte de seres humanos y su intervención en actividades de alto riesgo, y se compromete también a dirigir fondos hacia proyectos que respaldan la rendición de cuentas en los sistemas de IA.
Rendición de cuentas
Esta sección examina la medida en la que, en los países de América Latina y el Caribe, existen y funcionan mecanismos de rendición de cuentas que garantizan el correcto y apropiado funcionamiento de los sistemas. La rendición de cuentas es un importante principio que atraviesa los demás y se refiere a la expectativa de que las organizaciones o los individuos aseguren el correcto funcionamiento, a lo largo de su ciclo de vida, de los sistemas de IA que diseñen, desarrollen, operen o implementen, de conformidad con los roles y marcos regulatorios aplicables, y lo demuestren a través de sus acciones y procesos de toma de decisión”.20 Por ejemplo, las medidas sobre rendición de cuentas pueden garantizar la provisión de documentación sobre decisiones clave a lo largo del ciclo de vida del sistema de IA y la realización de auditorías cuando se justifiquen. El trabajo de la OCDE halló que, en el sector público, esto implica el desarrollo de estructuras de rendición de cuentas abiertas y transparentes, y la garantía de que las personas sujetas a decisiones habilitadas por la IA puedan consultarlas e impugnarlas (como se muestra en el Recuadro 4.8) (OCDE, 2019[1]).
Para los gobiernos de América Latina y el Caribe, es esencial que en el camino hacia la IA se desarrollen los necesarios lineamientos, marcos o códigos destinados a todas las organizaciones y actores a quienes atañe, con el fin de garantizar un desarrollo y aplicación responsables de la inteligencia artificial.
Figura 4.8. Capacidades de la región de América Latina y el Caribe para promover la rendición de cuentas en los sistemas de IA del sector público
Nota: Todos los países que adhieren a los Principios de la OCDE sobre Inteligencia Artificial figuran en la categoría “Demuestran fuerte compromiso” o en una categoría superior.
La adhesión de los países de América Latina y el Caribe a los Principios de la OCDE sobre Inteligencia Artificial puede interpretarse como un firme compromiso en este tema. Los países de la región también están adoptando medidas para garantizar la rendición de cuentas de los sistemas de IA, pero en un grado algo menor cuando lo comparamos con otros temas analizados en otras secciones de este capítulo. Solo Colombia, México y Uruguay han incorporado la rendición de cuentas a sus estrategias o principios nacionales de IA, a pesar de que, en la mayoría de los casos, no hay pruebas claras de su implementación. Los siguientes ejemplos son especialmente dignos de mención:
Uno de los objetivos de la estrategia nacional de IA de Chile es “desarrollar los requisitos para cautelar en forma ágil el desarrollo y uso de la IA”, lo cual incluye la creación de una institución que supervise los sistemas de IA en diferentes etapas de su ciclo de vida. También exige que las organizaciones tengan roles y responsabilidades claramente definidos para asegurar las líneas de responsabilidad.
El Marco Ético para la Inteligencia Artificial en Colombia declara que “existe el deber de responder por los resultados que produzca un sistema de inteligencia artificial y las afectaciones que llegue a generar”. También establece una obligación de responsabilidad por parte de las entidades que recolectan y procesan los datos, y de quienes los algoritmos, y recomienda definir responsabilidades claras para la cadena de diseño, producción e implementación de los sistemas de IA.
Los principios de IA de México incorporan la rendición de cuentas al resaltar la importancia de determinar responsabilidades y obligaciones a lo largo del ciclo de vida de un sistema de IA.
El proyecto de estrategia nacional de IA 2021 de Perú prevé la adopción de lineamientos éticos que incluyen una clara definición de las responsabilidades.
Entre los principios de IA de Uruguay figura el requisito de que, para las soluciones tecnológicas basadas en la IA, debe haber una persona claramente identificada que sea responsable de las acciones resultantes de las soluciones.
Brasil es el único país de América Latina y el Caribe que no tiene principios propios de IA, pero incluye objetivos en otras leyes alineadas con los Principios de la OCDE sobre Inteligencia Artificial. En particular, la ley nacional sobre protección de datos incorpora un “principio de prevención” que invita a adoptar medidas para prevenir daños causados por el procesamiento de datos personales. Además, la reciente estrategia nacional de IA se compromete a actuar para garantizar la revisión por parte de seres humanos y su intervención en actividades de alto riesgo, y se compromete también a dirigir fondos hacia proyectos que respaldan la rendición de cuentas en los sistemas de IA.
La ausencia común de orientación legal o metodológica sobre la rendición de cuentas coincide con la percepción mayoritaria en los países de América Latina y el Caribe de que la falta de claridad sobre controles y equilibrios/rendición de cuentas de las decisiones orientadas por datos representa una barrera fuerte o moderada para el uso de datos en el sector público (Figura 4.9).
Figura 4.9. La falta de claridad sobre los controles y equilibrios/rendición de cuentas de las decisiones orientadas por datos actúa como una barrera
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
Finalmente, el seguimiento durante la etapa de implementación es esencial para garantizar que los sistemas de IA funcionen de acuerdo con lo previsto en los Principios de la OCDE sobre Inteligencia Artificial, y que las organizaciones rindan cuentas al respecto. En relación con el tema de la seguridad y la protección tratado en la subsección anterior, ese seguimiento debe asegurar la mitigación de los riesgos y la identificación de las consecuencias imprevistas. Se necesitará un abordaje distinto para centrar la atención en los sistemas de IA que plantean los mayores riesgos, por ejemplo, cuando influyen en la distribución de recursos o tienen otras consecuencias importantes para la ciudadanía (Mateos-Garcia, 2018[46]). En su mayoría, los países de América Latina y el Caribe no han desarrollado este tipo de mecanismos de seguimiento, con excepción de las actividades que lleva a cabo Colombia (Recuadro 4.10). Tales mecanismos pueden representar la próxima etapa de desarrollo para los líderes regionales, una vez que se hayan consolidado los intentos de creación de marcos éticos y los aportes que los propicien.
Recuadro 4.10. Seguimiento de la IA en Colombia
Colombia está desarrollando herramientas de inteligencia artificial que se apliquen a las políticas públicas para monitorear la ejecución de i) políticas nacionales de IA, ii) buenas prácticas incipientes para poner en práctica las recomendaciones de la OCDE a los Gobiernos sobre la IA, y iii) proyectos de IA en el sector público:
SisCONPES es una herramienta que monitorea la ejecución de cada línea de acción de la estrategia nacional de IA. Informa sobre avances y desafíos de la implementación a las entidades que lideran la puesta en marcha de la estrategia, en especial la Presidencia de la República.
Un plan de seguimiento para monitorear la implementación de los Principios de la OCDE sobre Inteligencia Artificial e identificar buenas prácticas coinciden con las medidas específicas implementadas por el Gobierno colombiano en relación con las recomendaciones de la OCDE.
El GovCo Dashboard controla la ejecución de los proyectos de IA en el sector público. Este tablero de control incluye una descripción de cada proyecto, y resalta los mecanismos de uso de la IA y el avance de cada proyecto.
Un dashboard o tablero de control para monitorear el marco ético de inteligencia artificial, una herramienta de acceso público con la que la ciudadanía tiene la posibilidad de profundizar su aprendizaje acerca del uso de los sistemas de IA en el Estado y de la aplicación de los principios éticos de la inteligencia artificial en los proyectos pertinentes. Este tablero puede consultarse en https://inteligenciaartificial.gov.co/en/dashboard-IA.
La Presidencia y la Oficina de IA también utilizan estas herramientas de inteligencia artificial que se aplican a las políticas públicas para evaluar la asignación de recursos y la implementación de la política.
Fuente: (OCDE, 2021[7]), funcionarios de Colombia.
Formas de asegurar un abordaje inclusivo y centrado en el usuario
Inclusivo
Un factor transversal de importancia crítica para muchas de las consideraciones analizadas en este capítulo y en el próximo es garantizar la representación de perspectivas multidisciplinarias (diferentes antecedentes educativos, experiencia y nivel profesionales, conjuntos de competencias, entre otras.),21 así como diversas (diferentes géneros, razas, edades, entornos socioeconómicos, entre otras), unidas en un ambiente inclusivo en el que sus opiniones sean válidas. Este factor es fundamental para que las iniciativas de IA sean efectivas y éticas, satisfactorias y justas. Apuntala iniciativas que comprenden desde amplias estrategias nacionales a pequeños proyectos individuales de IA, y todo lo que media entre ambos. El reciente OECD Framework for Digital Talent and Skills in the Public Sector [Marco para el talento y las competencias digitales en el sector público] (OCDE, 2021[47]) sostiene que la creación de equipos multidisciplinarios y diversos es una condición previa para la madurez digital y el logro de un Estado habilitado digitalmente.
Elaborar estrategias, proyectos y otras iniciativas de IA es un proceso inherentemente multidisciplinario. Por otra parte, la multidisciplinariedad es uno de los factores más importantes para el éxito de los proyectos de innovación, en especial aquellos que requieren tecnología. Dedicarse a tales proyectos requiere la consideración de temas y limitaciones tecnológicas, jurídicas, éticas y políticas. Obviamente, las actividades de IA deben ser factibles desde el punto de vista tecnológico, pero, al mismo tiempo, deben ser aceptables para una variedad de partes interesadas (incluido el público) y permisibles de conformidad con la ley.
Figura 4.10. Capacidades de la región de América Latina y el Caribe para orientar la creación de equipos multidisciplinarios
Muchos países de América Latina y el Caribe han adoptado un enfoque multidisciplinario (Tabla 4.2 para consultar ejemplos de las profesiones participantes) como criterio para el desarrollo de proyectos, servicios y estrategias digitales (Figura 4.11). No obstante, la orientación para incluir variadas disciplinas, específicamente en el diseño y desarrollo de la IA, es escasa. Esta tendencia demuestra que hay competencia y compromiso iniciales, pero también señala que puede ser necesario contar con orientación específica sobre IA a medida que los países sigan adoptando y diseñando estos sistemas. En la actualidad, Colombia es el único país que ofrece orientación en este tema para el desarrollo y uso de la IA y otras tecnologías emergentes. En sus estrategias, Argentina, Brasil y Uruguay reconocen la importancia de la multidisciplinariedad para el desarrollo de la IA en el sector público, pero no ofrecen orientación o métodos específicos. Hay otros países que promueven el enfoque multidisciplinario mediante laboratorios de innovación, declaraciones acerca de sus estrategias digitales y/o empíricamente, aunque no concretamente sobre la IA.
Tabla 4.2. Profesiones que participan en un equipo multidisciplinario
Fuente: (OCDE, 2021[47]).
Figura 4.11. Uso de equipos multidisciplinarios para la entrega de proyectos digitales, de datos y tecnológicos en los países de América Latina y el Caribe
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
En Colombia, tres pautas clave para el desarrollo de servicios públicos digitales subrayan la necesidad de incorporar múltiples disciplinas y perspectivas:
En relación con la IA, la Guía con lineamientos generales para el uso de tecnologías emergentes propone dos medidas. La primera es la participación de miembros no técnicos en la ejecución del proyecto, que trabajen “muy de la mano con los dueños del servicio” (p. 11) y no solo a nivel de ingeniería. La segunda es la definición de un equipo de evaluación de proyectos piloto compuesto por actores internos y externos (p. 9).22 Además, la “Task Force para el Desarrollo y la Implementación de la Inteligencia Artificial en Colombia” manifiesta que la multidisciplinariedad es una consideración importante cuando se crea un grupo interno de trabajo de IA. La estructura del grupo de trabajo propuesta por el documento comprende un experto en políticas de IA, un científico de datos, un eticista, un internacionalista e investigadores.23
Con referencia a los proyectos digitales en general, el Manual de Gobierno Digital afirma que los desarrolladores deben “con la participación de todos” (p. 32) y, más puntualmente, deben trabajar para generar integración y colaboración entre todas las áreas responsables; buscar colaboración con otras entidades; identificar al director del proyecto y armar equipos multidisciplinarios que participen en el diseño, la construcción y la puesta en marcha, las pruebas y el funcionamiento del proyecto; y establecer alianzas entre diferentes actores.24
Finalmente, el Marco de Transformación Digital para el Estado señala lo siguiente: “Es importante resaltar que la transformación digital de las entidades públicas requiere de la participación y esfuerzos de diversas áreas de la organización, entre estas: la Dirección, Planeación, Tecnología, Procesos, Talento Humano, y otras áreas misionales claves responsables de ejecutar iniciativas de transformación digital”25 (p. 21).
El eje estratégico de “Ética y Regulación” de la estrategia de IA de Argentina incluye el objetivo de “conformar equipos interdisciplinarios y multisectoriales que permitan el abordaje del fenómeno de IA con pluralidad de representación de saberes e intereses” (p. 192). Esta sección también reconoce que “el sesgo puede resultar incluso inconsciente para quienes desarrollan estos sistemas, en la medida en que trasladan su visión del mundo tanto a la selección de los datos de entrenamiento como a los modelos y, potencialmente, al resultado final. De ahí la importancia de tener una representación plural en el desarrollo de estas tecnologías y la inclusión de profesionales que reparen en estos aspectos metodológicos, antropológicos y de inclusión” (p. 189).
Uno de los cuatro “principios transversales” de la estrategia nacional de IA de Chile es la “IA inclusiva”. Conforme a ella, toda acción relacionada con la IA debe abordarse en forma interdisciplinaria. La estrategia también recomienda reformar los programas educativos de modo de incorporar distintos conceptos de IA desde la perspectiva de diversas disciplinas.
La estrategia nacional de IA de Brasil trata la índole multidisciplinaria de la IA y la importancia de un enfoque multidisciplinario, pero no indica las medidas a tomar en apoyo de dicho enfoque.
La estrategia de Uruguay reconoce la importancia de capacitar a funcionarios en contextos multidisciplinarios a fin de que generen competencias que les permitan “comprender todas las dificultades, desafíos e impactos que se presentan al momento de utilizar IA en los servicios y procesos de la Administración Pública” (p. 12). En realidad, la estrategia misma fue elaborada por un equipo multidisciplinario en el que había representantes de los campos de la tecnología, el derecho, la sociología y la medicina, entre otros. En resumen, las estrategias de los países de América Latina y el Caribe que hacen referencia específica a la multidisciplinariedad con el fin de desarrollar la IA brindan modelos generales aplicables a todo proyecto de esta índole. Trabajando desde la base de la reserva de casos prácticos y lecciones existentes, el siguiente paso para los formuladores de políticas de la región podría ser la provisión de orientaciones o métodos de inclusión de otras disciplinas con el propósito de abordar las principales cuestiones que hayan surgido en áreas de interés específicas.
A pesar de no referirse estrictamente a la IA, los países de América Latina y el Caribe también han elaborado un conjunto considerable de prácticas y lineamientos para incluir la multidisciplinariedad en el desarrollo de proyectos de gobierno digital. Ello es pertinente porque las pautas e iniciativas centradas en las actividades más amplias de gobierno digital también deberían aplicarse a los proyectos relacionados con la IA en el sector público. Podemos citar los siguientes ejemplos:
LABgobar, el laboratorio de innovación pública de Argentina, ha creado la “Academia de Diseño de Políticas Públicas”. El trabajo que se realiza en el laboratorio tiene dos finalidades principales: 1) identificar y fortalecer las comunidades de práctica con temáticas específicas a través de diversos enfoques que motivan a la acción, participación y colaboración; y 2) capacitar equipos multidisciplinarios de funcionarios provenientes de distintos ministerios a través del programa ejecutivo Innovadores Emergentes, con desafíos reales que los participantes deben resolver aplicando herramientas de innovación.26
El Public Sector Modernization Programme [Programa de Modernización del Sector Público] de Barbados propone la creación de un equipo digital con conocimientos especializados en áreas tales como tecnologías digitales, innovación abierta, diseño de servicios, analítica de datos y reingeniería de procesos, entre otras.27
Durante los procesos de innovación, el Laboratorio de Gobierno de Chile recomienda formar “un equipo de trabajo multifuncional compuesto por representantes de todas las divisiones relacionadas con el problema u oportunidad inicial” y brinda orientación para llevarlo a cabo.28
El Código Nacional de Tecnologías Digitales de Costa Rica recomienda crear equipos multidisciplinarios como parte de sus estándares para servicios digitales, que incluyan roles específicos: product owner, project manager, manager de implementación, arquitecto técnico, líder de asistencia digital, diseñador de experiencia de usuario, investigador de usuario, diseñador de contenido, desarrollador back-end y desarrollador front-end.29
Jamaica maduró una experiencia multidisciplinaria como parte de su programa COVID-19 CARE. Varios organismos de gobierno participaron en el desarrollo de un sistema en línea para recibir solicitudes de subvenciones, validaciones automatizadas y procesamiento de pagos.30
La Agenda Digital 2020 de Panamá fue diseñada por un equipo multidisciplinario (p. 2).
En el desarrollo del portal Rindiendo Cuentas, de Paraguay (https://rindiendocuentas.gov.py), para la transparencia y la rendición de cuentas participaron varios equipos de toda la administración pública.31
El Laboratorio de Gobierno y Transformación Digital de Perú incluye, entre sus objetivos, la “transferencia de conocimientos en Metodologías ágiles en el sector público e impulsar la creación de equipos multidisciplinarios” para la cocreación de plataformas y soluciones digitales.32 Además, todas las entidades públicas tienen el mandato de crear un comité de gobierno digital compuesto por un equipo multidisciplinario en el que participen, como mínimo, el director de la entidad, el líder de gobierno digital, el Oficial de Seguridad de la Información y representantes de las áreas de informática, recursos humanos, servicios al ciudadano, y las áreas de asuntos legales y de planeamiento.33
En relación con los procesos de contratación de personal, Uruguay busca la complementariedad a través de equipos multidisciplinarios, conocimientos complementarios y diferentes perspectivas.34
Estas actividades revelan que la creación de equipos multidisciplinarios ha sido una práctica recurrente en la mayoría de los Gobiernos de América Latina y el Caribe cuando ofrecen soluciones digitales. Sin embargo, en muchas de las iniciativas, la OCDE no pudo determinar el proceso de creación de los equipos y cómo contribuyeron las distintas disciplinas participantes a la consecución del objetivo final. Fue también difícil comprobar la composición de los equipos de desarrollo de casos prácticos de IA actuales. Como parte de las medidas de transparencia para aumentar la confianza y la seguridad (ver el capítulo “Acciones para desarrollar un abordaje responsable, fiable y centrado en el ser humano”), podría ser una buena práctica para los países de América Latina y el Caribe brindar más información sobre la composición del equipo cuando ofrecen soluciones de IA. Como ejemplo, el Recuadro 4.11 presenta dos casos, no de IA, en los que varias disciplinas contribuyen a la entrega y gobernanza de los servicios digitales.
Recuadro 4.11. Equipos multidisciplinarios para mejorar los servicios públicos digitales
Los dos casos siguientes no se relacionan con iniciativas de IA. No obstante, brindan excelentes ejemplos de enfoques multidisciplinarios que podrían asimismo aplicarse a la IA, a un nivel estratégico.
Rediseño del proceso de certificación de discapacidad (Argentina)
En Argentina, unos 3 millones de personas están afectadas por alguna forma de discapacidad. Para certificar la discapacidad, la Junta Médica Evaluadora (JME) emite un Certificado Único de Discapacidad (CUD), que otorga a esas personas acceso a derechos y beneficios provistos por el Gobierno.
El proceso de obtención de un CUD era largo y difícil. Al no existir un soporte digital, podía llevar hasta siete meses, con cantidad de pasos intermedios, muchos de los cuales requerían que el usuario visitara personalmente una oficina pública. No solo era lento el plazo de entrega, sino que el proceso mismo agregaba molestias y complejidad a la vida de las personas que necesitan mayor apoyo.
Identificada la necesidad de transformar el servicio, la Agencia Nacional de Discapacidad se conectó con el equipo de Mi Argentina, la plataforma para proveer servicios relevantes para la ciudadanía. Este equipo multidisciplinario estaba compuesto no solamente por ingenieros y diseñadores de software, sino también por psicólogos, politólogos, antropólogos y sociólogos. Trabajando en forma conjunta, el equipo se dedicó a simplificar y acelerar el procedimiento, y a acompañar a la gente a lo largo del proceso.
Con este propósito, el equipo entrevistó a personas con discapacidades, sus familias y personal sanitario. A medida que se hacían una idea de los problemas que estas personas enfrentaban, identificaban oportunidades para simplificar el proceso y diseñar un enfoque en línea de una sola etapa. En la actualidad, el nuevo proceso para solicitar un CUD guía a los ciudadanos a través de los requisitos de la solicitud en lugar de exigirles que asistan a una reunión presencial para establecer la documentación necesaria.
Fuente: (OCDE, 2020[48]).
El Grupo de Trabajo de Datos Abiertos (Uruguay)
Para poner en marcha una política de datos abiertos, coordinar las acciones de distintos actores y crear un ámbito de trabajo colaborativo para las entidades públicas, la sociedad civil y las instituciones académicas en materia de transparencia activa, Uruguay creó el Grupo de Trabajo de Datos Abiertos, una entidad multidisciplinaria compuesta por representantes de varias instituciones no tecnológicas del sector público. Sus principales miembros son el Ministerio de Desarrollo Social, Gestión y Evaluación; la Facultad de Ingeniería (Universidad de la República, Uruguay); el Instituto Nacional de Estadística; la Red de Gobierno Abierto (Sociedad Civil); la Intendencia de Montevideo y la agencia digital, AGESIC.
Otro concepto de importancia paralelo al de la multidisciplinariedad es el de la diversidad. Este concepto genérico reconoce que las personas, similares en muchos casos, tienen distintas experiencias de vida y características, tales como el género, la edad, la raza, el origen étnico, las habilidades físicas, la cultura, la religión y las creencias (Balestra y Fleischer, 2018[49]). Tales elementos producen valores, preferencias, características y creencias importantes y propias en cada individuo, moldeadas por las normas y los comportamientos que experimentaron a lo largo del tiempo. En el campo de la IA, los equipos diversos pueden considerar mejor las necesidades de diferentes usuarios y contribuir a evitar o eliminar posibles sesgos desde el principio (OCDE, 2019[50]), ya que una representación diversa en la ideación y el diseño de un producto permite minimizar las posibilidades de sesgo de los datos y de discriminación algorítmica. Como se mencionó anteriormente, este beneficio solo puede alcanzarse en un ámbito inclusivo, donde las opiniones de cada persona son valoradas y donde cada persona se siente segura de expresarlas.
Figura 4.12. Capacidades de la región de LAC para establecer lineamientos de creación de equipos de IA con diversidad de integrantes
Fuente: Análisis de la OCDE basado en investigaciones, y en encuestas y entrevistas a los países de América Latina y el Caribe.
A nivel mundial, la falta de diversidad racial y de género persiste en las investigaciones y en el personal de IA a pesar de la importancia que se le reconoce (NSTC, 2016[51]). Sin embargo, muchos países de la región de LAC tienen la percepción de que los equipos digitales del sector público presentan diversidad de integrantes y reflejan una sociedad más amplia (Figura 4.13). En vista del alcance de este estudio, no fue posible evaluar la diversidad real de tales equipos, pero mayormente no existe orientación ni métodos para asegurar la diversidad en los países de América Latina y el Caribe. A pesar de que las estrategias de IA de Argentina, Brasil, Chile y Colombia resaltan la importancia de la diversidad en el desarrollo de la IA, son muy pocos los ejemplos de elaboración de iniciativas y orientación específicas que conviertan a la diversidad en un factor clave en la composición de los equipos de IA. Un ejemplo al respecto es el diseño propuesto para el Task Force en IA de Colombia, que considera la inclusión de distintos orígenes en la composición de sus equipos.35 Entre las cuestiones evaluadas en este capítulo y el siguiente, la diversidad fue la menos atendida en los países de América Latina y el Caribe.
La percepción en los países de América Latina y el Caribe de que sus equipos digitales son diversos, junto con las escasas orientaciones en este sentido, crean un escenario algo contradictorio y pueden indicar puntos ciegos en relación con posibles problemas. También es cierto que pueden indicar que los equipos son en verdad diversos, pero sin orientaciones más sólidas esa diversidad puede ser fugaz y susceptible de cambio. Los países deben considerar la adopción de una orientación general evaluando el estado de diversidad de sus equipos digitales y reconociendo su importancia en estrategias o pautas. Como ya se señaló, la experiencia existente en la región de LAC podría dar lugar a una orientación adaptada al área de interés y contextos en los que la diversidad del equipo haya demostrado ser un elemento importante en el desarrollo de la IA.
Figura 4.13. En el sector público de mi país, con frecuencia los equipos digitales tienen diversidad de integrantes y reflejan la sociedad con amplitud
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
En su estrategia de IA, Argentina reconoce la importancia de “una representación plural en el desarrollo de estas tecnologías [de IA]”, y “la inclusión de profesionales que reparen (…) aspectos metodológicos, antropológicos y de inclusión” (p. 189). Su principal preocupación es abordar el sesgo a lo largo del proceso de desarrollo, lo cual incluye la selección de los datos de entrenamiento, el diseño de los algoritmos y el resultado final. Hay instrucciones más específicas acerca de la diversidad en cuanto a la conformación del Comité de Ética de IA, “ente multidisciplinario y multisectorial, independiente, de profesionales de distintas áreas del conocimiento y miembros de la comunidad, equilibrado en edad, sexo y el origen étnico y cultural”. El Comité también subraya la necesidad de “garantizar que sus integrantes tengan un vínculo constante con organizaciones de la sociedad civil orientada a estos temas y acceso a consultores externos con conocimientos específicos si resulta necesario para casos particulares”.
La estrategia de IA de Brasil se compromete a estimular una composición diversa de sus equipos de desarrollo de IA en relación con el género, la raza, la orientación sexual y otros aspectos socioculturales.
La Política de IA de Chile destaca la importancia de tener equipos con diversidad de integrantes e inclusivos, en particular desde una perspectiva de diversidad de género y sexual. Para promover la igualdad en la implementación de los sistemas de IA, la política también recalca la importancia de desarrollar la IA en forma inclusiva, incorporando las perspectivas de grupos indígenas, personas con necesidades especiales y los más vulnerables.
Finalmente, el proyecto de Marco Ético para la Inteligencia Artificial de Colombia afirma, como parte de su principio de no discriminación, que “en el diseño debe participar un grupo diverso de la población y se deben generar matrices de impacto que permitan establecer de forma temprana algún tipo de discriminación y corregir los mismos oportunamente”.
Centrado en el usuario
Cada enfoque nacional debe operar dentro de su propio contexto exclusivo, así como de sus propias cultura y normas. Los Gobiernos deben entablar un diálogo deliberativo con sus ciudadanos, residentes, empresas, funcionarios y otras partes que puedan interactuar con una solución de IA o que se vean afectadas por ella, para entender más claramente sus perspectivas, valores y necesidades (Balaram, Greenham y Leonard, 2018[52]). Los usuarios de los servicios públicos pueden estar a la espera de un compromiso y garantías efectivos que les permitan aclarar la forma en la que el uso de la IA repercutirá sobre los servicios de los que ellos dependen. En algunos casos, los ciudadanos también pueden convertirse en cocreadores de los servicios públicos que utilizan IA, proceso que involucra una significativa participación del usuario (Lember, Brandsen y Tõnurist, 2019[53]). Por último, la IA ofrece la posibilidad de colaborar con los Gobiernos en su avance hacia servicios públicos proactivos, que anticipen y manejen las necesidades del usuario antes de que surjan (por ejemplo, completar un formulario) (Scholta et al., 2019[54]), lo cual no sería posible sin una mayor comprensión de tales necesidades.
A menos que interactúen con los posibles usuarios (tanto dentro como fuera del Gobierno, según corresponda), los funcionarios no podrán determinar con precisión qué problemas existen y si una posible aplicación o alternativa de IA satisfará las necesidades básicas. Esta interacción se tornará cada vez más importante y debe ser incorporada como parte integral de las estrategias nacionales y el rumbo general. Los funcionarios también deben estar facultados para interactuar con los usuarios.
Figura 4.14. Capacidades de la región de LAC orientadas a establecer lineamientos y métodos para comprender las necesidades del usuario
En la región de LAC, los países han desarrollado dos abordajes complementarios para diseñar servicios públicos digitales de acuerdo con las necesidades del usuario. El primero es un enfoque orientado al usuario que pone énfasis en entenderlo y codiseñar los servicios públicos. El segundo es un enfoque informado del usuario que pone énfasis en adaptar y diseñar los servicios de acuerdo con las solicitudes, porcentajes de repuesta, usabilidad y satisfacción medida. El Marco de Políticas de Gobierno Digital de la OCDE recomienda que los procesos, productos y resultados de las políticas no solo se informen, sino que también estén moldeados por las decisiones, preferencias y necesidades de los ciudadanos a través de mecanismos de participación y colaboración (OCDE, 2020[55]). Este tipo de enfoque está concebido para permitir que la voz de la población sea escuchada en la elaboración de políticas públicas. Con esta finalidad, los Gobiernos pueden establecer nuevas formas de asociación con el sector privado y el tercer sector, adquirir ideas por colaboración de la administración pública y de la sociedad en su conjunto, y hacer uso de metodologías tales como la investigación de usuarios, el diseño de usabilidad (UX) y el diseño centrado en el ser humano para crear y mejorar los servicios públicos (OCDE, 2020[56]).
La diferencia entre ambos abordajes la ilustra el caso de Panamá, donde la OCDE halló mayor énfasis en la digitalización de los procesos y procedimientos existentes, y menos atención en tratar de entender las necesidades del usuario y reorientar los servicios consecuentemente.
Los temas predominantes de la prestación en Panamá se concentran en la digitalización y/o automatización de los procesos existentes más que en los usuarios y sus necesidades. Por tal motivo, hay un mayor énfasis en las tecnologías que pueden utilizarse que en la reestructuración de los servicios subyacentes. Esto provoca una proliferación de aplicaciones y diferentes tecnologías para resolver distintos problemas desde el punto de vista tecnológico en lugar de considerar medidas políticas indispensables (…) que reflejen la diversidad de la población del país y atiendan mejor sus necesidades (OCDE, 2019[38]).
En los países de América Latina y el Caribe, la percepción de que los funcionarios tienen competencias para centrarse en el usuario es, en general, positiva. Asimismo, la mitad de los países que respondieron a la encuesta confirmaron que existen pautas para alentar la participación del usuario en el proceso de diseño de servicios y políticas. La Figura 4.15 ilustra la creciente inclusión de percepciones y necesidades de los usuarios en el diseño de los servicios digitales de la región. A pesar de que hay escasos elementos que demuestran específicamente el desarrollo de una IA centrada en el usuario, el trabajo actual revela una base sólida para ampliar la orientación, y los conocimientos profesionales especializados, con la finalidad de entender mejor a los usuarios y tener en cuenta sus necesidades al diseñar sistemas de inteligencia artificial.
Figura 4.15. Percepción de que los funcionarios tienen competencias para centrarse en el usuario y de que los países aplican lineamientos para la participación del usuario
Nota: En relación con las competencias centradas en el usuario, ningún país indicó “en alguna medida” o “en absoluto”.
Fuente: Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
México y Uruguay son los únicos dos países de la región de LAC que consideran explícitamente las indicaciones referidas a la centralización en el usuario para el desarrollo de la IA dentro de sus guías de evaluación del impacto de la tecnología (Recuadro 4.5). La Guía de análisis de impacto para el desarrollo y uso de sistemas basados en Inteligencia Artificial en la Administración Pública Federal de México pregunta si: “se consultó o probó el sistema con grupos de interés y/o grupos vulnerables” (Coordinación de la Estrategia Digital Nacional, 2018, p. 8[42]) para evaluar si el sistema satisface las necesidades de los usuarios. En otro enfoque sobre este aspecto, el modelo de Estudio de Impacto Algorítmico de Uruguay busca determinar si existe o no “un mecanismo para recoger los comentarios de los usuarios del sistema” (AGESIC, 2020, p. 11[41]).
Varios países de América Latina y el Caribe han desarrollado capacidades orientadas al usuario que se concentran, en especial, en las metodologías de diseño centradas en el ser humano, a pesar de no ser exclusivas del campo de la IA:
Uno de los objetivos de LABgobar, el laboratorio de innovación pública de Argentina, es diseñar políticas y servicios centrados en el usuario. Con esta finalidad, lleva a cabo una investigación etnográfica enfocada a estudiar los hábitos y comportamientos de los ciudadanos en sus interacciones con el Estado, y proporciona metodologías para incorporar los puntos de vista, sensaciones y voces de la población en la toma de decisiones, de modo de llamar la atención sobre ellos de los actores institucionales responsables de llevar a la práctica las políticas públicas.36
La Dirección Nacional de Servicios Digitales dentro de la Secretaría de Gobierno de Modernización de Argentina fijó un conjunto de principios para investigar las necesidades de los usuarios, asesorar a las organizaciones del sector público y diseñar soluciones. El primer principio es el siguiente: “Priorizamos las necesidades de los ciudadanos: Hablamos constantemente con los ciudadanos, observamos sus contextos, entendemos lo que necesitan más allá de lo que dicen”.37 Asimismo, esta entidad creó el “Código de buenas prácticas en el desarrollo de software público”, que recopila diversas metodologías y requisitos previos para comprender las necesidades del usuario (Recuadro 4.12).
La estrategia nacional de gobierno digital de Brasil también incluye un principio focalizado en las necesidades de los ciudadanos.38 Este objetivo se apoya en la Design Thinking Toolkit for Government [Caja de Herramientas para el Pensamiento de Diseño del Gobierno] desarrollada por el Laboratorio de Innovación del Tribunal Federal de Auditoría, que proporciona orientación sobre la participación de los usuarios finales en las primeras etapas de diseño del servicio con la perspectiva de que las técnicas pertinentes se difundan y usen en las instituciones públicas. El instrumento Design Thinking Toolkit está compuesto por cinco etapas: empatía, (re)definición, ideación, creación del prototipo y testeos. Cada etapa está explicada y la acompaña un conjunto de herramientas.39 Por otra parte, el gobierno federal ha creado un equipo dedicado a recopilar información sobre la calidad y adecuación de los servicios públicos digitales mediante el uso de metodologías sencillas y ágiles. A febrero de 2021, el equipo había llegado a 31.660 personas a través de 2.373 entrevistas, 29.287 formularios en línea y 58 proyectos de investigación.40
Los principios de LabGob, el Laboratorio de Gobierno de Chile, respaldan la orientación de distintos tipos de proyectos gubernamentales. Entre estos principios figura especialmente el de “Con foco en los usuarios”, para entender las necesidades, activos, motivaciones y capacidades de los ciudadanos como agentes del proceso de innovación (Recuadro 5.11). Además, LabGob ha elaborado un conjunto de lineamientos titulado “¿Cómo podemos facilitar espacios presenciales a través de la innovación pública?” para que las organizaciones del sector público puedan obtener opiniones externas, entre ellas, las de los usuarios (Recuadro 6.7). Anteriormente, la OCDE había redactado una serie de recomendaciones para Chile, que el país se encuentra evaluando, acerca de, entre otras cosas, cómo orientarse más hacia el ciudadano descubriendo las necesidades de los usuarios (OCDE, 2020[48]).
Colombia cuenta con tres instrumentos pertinentes destinados a comprender las necesidades del usuario. La guía de tecnologías emergentes no define lineamientos específicos, sino que recalca la necesidad de considerar la “Experiencia del Usuario” como parte de la arquitectura de la solución (p. 10). También sugiere incluir usuarios en los equipos de evaluación de proyectos piloto (p. 9).92 Otro documento, el Manual de Gobierno Digital, recomienda: “Identifique el problema o necesidad y los actores relacionados con el proyecto” (p. 31). Por último, la Guía de Caracterización de Ciudadanos, Usuarios y Grupos de Interés, que no está limitada a los servicios de gobierno digital, ofrece lineamientos generales para caracterizar a los usuarios de todos los proyectos gubernamentales que involucran a actores externos: “caracterizar hace referencia a identificar las particularidades (características, necesidades, intereses, expectativas y preferencias) de los ciudadanos, usuarios o grupos de interés con los cuales interactúa una entidad, con el fin de segmentarlos en grupos que compartan atributos o variables similares” (p. 10).94
En Bogotá, Colombia, el laboratorio de innovación de la ciudad, denominado LAB Capital, desarrolló un curso en línea sobre innovación del sector público para funcionarios, con la finalidad de ayudarlos a hacerse una idea de cómo innovar las políticas y servicios desde la perspectiva del usuario, y promover un ecosistema de innovadores en las reparticiones públicas.41
El Código Nacional de Tecnologías Digitales de Costa Rica enumera principios, políticas y estándares aplicables (ver el capítulo “Accesibilidad digital, usabilidad y experiencia de usuario”).42 Entre los estándares para los servicios digitales, el código define un procedimiento centrado en el usuario que debe considerarse al diseñar y adquirir servicios digitales. Este procedimiento incluye entender las necesidades de las personas usuarias, hacer investigación de personas usuarias de manera constante, contar con un equipo multidisciplinario, utilizar metodologías ágiles, iterar para mejorar en forma permanente, realizar pruebas con los usuarios, y recolectar datos e indicadores de desempeño, entre otros.
El Laboratorio de Gobierno y Transformación Digital de Perú también utiliza metodologías centradas en el usuario para diseñar los servicios públicos de acuerdo con la “Agenda Digital al Bicentenario”.43 Además, los “Lineamientos para la Formulación del Plan de Gobierno Digital” incluyen, entre sus principios, la importancia de un diseño centrado en las necesidades y demandas del ciudadano, redactado de este modo: “es necesario que las entidades públicas hagan uso de marcos de referencia sobre innovación, ágiles, u otras enfocadas en la experiencia del ciudadano, e investiguen y analicen sus comportamientos, necesidades y preferencias” (p. 35).44 Perú ha desarrollado asimismo un programa de voluntariado digital para que el mundo académico, el sector privado, la sociedad civil y la ciudadanía participe en diversos proyectos de diseño, rediseño y digitalización de las políticas y los servicios públicos.45 En una entrevista con la OCDE, los funcionarios peruanos manifestaron estar trabajando para cambiar la mentalidad y las culturas del sector público a través de esta orientación, con el objetivo de asegurar un continuo énfasis en las necesidades básicas de los usuarios basándose en investigación, entrevistas y pruebas con prototipos de rápido desarrollo y productos mínimos viables, todas las cuales cuentan con la participación de los usuarios.
En Uruguay, el Laboratorio de Innovación Social en Gobierno Digital proporciona metodologías de cocreación y participación con la finalidad de encontrar la mejor forma de entregar los servicios públicos (Recuadro 4.12). El proceso consta de cuatro etapas: comprender, empatizar, cocrear y experimentar.
Recuadro 4.12. Metodologías para entender las necesidades del usuario
Código de buenas prácticas para el desarrollo de software público (Argentina)
La Oficina Nacional de Tecnologías de Información dependiente de la Secretaría de Innovación Pública ha desarrollado un “Código de buenas prácticas en el desarrollo de software público”. El primer artículo del código requiere que los funcionarios entiendan los contextos y necesidades reales de los usuarios para poder aprovechar las funciones de los sistemas digitales que están diseñando, y evaluar mejor las prioridades de desarrollo. El Código brinda un conjunto de buenas prácticas ideales y mínimas, así como orientación para dar los primeros pasos:
Ideales
Crear mapas de historias de usuarios para entender la experiencia de todos los distintos tipos de usuarios, incluyendo personas con discapacidad.
Desarrollar prototipos para probar el servicio con usuarios reales.
Tomar decisiones basadas en la recolección y análisis de datos objetivos, incluyendo tests A/B, métricas de uso de los servicios y pruebas de usabilidad.
Diseñar el software teniendo en cuenta toda la experiencia del usuario, incluyendo las acciones que realiza fuera de los sistemas digitales.
Evaluar el servicio con las herramientas del consorcio W3C.
Mínimas
Cumplir las normativas de accesibilidad para garantizar igualdad real de oportunidades y trato a todas las personas.
Conocer los estándares de la Dirección Nacional de Servicios Digitales.
Investigar desde qué tipo de dispositivos acceden los ciudadanos, para poder armonizar el diseño y desarrollo de la interfaz con la experiencia del usuario.
Dónde empezar
Consultar el Decálogo Tecnológico “Conocé tu Proyecto”.
Consultar el Decálogo Tecnológico “Asegurá que tus soluciones sean accesibles”.
Crear un mapa de historia de usuario para entender la experiencia de los usuarios frecuentes.
Fuente: www.argentina.gob.ar/onti/codigo-de-buenas-practicas-para-el-desarrollo-de-software-publico.
Metodologías de cocreación y participación del Laboratorio de Innovación Social en Gobierno Digital (Uruguay)
El Laboratorio de Innovación Social en Gobierno Digital proporciona a las instituciones públicas de Uruguay metodologías de cocreación y participación para encontrar mejores formas de brindar servicios públicos. Entre las distintas metodologías ofrecidas, pueden emplearse las dos plantillas que se presentan a continuación para entender mejor las necesidades de los usuarios:
Plantilla “Acciones con actores/as”
Esta plantilla busca comprender expectativas, oportunidades y riesgos asociados a un determinado actor. A los equipos de desarrollo se les solicita completar una hoja de la plantilla con la siguiente información y debatir en el grupo. El resultado clave es definir acciones en relación con:
las expectativas/motivaciones de un determinado actor;
los riesgos/temores de un determinado actor;
las oportunidades – una vez debatidas las expectativas y los temores, los equipos deben identificar una oportunidad para la que deben proporcionar una respuesta;
acciones a tomar.
Plantilla “Tipología de usuario”
Esta plantilla busca identificar los distintos tipos de usuarios de un servicio en particular y, así, generar una solución que los contemple a todos. Los equipos deben responder a las siguientes preguntas/tareas:
¿Cuál es el nombre, edad y ubicación del actor?
¿Cuáles son las necesidades y motivaciones del actor afectado?
Representar al actor con un dibujo/imagen.
¿Cuál es la relación del actor afectado con la tecnología?
Se les solicita a los equipos de desarrollo que completen la plantilla por cada tipo de persona identificada y, luego, que analicen y sistematicen la información, y que identifiquen patrones y generen grupos, si corresponde. El tipo de dato requerido para armar los perfiles puede variar según el proyecto. Por ejemplo, pueden ser relevantes los datos sobre nivel educativo y género declarado.
Los países de América Latina y el Caribe también se encuentran adaptando y diseñando servicios según las solicitudes, porcentajes de respuesta y satisfacción medida de los usuarios. A pesar de que los ejemplos mencionados a continuación se relacionan con metodologías centradas en el usuario, ponen mayormente énfasis en la medición y, por ese motivo, caen en la categoría de enfoques informados por el usuario en lugar de priorizar una comprensión más amplia de sus necesidades.
Barbados ha implementado un programa de ensayos de usabilidad para su sistema de gestión de documentos y registros electrónicos.46
En Brasil, de conformidad con la estrategia de gobierno digital, los organismos deben utilizar herramientas de satisfacción del público. A este respecto, la estrategia detalla tres cursos de acción principales. Primero, como parte del objetivo de evaluación de la satisfacción con los servicios digitales, Brasil pretende estandarizar la evaluación de la satisfacción, aumentar la satisfacción del usuario con los servicios públicos y mejorar la percepción de utilidad de la información pública. Segundo, la estrategia manifiesta que los organismos realizarán, para 2022, como mínimo, cien encuestas de experiencia con usuarios reales de los servicios públicos. En tercer lugar, en la estrategia se asume el compromiso de implementar un mecanismo para personalizar la oferta de servicios públicos digitales basados en el perfil del usuario.47 Este enfoque coincide con el tablero de control de los servicios digitales ofrecido como parte del portal de ventanilla única de Brasil,48 que pone a disposición indicadores de satisfacción general, los que incluyen una evaluación por parte del usuario de la información y los servicios, y del tiempo de espera promedio.
Ecuador ha publicado la Guía de Datos Abiertos (en consulta), un documento que brinda orientación para seleccionar y priorizar las demandas de datos abiertos, crear un inventario de la información más solicitada, promover la participación ciudadana para definir mejor las necesidades del público acerca de los datos abiertos, y evaluar la percepción y tasa de reutilización de los conjuntos de datos publicados.49
Uruguay evalúa la respuesta de la ciudadanía a los servicios digitales a través de grupos focales y estrategias de seguimiento. Anualmente, se llevan a cabo proyectos de investigación basados en los grupos focales para evaluar aspectos tales como la imagen, la satisfacción y las barreras de acceso. Hay distintos grupos focales compuestos por segmentos priorizados de la población, identificados con anterioridad en estudios cuantitativos. Las estrategias e indicadores de seguimiento incluyen una encuesta de satisfacción, estudios de la población general que miden la realización de trámites en línea y la satisfacción al respecto, e indicadores de interoperabilidad de las plataformas.50
La Ley de Infogobierno de Venezuela incluye lineamientos generales sobre el diseño de las iniciativas TIC basado en condiciones de accesibilidad y usabilidad. El artículo 15 dispone: “En el diseño y desarrollo de los sistemas, programas, equipos y servicios basados en tecnologías de información, se debe prever las consideraciones de accesibilidad y usabilidad necesarias para que éstos puedan ser utilizados de forma universal por aquellas personas que, por razones de discapacidad, edad, o cualquier otra condición de vulnerabilidad, requieran de diferentes tipos de soportes o canales de información”.51
Para ayudar a los gobiernos a continuar desarrollando sus competencias de diseño centradas en el usuario, BizLab, del gobierno de Australia, tuvo la amabilidad de proporcionar a OPSI el currículum de su diseño centrado en el ser humano. Se entregaron archivos fuente editables que OPSI puso a disposición en su navegador de herramientas.52
Referencias
[41] AGESIC (2020), Preguntas para la evaluación del Estudio de Impacto Algorítmico (EIA): Proyectos de sistemas automatizados para la toma de decisiones, https://www.gub.uy/agencia-gobierno-electronico-sociedad-informacion-conocimiento/sites/agencia-gobierno-electronico-sociedad-informacion-conocimiento/files/documentos/publicaciones/Gu%C3%ADa%20para%20el%20estudio%20de%20Impacto%20Algor%C3%ADtmico%20%28EI.
[52] Balaram, B., T. Greenham y J. Leonard (2018), Artificial Intelligence: Real Public Engagement [Inteligencia artificial: interacción real con el público], RSA, https://www.thersa.org/globalassets/pdfs/reports/rsa_artificial-intelligence---real-public-engagement.pdf.
[49] Balestra, C. y L. Fleischer (2018), Diversity statistics in the OECD: How do OECD countries collect data on ethnic, racial and indigenous identity? [Estadísticas de la diversidad en la OCDE: cómo recopilan datos sobre la identidad étnica, racial e indígena los países de la OCDE], OECD Publishing, https://doi.org/10.1787/89bae654-en.
[42] Coordinación de la Estrategia Digital Nacional (2018), Guía de análisis de impacto para el desarrollo y uso de sistemas basadas en inteligencia artificial en la APF, https://www.gob.mx/cms/uploads/attachment/file/415644/Consolidado_Comentarios_Consulta_IA__1_.pdf.
[40] Guío Español, A. (2020), Ethical Framework for Artificial Intelligence in Colombia (Marco ético para la inteligencia artificial en Colombia), https://iaeticacolombia.gov.co/static/media/Marco-Etico-para-la-IA-en-Colombia.pdf (recuperado el 1 de diciembre de 2020).
[53] Lember, V., T. Brandsen y P. Tõnurist (2019), The potential impacts of digital technologies on co-production and co-creation [Los posibles impactos de las tecnologías digitales en la coproducción y la cocreación], pp. 1665-1686, https://www.tandfonline.com/doi/full/10.1080/14719037.2019.1619807.
[46] Mateos-Garcia, J. (2018), The complex economics of artificial intelligence [La compleja economía de la inteligencia artificial], https://www.nesta.org.uk/blog/complex-economics-artificial-intelligence/.
[30] MGI (2018), Notes from the AI Frontier: Applying AI for Social Good [Notas desde la frontera de la IA: aplicar la IA para el bien social], McKinsey Global Institute, www.mckinsey.com/~/media/McKinsey/Featured%20Insights/Artificial%20Intelligence/Applying%20artificial%20intelligence%20for%20social%20good/MGI-Applying-AI-for-social-good-Discussion-paper-Dec-2018.ashx.
[39] Nadal, V. (2020), Inteligencia artificial y ‘seudonimato’: el Gobierno presenta la primera versión de la Carta de Derechos Digitales,
https://elpais.com/tecnologia/2020-11-17/inteligencia-artificial-y-pseudoanonimato-el-gobierno-presenta-la-primera-version-de-la-carta-de-derechos-digitales.html.[51] NSTC (2016), Preparing for the Future of Artificial Intelligence [Prepararse para el futuro de la inteligencia artificial], Executive Office of the President National Science and Technology Council Committee on Technology [Oficina ejecutiva del Presidente, Consejo Nacional de Ciencia y Tecnología, Comité de Tecnología], https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf.
[43] Pencheva, I., M. Esteve y S. Mikhaylov (2018), Big Data and AI – A transformational shift for government: So, what next for research? [Los datos masivos y la IA. Un cambio transformacional de gobierno: ¿cuál será la próxima investigación?], https://doi.org/10.1177%2F0952076718780537.
[83] OCDE (2005), e-Government for Better Government (e-Gobierno para un mejor gobierno), OECD e-Government Studies, OECD Publishing, París, https://dx.doi.org/10.1787/9789264018341-en.
[36] OCDE (2017), OECD Guidelines on Measuring Trust [Líneas directrices de la OCDE para medir la confianza], OECD Publishing, http://dx.doi.org/10.1787/9789264278219-en.
[27] OCDE (2018), Digital Government Review of Brazil: Towards the Digital Transformation of the Public Sector [Revisión del gobierno digital de Brasil: hacia la transformación digital del sector público], OECD Publishing, https://doi.org/10.1787/9789264307636-en.
[50] OCDE (2019), Artificial Intelligence in Society [La inteligencia artificial en la sociedad], OECD Publishing, https://doi.org/10.1787/eedfee77-en.
[38] OCDE (2019), Digital Government Review of Panama: Enhancing the Digital Transformation of the Public Sector [Revisión del gobierno digital de Panamá: mejorar la transformación digital del sector público], OECD Publishing, https://doi.org/10.1787/615a4180-en.
[1] OCDE (2019), Hello, World: Artificial intelligence and its use in the public sector (Hola, mundo: la inteligencia artificial y su uso en el sector público), OECD Publishing, https://doi.org/10.1787/726fd39d-en.
[6] OCDE (2019), OECD Recommendation of the Council on Artificial Intelligence [Recomendación del Consejo de la OCDE sobre Inteligencia Artificial], https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449.
[44] OCDE (2019), The Path to Becoming a Data-Driven Public Sector [El camino para llegar a ser un sector público impulsado por datos], OECD Publishing, https://doi.org/10.1787/059814a7-en.
[37] OCDE (2019), Scoping the OECD AI Principles: Deliberations of the Expert Group on Artificial Intelligence at the OECD (AIGO) [Analizar los Principios de la OCDE sobre Inteligencia Artificial: deliberaciones del grupo de expertos sobre inteligencia artificial de la OCDE (AIGO)], OECD Publishing, https://doi.org/10.1787/d62f618a-en.
[34] OCDE (2020), Digital Government Index: 2019 results [Índice de Gobierno Digital: resultados de 2019], OECD Publishing, https://dx.doi.org/10.1787/4de9f5bb-en.
[55] OCDE (2020), The OECD Digital Government Policy Framework: Six dimensions of a Digital Government [Marco de Políticas de Gobierno Digital de la OCDE: seis dimensiones de gobierno digital], OECD Publishing, https://doi.org/10.1787/f64fed2a-en.
[56] OCDE (2020), OECD Open, Useful and Re-usable data (OURdata) Index [Índice OCDE de Datos Abiertos, Útiles y Reutilizables (OURdata)], OECD Publishing, http://www.oecd.org/gov/digital-government/ourdata-index-policy-paper-2020.pdf.
[45] OCDE (2020), Tracking and tracing COVID: Protecting privacy and data while using apps and biometrics [Seguimiento y rastreo del COVID: proteger la privacidad y los datos al utilizar aplicaciones y biometría], OECD Publishing, http://www.oecd.org/coronavirus/policy-responses/tracking-and-tracing-covid-protect-ing-privacy-and-data-while-using-apps-and-biometrics-8f394636.
[47] OCDE (2021), The OECD Framework for Digital Talent and Skills in the Public Sector [Marco para el talento y las competencias digitales en el sector público], OECD Publishing, https://dx.doi.org/10.1787/4e7c3f58-en.
[35] OCDE (2021), OECD Good Practice Principles for Data Ethics in the Public Sector [Principios de buenas prácticas de la OCDE relativas a la ética de datos en el sector público], OECD Publishing, https://www.oecd.org/gov/digital-government/good-practice-principles-for-data-ethics-in-the-public-sector.htm.
[7] OCDE (2021), State of Implementation of the OECD AI Principles: Insights from National AI Policies [Estado de ejecución de los Principios de la OCDE sobre IA desde la perspectiva de las políticas nacionales en materia de IA], OECD Publishing, https://doi.org/10.1787/1cd40c44-en.
[54] Scholta, H. et al. (2019), From one-stop shop to no-stop shop: An e-government stage model [De la ventanilla única a ninguna ventanilla: un modelo del e-gobierno en etapas], pp. 11-26, https://www.sciencedirect.com/science/article/pii/S0740624X17304239.
[14] Ubaldi, B. et al. (2019), State of the art in the use of emerging technologies in the public sector [Estado del arte del uso de las tecnologías emergentes en el sector público], https://doi.org/10.1787/932780bc-en.
Notas
← 1. (OCDE, 2019[37]) presenta una concepción común de lo que constituye un sistema de IA, así como un marco conceptual que detalla las etapas del ciclo de vida del sistema.
← 4. Ver Anexo B en relación con fuentes y detalles.
← 5. Por ejemplo, la OCDE participó en la mesa redonda de expertos sobre mejores prácticas internacionales y la mesa redonda de expertos sobre problemas de la juventud organizadas por la institución Berkman Klein Center for Internet and Society de la Universidad de Harvard. Puede consultarse un resumen de los debates en: https://cyber.harvard.edu/story/2021-01/summary-report-expert-roundtable-colombias-draft-ai-ethical-framework.
← 6. En el Anexo B se presenta información general sobre algunos de los mecanismos alineados con los Principios de la OCDE sobre Inteligencia Artificial implementados por Gobiernos de América Latina y el Caribe. Téngase en cuenta que los siete países de la región de ALC que adhieren oficialmente a los Principios de la OCDE sobre Inteligencia Artificial se consideran totalmente alineados. Por lo tanto, el Anexo muestra áreas en las que fortalecen aún más su compromiso con la elaboración de principios específicos de cada país.
← 8. Ver iniciativa 5.7 de la Agenda Digital 2020.
← 10. Fuera de la región de América Latina y el Caribe, la directiva sobre la toma de decisiones automatizada (Directive on Automated Decision Making) de Canadá y su evaluación de impacto algorítmico (Algorithmic Impact Assessment) vinculada representan el ejemplo más acabado de este abordaje. Para más información, puede visitarse www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592, además de consultar el caso práctico disponible en el informe de la OCDE titulado Hola, mundo: la inteligencia artificial y su uso en el sector público (OCDE, 2019[1]).
← 11. Ver www.digital.nsw.gov.au/digital-transformation/policy-lab/artificial-intelligence para consultar ejemplos de riesgos asociados con el sesgo y otros desafíos que plantea la IA.
← 13. www.gub.uy/agencia-gobierno-electronico-sociedad-informacion-conocimiento/comunicacion/publicaciones/marco-referencia-para-gestion-calidad-datos
← 14. Para obtener más información, ver: www.gov.uk/government/publications/gender-database/gender-data.
← 18. Esta sección no considera las actividades más amplias de ciberseguridad y de seguridad de la información que no se relacionan directamente con la IA en el sector público.
← 19. www.gob.mx/innovamx/articulos/guia-de-analisis-de-impacto-para-el-desarrollo-y-uso-de-sistemas-basadas-en-inteligencia-artificial-en-la-apf.
← 21. Estas personas podrían ser analistas y asesores políticos, expertos de campo, diseñadores de experiencia de usuario, desarrolladores de software y abogados. Según el sistema de IA y las aplicaciones pertinentes, también puede haber profesionales tales como sociólogos, psicólogos, médicos, u otros con conocimientos y experiencia en campos con los cuales puede interactuar una iniciativa de IA (Whittaker et al., 2018[83]).
← 23. https://dapre.presidencia.gov.co/TD/TASK-FORCE-DEVELOPMENT-IMPLEMENTATION-ARTIFICIAL-INTELLIGENCE-COLOMBIA.pdf.
← 24. Artículo 3.2 (Lineamientos TIC para el Estado y TIC para la Sociedad).
← 26. www.argentina.gob.ar/jefatura/innovacion-publica/laboratoriodegobierno y https://oecd-opsi.org/innovations/design-academy-for-public-policy-labgobar.
← 28. ¿Cómo podemos resolver problemas públicos a través de proyectos de innovación? https://innovadorespublicos.cl/documentation/publication/32.
← 30. Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
← 31. Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
← 33. Resolución Ministerial No. 119-2018-PCM y su modificatoria Resolución Ministerial No. 087-2019-PCM.
← 34. Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
← 35. https://dapre.presidencia.gov.co/TD/TASK-FORCE-DEVELOPMENT-IMPLEMENTATION-ARTIFICIAL-INTELLIGENCE-COLOMBIA.pdf (p. 50).
← 36. www.argentina.gob.ar/jefatura/innovacion-publica/laboratoriodegobierno y https://oecd-opsi.org/innovations/design-academy-for-public-policy-labgobar
← 41. https://oecd-opsi.org/innovations/online-public-innovation-course-for-public-officials-labcapital.
← 43. Ver págs. 43-50, https://cdn.www.gob.pe/uploads/document/file/748265/PERU_AgendaDigitalBicentenario_2021.pdf.
← 46. Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).
← 47. Decreto 10.332/2020, www.planalto.gov.br/CCIVIL_03/_Ato2019-2022/2020/Decreto/D10332.htm.
← 50. Encuesta a organismos de gobierno digital de América Latina y el Caribe realizada por la OCDE (2020).