Qué es la gobernanza de la inteligencia artificial (gobernanza de la IA), en un artículo

Definición y principales connotaciones de la gobernanza de la IA

La gobernanza de la IA es un marco global que engloba la tecnología, la ética, el derecho y la sociedad y que orienta, gestiona y supervisa eficazmente todo el ciclo de vida de los sistemas de IA, desde el diseño, el desarrollo, la implantación y el uso final. El objetivo central no es obstaculizar la innovación tecnológica, sino garantizar que el desarrollo y la aplicación de la tecnología de la IA avancen siempre en una dirección segura, fiable, responsable y coherente con los valores de la humanidad en su conjunto. Entendida como las "normas de tráfico" y la "constitución" del mundo de la IA, la gobernanza de la IA no sólo debe salvaguardar la vitalidad y la innovación de este nuevo mundo (permitiendo que los vehículos circulen a gran velocidad), sino también garantizar que funcione de forma ordenada y justa, sin accidentes catastróficos (estableciendo semáforos y límites de velocidad). límites de velocidad). La gobernanza de la IA implica múltiples dimensiones: desde el punto de vista tecnológico, exige que los sistemas sean transparentes, interpretables y robustos; desde el punto de vista ético, hace hincapié en la equidad, la imparcialidad, la protección de la privacidad y la supervisión humana; desde el punto de vista jurídico, requiere mecanismos claros para identificar responsabilidades y normas de cumplimiento; y desde el punto de vista social, exige una amplia participación pública y una colaboración mundial. En última instancia, la gobernanza de la IA responde a una pregunta fundamental: ¿cómo encauzamos una fuerza que puede ser más inteligente y poderosa que nosotros, para que se convierta en una herramienta al servicio del bienestar humano y no en una amenaza fuera de control? No se trata sólo de una cuestión que deban considerar las grandes empresas y los gobiernos; su construcción tiene que ver con el futuro de todos y cada uno de nosotros.

Componentes elementales de la gobernanza de la IA

La gobernanza de la IA no es un concepto vacío, sino un sistema sólido formado por varios elementos básicos que se apoyan mutuamente y que trabajan juntos para garantizar que las actividades de la IA estén reguladas y organizadas.

• Directrices éticas en primer lugarLa ética es la piedra angular de la gobernanza. Un conjunto de principios éticos reconocidos a nivel mundial para la IA suelen incluir: equidad (evitar la discriminación algorítmica), transparencia e interpretabilidad (los procesos de toma de decisiones pueden entenderse), protección de la privacidad y gobernanza de datos (manejo adecuado de los datos del usuario), no malicia (seguro y protegido, sin causar daño), rendición de cuentas (alguien es responsable de los problemas), y supervisión y control humanos (la decisión final recae en el ser humano). Estos principios proporcionan una orientación valiosa para el desarrollo de tecnologías específicas y la elaboración de normativas.
• Marco jurídico y reglamentarioLas directrices éticas blandas necesitan leyes y normativas duras para aplicarse. Por ejemplo, la Ley de Inteligencia Artificial de la UE clasifica las aplicaciones de IA en función de su nivel de riesgo, prohíbe las aplicaciones de riesgo inaceptable (por ejemplo, el scoring social) e impone un acceso estricto y una regulación continua a las aplicaciones de alto riesgo (por ejemplo, la IA de diagnóstico médico). El marco jurídico aclara las responsabilidades legales de desarrolladores e implantadores y establece líneas rojas y líneas de fondo.
• Transparencia e interpretabilidadEsta es la clave para generar confianza. Un modelo de IA de "caja negra", aunque tome las decisiones correctas, no es de fiar. La gobernanza exige que la IA sea lo más transparente posible, para que la lógica de las decisiones pueda ser examinada y comprendida por los humanos. Cuando la IA rechaza una solicitud de préstamo o recomienda un tratamiento médico, debe ser capaz de ofrecer razones claras y comprensibles para hacerlo, en lugar de una "decisión algorítmica" que no pueda cuestionarse.
• Gestión de riesgos durante todo el ciclo de vidaGobernanza: la gobernanza exige la gestión de riesgos de los sistemas de IA en todas sus fases. Se realizan evaluaciones de impacto durante la fase de diseño para prever posibles riesgos sociales, éticos y jurídicos; se adoptan conceptos de diseño seguros durante la fase de desarrollo; se realizan pruebas y validaciones rigurosas antes y después de la implantación; y se lleva a cabo una supervisión continua durante la fase operativa para detectar y corregir a tiempo la degradación del rendimiento del modelo o la aparición de nuevos sesgos.
• Claridad de los mecanismos de rendición de cuentasEl objetivo: debe haber una cadena clara de responsabilidades cuando los sistemas de IA causan daños. ¿Quién es exactamente responsable? ¿Son los ingenieros que diseñan el algoritmo, la empresa que recopila los datos, los ejecutivos que deciden desplegarlo o los usuarios finales que lo utilizan? Los marcos de gobernanza deben definir estas responsabilidades de antemano para garantizar que las víctimas puedan obtener reparación y los infractores rindan cuentas, empujando así a todos los implicados a ser más prudentes.
• Herramientas técnicas y apoyo normativoLa gobernanza requiere herramientas tecnológicas específicas para lograrlo. Por ejemplo, el uso de herramientas de "IA explicable" (XAI) para interpretar modelos complejos; el uso de técnicas como el "aprendizaje federado" para proteger la privacidad de los datos mientras se entrena la IA; y el desarrollo de conjuntos de herramientas de evaluación de la imparcialidad para cuantificar y detectar el sesgo algorítmico. Al mismo tiempo, deben establecerse normas técnicas unificadas para garantizar la interoperabilidad entre distintos sistemas y la coherencia en las evaluaciones de seguridad.

Marco de aplicación multinivel para la gobernanza de la IA

Trasladar el concepto de gobernanza del papel a la realidad exige un esfuerzo concertado en un marco multinivel que va de lo interno a lo externo y de lo micro a lo macro.

• Macrogobernanza nacional y mundialLos gobiernos nacionales desempeñan el papel de "árbitro" mediante la legislación y la creación de organismos reguladores (por ejemplo, oficinas nacionales de IA), formulan estrategias nacionales de IA y participan en la elaboración de normas mundiales. Las organizaciones internacionales (por ejemplo, la ONU, la OCDE y el G20) se han comprometido a promover el establecimiento de directrices de gobernanza mundial de la IA y mecanismos de cooperación para evitar la "fragmentación de las normas" y la competencia despiadada, y para abordar conjuntamente los retos mundiales que plantea la IA.
• Mesogobierno a nivel industrial y sectorialLos distintos sectores combinan sus propias características para desarrollar directrices y mejores prácticas para las aplicaciones de la IA en sus propias industrias. Por ejemplo, la industria financiera se centra en la equidad de la IA en el cumplimiento de las normas crediticias y antifraude; la industria sanitaria se centra en la fiabilidad de las herramientas de diagnóstico de IA, la protección de la privacidad y la definición de la responsabilidad clínica; y la industria del automóvil trabaja conjuntamente para formular normas de pruebas de seguridad para la conducción autónoma. La autorregulación de la industria y las normas en primer lugar son una parte importante de una gobernanza eficaz.
• Microgobernanza a nivel organizativo y empresarialLas empresas son la unidad de implementación más importante de la gobernanza. Las empresas tecnológicas responsables crearán comités internos de ética de la IA, formularán principios corporativos de desarrollo de la IA, impartirán formación ética a los empleados y crearán puestos como el de jefe de ética de la IA. Las empresas deben integrar los requisitos de gobernanza en todos los procesos de gestión de productos, desde la recopilación de datos y la formación de modelos hasta el lanzamiento de productos y las iteraciones de actualización.
• Gobernanza integrada a nivel técnicoLos requisitos de gobernanza deben integrarse directamente en los sistemas de IA mediante "diseño", lo que se denomina "Gobernanza por diseño". Las restricciones de equidad, los cálculos de privacidad y las funciones de registro se incorporan al código a medida que se escribe, haciendo que el cumplimiento y la ética sean intrínsecos a la tecnología y no un parche de última hora.
• Seguimiento continuo y evaluación de auditoríasEl despliegue de sistemas de IA no es el final del camino. El marco de gobernanza requiere el establecimiento de un mecanismo independiente de auditoría por terceros para realizar "comprobaciones" periódicas de los sistemas de IA en servicio a fin de evaluar si siguen cumpliendo los requisitos de imparcialidad, seguridad y conformidad. Deben establecerse canales eficaces de retroalimentación y notificación para que los usuarios y el personal interno puedan informar de los problemas detectados, formando un bucle cerrado de supervisión.
• Mecanismos de respuesta y salida en caso de emergenciaIncluso la mejor gobernanza debe ser capaz de hacer frente a circunstancias imprevistas. Deben elaborarse con antelación planes de contingencia que permitan una intervención rápida, la mitigación o incluso el cierre del sistema de IA en caso de fallo grave o de uso indebido malintencionado del sistema, el llamado "kill switch". Aclarar las opciones de tratamiento de los datos tras un fallo del sistema o su desmantelamiento.

Retos reales de la gobernanza de la IA

Los marcos de gobernanza idealizados tropiezan con numerosos retos prácticos a nivel técnico, social y de cooperación internacional.

• El desarrollo tecnológico supera con creces la actualización de la gobernanzaLos ciclos de iteración de la tecnología de IA se miden en meses o incluso semanas, mientras que los procesos legislativos y normativos suelen durar años. Este "desequilibrio de velocidades" hace que la gobernanza a menudo vaya por detrás de las últimas aplicaciones tecnológicas y de las lagunas normativas.
• El consenso mundial se nos escapaEl informe de la Comisión Europea sobre la Inteligencia Artificial (IA), titulado "La Inteligencia Artificial en los países en vías de desarrollo: valores culturales, sistemas jurídicos y vías de desarrollo", presenta diferencias significativas entre los distintos países. Conceptos como privacidad, libertad y seguridad se ponderan de forma diferente, lo que dificulta enormemente la formulación de normas uniformes a escala mundial para la gobernanza de la IA. Las rivalidades geopolíticas exacerban aún más estas diferencias, y es probable que surja una situación "fragmentada" en la que coexistan múltiples conjuntos de normas.
• Complejidad de las determinaciones de responsabilidadEl proceso de toma de decisiones de un sistema de IA implica a múltiples sujetos en una larga y compleja cadena. Cuando un coche autoconducido impulsado por algoritmos de aprendizaje profundo se ve implicado en un accidente, es difícil definir claramente la responsabilidad: ¿es del proveedor de sensores, del ingeniero de algoritmos, del fabricante del coche, del propietario del coche o del impulsor de la actualización del software? El sistema jurídico vigente se ve desbordado a la hora de abordar esta complejidad.
• Dificultad técnica de la auditoría y el controlEn el caso de los modelos de IA generativa a gran escala más avanzados, el tamaño de sus parámetros se cuenta por billones y sus mecanismos de funcionamiento interno son tan complejos que ni siquiera los desarrolladores pueden comprender plenamente todos sus comportamientos. La auditoría y supervisión eficaces de esta "caja negra" dentro de una "caja negra" constituyen un enorme desafío técnico.
• Enormes lagunas de talento y conocimientosEl talento interdisciplinar con un profundo conocimiento de la tecnología de la IA, la ética, el derecho y las políticas públicas es extremadamente escaso. Los responsables políticos pueden no entender la tecnología, mientras que los técnicos pueden carecer de perspectivas éticas y jurídicas, y existen barreras para un diálogo eficaz entre ambas partes, lo que afecta a la calidad y la aplicabilidad de las políticas de gobernanza.

El profundo valor de la gobernanza de la IA para la sociedad

A pesar de los retos, la creación de un sistema sólido de gobernanza de la IA tiene un valor y una importancia insustituibles y de largo alcance para la sociedad en su conjunto.

• Generar confianza para la adopción de tecnologíaLa confianza es la base social sobre la que pueden aplicarse todas las tecnologías a gran escala. Demostrando al público a través de la gobernanza que la IA es segura, fiable y responsable, se pueden eliminar los temores y las dudas de la gente, acelerar la implantación de la tecnología de IA en ámbitos clave como la sanidad, la educación y el transporte, y liberar realmente su potencial para mejorar vidas.
• Prevenir los riesgos sistémicos y salvaguardar la seguridad socialEl uso indebido de la IA podría acarrear riesgos sin precedentes, como armas automatizadas fuera de control, ciberataques a gran escala y engaños sociales basados en la falsificación profunda. El sistema de gobernanza es como el Acuerdo de Basilea en el sector financiero, que impide que sucesos individuales desencadenen una reacción en cadena que podría llevar a una catástrofe mundial, poniendo barandillas de seguridad.
• Establecer unas condiciones equitativas y guiar el sano desarrollo del mercadoReglas claras: unas reglas claras establecen una línea de salida justa de la competencia para todos los participantes en el mercado. La gobernanza pone freno a los comportamientos que tratan de obtener una ventaja competitiva desleal mediante el uso indebido de datos, la invasión de la privacidad o el uso de algoritmos sesgados, y anima a las empresas a competir mediante una auténtica innovación tecnológica y un servicio de calidad, promoviendo un desarrollo sano y sostenible del mercado.
• Protección de los derechos humanos fundamentales y de la dignidadLa gobernanza de la IA: Una de las misiones fundamentales de la gobernanza de la IA es garantizar que los avances tecnológicos no erosionen los derechos fundamentales de los seres humanos. Proteger la dignidad humana en la era digital impidiendo los excesos de la vigilancia digital mediante normas estrictas de protección de datos, salvaguardando los derechos de los grupos socialmente desfavorecidos mediante requisitos de equidad y garantizando que el control último esté en manos humanas mediante la supervisión humana.
• Reunir la sabiduría mundial para afrontar retos comunesEl tema de la gobernanza de la IA ha impulsado a gobiernos, empresas, universidades y sociedad civil a sentarse juntos a debatir cómo abordar retos mundiales como el cambio climático, la salud pública, la pobreza, etc. La gobernanza de la IA puede ser un nuevo nexo para la cooperación mundial, que conduzca al uso de potentes tecnologías de IA para resolver los problemas más acuciantes de la humanidad.
• Responsabilidad para con las generaciones futuras hacia un desarrollo sostenibleLas decisiones de hoy en materia de gobernanza afectarán profundamente a la configuración de la sociedad en el futuro. Una gobernanza responsable significa que tengamos en cuenta no sólo los beneficios económicos a corto plazo de la IA, sino también sus repercusiones sociales, medioambientales y éticas a largo plazo, para garantizar que el desarrollo de la tecnología redunde en beneficio de las generaciones futuras y lograr un desarrollo verdaderamente sostenible.

Panorama mundial y comparación de la gobernanza de la inteligencia artificial

Los principales países y regiones del mundo están explorando diferentes vías de gobernanza de la IA basadas en sus propios conceptos y condiciones nacionales, formando un variopinto patrón global.

• El modelo regulador "basado en los derechos" de la Unión EuropeaLa UE ha tomado la iniciativa de establecer el marco regulador más estricto y completo del mundo para la IA. La idea central es clasificar las aplicaciones de IA en función del riesgo y aplicar una regulación "piramidal". El modelo de la UE hace gran hincapié en la protección de los derechos fundamentales y el principio de precaución, y pretende convertirse en el legislador digital mundial "de facto" estableciendo normas de cumplimiento extremadamente estrictas para las empresas tecnológicas a través de normativas sólidas como la Ley de Inteligencia Artificial y la Ley de Servicios Digitales.
• El modelo estadounidense de gobernanza flexible que da prioridad a la innovaciónEE.UU. prefiere confiar en la regulación subsectorial de las autoridades reguladoras existentes (por ejemplo, FTC, FDA), haciendo hincapié en la autorregulación de la industria y las soluciones tecnológicas. Su estrategia es más flexible y pretende evitar una regulación demasiado estricta que ahogue el dinamismo innovador de Silicon Valley. El gobierno estadounidense proporciona una orientación blanda mediante la publicación de órdenes ejecutivas y directrices de inversión, fomentando la identificación de problemas y soluciones en desarrollo, y el poder nacional está más volcado en la I+D de IA y la exploración de vanguardia de aplicaciones militares.
• El modelo de desarrollo integral y "seguro y controlable" de ChinaLa gobernanza china de la IA hace hincapié en la "seguridad y el control" y en "centrarse en las personas", fomentando el desarrollo tecnológico al tiempo que concede gran importancia a la seguridad nacional y la estabilidad social. China ha promulgado una serie de normativas, entre ellas las Medidas provisionales para la administración de los servicios de inteligencia artificial generativa, que exigen que los contenidos generados por IA estén en consonancia con los valores fundamentales socialistas y hacen hincapié en las principales responsabilidades de las empresas en materia de seguridad, privacidad y parcialidad. El modelo de gobernanza de China refleja colores más fuertes de planificación holística y dirigida por el Estado.
• Exploración y adaptación en otras regionesEl Reino Unido ha propuesto la idea de la "gobernanza contextualizada", que aboga por no crear un regulador especial y confiar en los departamentos existentes para ajustar con flexibilidad sus estrategias reguladoras en función de situaciones específicas. Singapur, Emiratos Árabes Unidos y otros pequeños países desarrollados se han comprometido a crear entornos de "caja de arena de la IA" para atraer a empresas y talentos mundiales de la IA con una regulación laxa y una infraestructura superior, y desempeñar el papel de "campo de pruebas".
• El papel de los coordinadores en las organizaciones internacionalesLa Organización para la Cooperación y el Desarrollo Económico (OCDE) ha propuesto unos principios de IA que han sido respaldados por un gran número de países. Las Naciones Unidas promueven la creación de un organismo mundial de gobernanza de la IA, similar al Organismo Internacional de Energía Atómica (OIEA). Estas organizaciones internacionales constituyen una plataforma poco frecuente para el diálogo entre países de distintos campos, y trabajan para crear un consenso mundial al más bajo nivel que evite los peores escenarios.
• Influencia transnacional y autorregulación de los gigantes tecnológicosLas grandes empresas tecnológicas, como Google, Microsoft, Meta, OpenAI y otras, disponen de recursos e influencia en materia de IA que van incluso más allá de muchos países. Los códigos éticos y las prácticas de gobernanza desarrolladas en el seno de estas empresas constituyen otro sistema global de gobernanza "privada". Existe tanto cooperación como tensión entre ellos y los sistemas de gobernanza "pública" de los Estados soberanos.

Imprescindible la participación pública en la gobernanza de la IA

Lejos de ser una mera reunión a puerta cerrada de funcionarios gubernamentales, ejecutivos de empresas y tecnólogos, la gobernanza de la IA no puede ser eficaz y legítima sin la participación activa del público en general.

• La educación pública es la piedra angular de la participaciónPromover la alfabetización en IA y educar al público sobre los fundamentos, capacidades, limitaciones y riesgos potenciales de la IA a través de diversos medios de comunicación, escuelas y conferencias públicas. Una comunidad pública con conocimientos básicos sobre la IA podrá participar en un debate y una supervisión significativos, en lugar de permanecer en el miedo a la ciencia ficción o en un optimismo ciego.
• Creación de canales diversificados para recabar opinionesEn la formulación de normativas relacionadas con la IA, los órganos legislativos y reguladores deben tomar la iniciativa de convocar audiencias y publicar borradores de exposición, e incorporar ampliamente las voces de distintos grupos sociales, como organizaciones de consumidores, grupos laborales, comunidades de minorías étnicas y organizaciones de protección de los derechos de los discapacitados, para garantizar que las políticas de gobernanza reflejen intereses y valores plurales.
• Fomentar la deliberación ciudadana y las conferencias de consensoOrganizar grupos deliberativos de ciudadanos de a pie seleccionados al azar para debatir en profundidad dilemas éticos específicos de la IA (por ejemplo, los límites del uso público del reconocimiento facial) y elaborar un informe de recomendaciones basado en información neutral facilitada por expertos. Este formato permite a los responsables de la toma de decisiones estar informados por una opinión pública bien meditada.
• La función de vigilancia de los medios de comunicación y el periodismo de investigaciónLos medios de comunicación son una ventana importante a los problemas de la IA para el público. La cobertura en profundidad por parte de periodistas de investigación de incidentes de sesgo algorítmico (por ejemplo, la revelación por parte de ProPublica de sesgo racial en el sistema COMPAS de evaluación de la reincidencia) puede transformar eficazmente cuestiones técnicas en cuestiones públicas, desencadenando una amplia atención y debate, y creando una fuerte presión para el escrutinio público.
• Apoyo a organizaciones independientes de investigación y auditoríaEl público puede apoyar y confiar en institutos de investigación, organizaciones de auditoría y laboratorios de ética independientes de gobiernos y empresas. Estas organizaciones pueden publicar informes de investigación objetivos, realizar evaluaciones independientes de los sistemas comerciales de IA, proporcionar al público información autorizada y creíble, y romper el monopolio informativo de las empresas tecnológicas.
• Derechos y opciones individuales para los usuariosEl marco de gobernanza debe garantizar los derechos de los usuarios individuales, como el derecho a ser informado (a saber que se está interactuando con una IA), el derecho a elegir (a poder seleccionar un servicio humano), el derecho a interpretación (a recibir una explicación de la toma de decisiones de la IA) y el derecho a negarse (a rechazar una decisión importante tomada únicamente por la IA). Estos derechos hacen que los ciudadanos no sean receptores pasivos, sino participantes activos que pueden ejercer sus derechos.

Herramientas tecnológicas clave para la gobernanza de la IA

Una gobernanza eficaz no es sólo palabrería, sino que debe apoyarse en una serie de potentes herramientas técnicas que traduzcan los principios de gobernanza en código y funcionalidad del sistema.

• Conjunto de herramientas de IA interpretable (XAI)La XAI es la clave para desentrañar la "caja negra" de la IA. Incluye una serie de técnicas, como LIME, SHAP, etc., que pueden explicar las predicciones de modelos complejos de forma comprensible para el ser humano (por ejemplo, destacando las características de entrada clave que influyen en las decisiones). Sin interpretabilidad, la transparencia, la responsabilidad y la auditoría justa son imposibles.
• Evaluación de la equidad y herramientas de mitigaciónHerramientas de código abierto como AIF360 de IBM y FairLearn de Microsoft proporcionan docenas de métricas de equidad probadas (por ejemplo, equidad de grupo, igualdad de oportunidades) y algoritmos para ayudar a los desarrolladores a detectar, evaluar y mitigar rápidamente el sesgo algorítmico antes y después de la formación del modelo, principios éticos de ingeniería.
• Tecnologías de protección de la intimidad (PET)Estas técnicas pueden garantizar técnicamente la privacidad de los datos realizando cálculos y análisis sin tocar los datos originales. Entre ellas figuran: el aprendizaje federado (en el que los datos de todas las partes no se localizan y sólo se intercambian los parámetros del modelo), la privacidad diferencial (en la que se añade ruido calibrado con precisión a los resultados de la consulta de datos) y el cifrado homomórfico (en el que se computan datos cifrados). Son el núcleo para lograr la "invisibilidad de uso" de los datos.
• Plataforma modelo de supervisión y O&MLa plataforma MLOps supervisa continuamente el rendimiento predictivo, la distribución de la calidad de los datos y las métricas de equidad de los modelos de IA después de su puesta en marcha, enviando alertas y activando la intervención humana o las iteraciones del modelo una vez que se detectan desviaciones anormales, para garantizar el cumplimiento continuo del sistema.
• Herramientas de detección de ataques adversarios y pruebas de robustezEstas herramientas simulan a atacantes malintencionados alimentando el modelo de IA con "muestras adversas" cuidadosamente construidas (por ejemplo, una imagen perturbada que es indistinguible para el ojo humano) para probar su robustez y seguridad frente a las perturbaciones. Al identificar las vulnerabilidades de antemano, los modelos pueden reforzarse para evitar que sean suplantados o explotados maliciosamente.
• Blockchain para la trazabilidad de las auditoríasLa naturaleza a prueba de manipulaciones de la tecnología blockchain puede utilizarse para registrar registros de decisiones clave, hashes de datos de formación e historiales de cambios de versión para modelos de IA. Esto crea una pista de auditoría creíble, proporcionando un registro férreo de los datos cuando se requiere volver atrás para investigar los errores en la toma de decisiones de IA, lo que simplifica enormemente el proceso de rendición de cuentas.