Qué es la equidad de la Inteligencia Artificial (AI Fairness), en un artículo

Equidad de la inteligencia artificial: definición y principales connotaciones

La equidad en la IA es el campo interdisciplinar que consiste en garantizar que los sistemas de IA traten a todas las personas y grupos de personas de forma justa e imparcial a lo largo de su ciclo de vida de diseño, desarrollo, despliegue y funcionamiento. El objetivo principal es evitar que los sistemas de IA generen decisiones y resultados discriminatorios o sesgados para grupos específicos de personas en función de características sensibles como la raza, el sexo, la edad, las creencias religiosas y el estatus socioeconómico. No es sólo un indicador técnico, sino también un compromiso social y un requisito ético.

Imaginemos una herramienta de inteligencia artificial para la selección de currículos cuyos datos de formación se deriven principalmente de los registros históricos de contratación de un sexo, es probable que aprenda inadvertidamente a devaluar los currículos de los solicitantes de empleo del otro sexo, lo que daría lugar a resultados de contratación injustos. La equidad de la IA consiste en identificar, cuantificar y eliminar estos problemas.

La equidad en la IA requiere que vayamos más allá del código y los algoritmos y que analicemos en profundidad los sesgos históricos que pueden estar incrustados en los propios datos y cómo los modelos algorítmicos pueden amplificar estos sesgos. La equidad de la IA busca establecer una visión tecnológica de los sistemas de IA que sirvan a la diversidad de la sociedad y promuevan la igualdad de oportunidades, en lugar de afianzar o exacerbar las desigualdades sociales existentes. Comprender la equidad de la IA es un primer paso fundamental para entender cómo crear y utilizar de forma responsable las tecnologías del futuro.

Equidad de la inteligencia artificial: conceptos básicos y comprensión multidimensional

La imparcialidad de la IA es muy rica y puede entenderse en términos de varias dimensiones interrelacionadas y ligeramente diferenciadas que juntas forman un marco tridimensional para evaluar la imparcialidad de los sistemas de IA.

• Equidad de grupo:es el concepto más intuitivo de equidad. La equidad de grupo requiere que el sistema de IA trate por igual a los distintos grupos protegidos (por ejemplo, hombres frente a mujeres, distintos grupos raciales). Estadísticamente, esto se refleja en una distribución equilibrada de las métricas clave entre los grupos, como garantizar que las tasas de aprobación de préstamos, la precisión del reconocimiento facial o las tasas de error en la predicción del riesgo de delincuencia sigan siendo aproximadamente las mismas entre los grupos.
• Equidad individual:Se hace hincapié en que los individuos similares deben recibir un trato similar a los ojos de la IA. La equidad individual se refiere a la justicia a nivel micro. Por ejemplo, dos solicitantes de empleo con cualificaciones, experiencia y antecedentes casi idénticos deben ser valorados de forma similar en un sistema de contratación de IA, independientemente de su sexo o raza. La equidad individual requiere que los algoritmos aprendan a ignorar las características sensibles que no son relevantes.
• Anticlasificación (Anti-Classification):es una norma más estricta que exige que los modelos de IA se abstengan por completo de utilizar características sensibles (por ejemplo, raza, sexo) en el proceso de toma de decisiones. La idea es cortar de raíz la posibilidad de discriminación y garantizar que las decisiones sean completamente ajenas a estas características.
• Igualdad de oportunidades:Es un concepto más refinado y práctico de equidad. La igualdad de oportunidades no exige resultados idénticos, sino "oportunidades" iguales. En la contratación, por ejemplo, se requiere que de todos los candidatos realmente cualificados, la proporción de los seleccionados con éxito por la IA sea igual en los distintos grupos. Esto significa que la capacidad del modelo para identificar a los "verdaderos talentos" sea igual de precisa en los distintos grupos.
• Equidad contrafáctica:es un concepto más vanguardista, la discriminación anticausal se basa en el razonamiento causal para pensar en la equidad. La pregunta es: si cambia una característica sensible (por ejemplo, el sexo) de un individuo, pero todo lo demás permanece igual, ¿cambia la decisión de la IA? Si la decisión cambia con ella, entonces existe una discriminación causal basada en esa característica. Esta forma de pensar ayuda a revelar más sesgos ocultos.
• Equidad procesal:Centrarse en la equidad del proceso de toma de decisiones, no sólo en el resultado. La equidad del procedimiento exige que el proceso de toma de decisiones de un sistema de IA sea transparente, explicable y susceptible de impugnación y apelación. Aunque los resultados parezcan estadísticamente justos, es difícil confiar en la imparcialidad del proceso si se trata de una "caja negra" ininteligible.

Equidad de la inteligencia artificial: urgente importancia social

La promoción y realización de la equidad en la IA no es en absoluto un ejercicio de papel de técnico, sino que tiene una trascendencia social urgente y de gran alcance en relación con la confianza y la justicia, que son las raíces del desarrollo tecnológico.

• Impedir la automatización y amplificación del sesgo histórico:Existen desigualdades históricas en muchos ámbitos de la sociedad, y estas desigualdades se registran en forma de datos. Si la IA aprende de estos datos de forma acrítica, heredará y amplificará automáticamente los sesgos, permitiendo que la discriminación se repita de forma más eficiente e insidiosa, creando un círculo vicioso de "basura dentro, basura fuera".
• Defender los derechos humanos fundamentales y la justicia social:El trato justo es un derecho fundamental de todo ser humano. El uso de sistemas de IA sesgados en ámbitos como la sanidad, la justicia, el crédito, el empleo y otras decisiones vitales importantes puede perjudicar directamente los intereses vitales de grupos específicos, privarles de las oportunidades que merecen y exacerbar las divisiones y los antagonismos sociales.
• Crear confianza pública en la IA:La confianza es la piedra angular para que la tecnología sea ampliamente aceptada por la sociedad. Si los sistemas de IA se revelan repetidamente como discriminatorios, el público se volverá temeroso y resistente a ellos, lo que en última instancia obstaculizará la innovación y la aplicación en el campo en su conjunto. La imparcialidad es necesaria para ganarse la confianza del público.
• Aumentar los beneficios empresariales y el valor de la marca:Un sistema de IA justo ayuda a las organizaciones a tomar decisiones mejores y más completas, a aprovechar una reserva de talento y una base de clientes más amplia, y a evitar daños a la imagen de marca por escándalos discriminatorios. Practicar una ética justa es una estrategia empresarial sostenible a largo plazo.
• Promover la Tecnología para el Bien (TFG):La inteligencia artificial ha sido aclamada como motor central de la cuarta revolución industrial. Garantizar su equidad asegura que los resultados de esta revolución sean inclusivos y puedan utilizarse realmente para salvar las diferencias sociales y mejorar el bienestar humano, en lugar de crear nuevas clases privilegiadas y grupos oprimidos.

La imparcialidad de la inteligencia artificial: un serio reto en la realidad

Llevar a la práctica el ideal de equidad plantea una serie de retos complejos y entrelazados, muchos de los cuales tienen su origen en las zonas grises de la intersección entre tecnología y sociedad.

• Pluralidad y conflicto en la definición de equidad:No existe una única definición matemática "correcta" de equidad. Como ya se ha dicho, criterios como la equidad de grupo frente a la equidad individual, y la anticlasificación frente a la igualdad de oportunidades, a menudo entran en conflicto entre sí. Satisfacer un criterio puede necesariamente violar otro, lo que obliga a los desarrolladores a hacer difíciles equilibrios de valores basados en escenarios específicos.
• Trampas históricas de sesgo en los datos:Los datos son el alimento de la IA, pero los datos históricos a menudo reflejan injusticias históricas. Por ejemplo, en el pasado, la industria tecnológica ha estado dominada por los hombres, por lo que los datos de los currículos contienen muchos más hombres que mujeres. Si se entrena un modelo con estos datos, asumirá que los hombres tienen más probabilidades de ser "buenos programadores" y puntuará los CV de las mujeres de forma menos favorable. Limpiar y corregir el sesgo de los datos es un reto enorme.
• El efecto de amplificación del propio algoritmo:Aunque el sesgo de los datos no sea evidente, los modelos algorítmicos complejos pueden detectar y amplificar ciertos patrones espurios asociados a características sensibles (Proxy Features) en el proceso de aprendizaje y generalización, lo que puede producir resultados discriminatorios inesperados.
• Compromiso entre equidad y rendimiento (Trade-off):En muchos casos, imponer restricciones a un modelo para que cumpla determinados criterios de equidad puede reducir en cierta medida su precisión predictiva global. Por ejemplo, puede que haya que relajar los criterios para aumentar la tasa de aprobación de préstamos a minorías, aumentando así el riesgo general de impago de préstamos. El equilibrio entre "equidad" y "eficiencia" es un dilema clásico en la toma de decisiones.
• Interseccionalidad (interseccionalidad) de múltiples atributos sensibles:En realidad, una persona puede pertenecer a múltiples grupos desfavorecidos al mismo tiempo (por ejemplo, una mujer afroamericana con bajos ingresos). Los prejuicios tienen un efecto compuesto en la "intersección" de estas identidades, que se vuelve más complejo y difícil de medir. Las medidas de equidad optimizadas para un solo grupo pueden no abordar la discriminación interseccional.
• Déficits interpretativos y de rendición de cuentas:Muchos modelos de IA de última generación (por ejemplo, las redes neuronales profundas) son complejas "cajas negras" cuya lógica interna de decisión es difícil de interpretar. Cuando se producen resultados injustos, es difícil rastrear la causa raíz del problema hasta los datos, el algoritmo o algún punto del despliegue del modelo, lo que dificulta enormemente la rendición de cuentas y las correcciones.

Inteligencia Artificial Equidad: métodos de aplicación y prácticas técnicas

A pesar de la magnitud del reto, investigadores e ingenieros han desarrollado una serie de medios técnicos para inyectar consideraciones de equidad en todo el proceso de aprendizaje automático (Pipeline).

• Método de pretratamiento (preprocesamiento):Procesar los datos antes de introducirlos en el modelo. Esto incluye: identificar y corregir el sesgo en los datos de entrenamiento; volver a muestrear los datos de poblaciones infrarrepresentadas; o despojar los datos de asociaciones con características sensibles conservando el resto de información útil posible mediante técnicas de transformación de datos.
• En trámite:Se trata de la integración directa de las restricciones de equidad en el propio algoritmo de entrenamiento del modelo. Al diseñar la función objetivo, los desarrolladores no sólo exigen una predicción precisa, sino que también incluyen la equidad como uno de los objetivos de optimización, de modo que el modelo pueda "aprender" activamente la equidad en el proceso de aprendizaje.
• Método de postprocesado (Post-processing):Una vez entrenado el modelo, se ajusta su resultado. Por ejemplo, se establecen diferentes umbrales de decisión (Umbral) para diferentes grupos. En un escenario de préstamos, el umbral de aprobación puede reducirse adecuadamente para los grupos históricamente desfavorecidos con el fin de lograr la igualdad de oportunidades. La ventaja de este enfoque es que no es necesario volver a entrenar el modelo.
• Auditorías periódicas y seguimiento continuo:La equidad no es una cuestión de un solo paso. Una vez que un modelo está en funcionamiento, debe contar con un sistema de seguimiento continuo, con auditorías periódicas de sus resultados utilizando los datos reales más recientes, para garantizar que su rendimiento no se ha degradado o ha desarrollado nuevos sesgos con el tiempo.
• Utilizar el conjunto de herramientas y el marco de equidad:En el sector han surgido varios conjuntos de herramientas de código abierto para ayudar a lograr la equidad, como AIF360 de IBM, FairLearn de Microsoft y What-If Tool de Google. Estas herramientas proporcionan métricas unificadas y algoritmos de mitigación que reducen significativamente las barreras a la práctica.
• Promover el trabajo en equipos diversos:Las soluciones técnicas no pueden separarse del elemento humano. Reunir equipos de desarrollo más diversos en cuanto a género, etnia, cultura y formación profesional puede ayudar a detectar posibles puntos ciegos de parcialidad al principio del proceso de diseño y prevenir los problemas de equidad en su origen.

Inteligencia artificial equitativa: una amplia gama de escenarios de aplicación y ejemplos

La cuestión de la equidad de la IA dista mucho de ser una quimera teórica; ha aparecido literalmente en todos los rincones de nuestras vidas, y todos los casos advierten de su importancia.

• Contratación y gestión de recursos humanos:Amazon desarrolló una herramienta interna de selección de currículos mediante IA que aprendió a penalizar a los candidatos cuyos currículos incluían la palabra "mujer" (por ejemplo, "capitana del club de ajedrez femenino") porque los datos de entrenamiento procedían en su mayoría de currículos masculinos, lo que provocó una discriminación sistémica contra Esto condujo a una discriminación sistemática de las candidatas a un puesto de trabajo. La empresa acabó abandonando el programa.
• Justicia penal y evaluación de riesgos:Los sistemas de evaluación del riesgo de reincidencia, como COMPAS, utilizados por algunos tribunales de Estados Unidos, han resultado ser, según investigaciones de medios de comunicación como ProPublica, sistemáticamente sobreestimadores del riesgo de reincidencia de los acusados negros, mientras que tienden a subestimar el riesgo de los acusados blancos, lo que ha desencadenado un importante debate mundial sobre la justicia algorítmica.
• Servicios financieros y aprobación de créditos:Los modelos de crédito de IA que se entrenan principalmente con datos históricos de préstamos, y que históricamente han "discriminado" determinadas zonas de códigos postales (a menudo barrios minoritarios) para que las entidades financieras no les denieguen el servicio, aprenderán a asociar esos códigos postales con "alto riesgo" y denegarán las solicitudes de préstamo a los residentes de esas zonas, creando así la "discriminación racial" en la era digital. El modelo aprenderá entonces a asociar esos códigos postales con "alto riesgo" y rechazará las solicitudes de préstamo de los residentes de esas zonas, creando así el "redlining" en la era digital.
• Ayudas sanitarias y de diagnóstico:Si los datos de imágenes utilizados para entrenar la IA de diagnóstico del cáncer de piel son abrumadoramente de poblaciones de piel clara, la precisión diagnóstica del modelo para pacientes de piel más oscura se reduce significativamente, lo que puede conducir a diagnósticos erróneos o retrasos en el tratamiento, dando lugar a graves desigualdades sanitarias.
• Reconocimiento facial y tecnología de vigilancia:Estudios académicos y el proyecto Gender Shades del MIT han demostrado que muchos sistemas de reconocimiento facial disponibles en el mercado tienen un porcentaje de error significativamente mayor a la hora de identificar a mujeres de piel oscura que a hombres de piel clara. El uso indebido de esta tecnología por parte de las fuerzas de seguridad podría dar lugar a identificaciones erróneas y acarrear graves consecuencias.
• Recomendación de contenidos y captación de información:Aunque las redes sociales y los algoritmos de inserción de noticias no toman directamente "decisiones", su mecanismo de recomendación basado en la participación de los usuarios puede dar prioridad a contenidos sesgados, falsos pero llamativos, creando así un capullo de información que refuerza el sesgo de grupos con posiciones políticas y antecedentes culturales diferentes, y afectando a la formación del consenso social. La formación del consenso social se ve afectada.

La equidad de la inteligencia artificial: una dimensión ética y social indispensable

La equidad de la IA es esencialmente una cuestión de sistema sociotécnico, con opciones éticas en su núcleo que afectan profundamente al tejido social.

• Diseño sensible al valor (DVE):Exigir a los diseñadores de tecnología que hagan de los valores humanos (por ejemplo, justicia, privacidad, autonomía) una consideración central del diseño en la fase conceptual más temprana, en lugar de una idea tardía. La tecnología no es neutra en cuanto a valores, sino que está integrada en las elecciones y preferencias del diseñador desde su concepción.
• Responsabilidad algorítmica (AA):Debe haber una cadena clara de responsabilidad cuando los sistemas de IA toman decisiones injustas. Debe quedar claro quién es el responsable: ¿el desarrollador, el implantador, la empresa o el regulador? Establecer responsabilidades es un mecanismo clave para obligar a las partes implicadas a centrarse en la equidad.
• Brecha digital y capacitación:La desigualdad no sólo se encuentra en los algoritmos, sino también en el acceso y el uso de la tecnología. Garantizar que todos los grupos, independientemente de su origen socioeconómico, tengan acceso a las tecnologías de IA, las comprendan y se beneficien de ellas es un tema de equidad a un nivel más macro.
• Participación pública y deliberación democrática:El debate sobre "lo que es justo" no debe limitarse a ingenieros y empresas, sino que debe incluir la participación de filósofos, sociólogos, juristas y miembros del público de las comunidades que puedan verse afectadas. Se trata de una cuestión pública que requiere la deliberación democrática de toda la sociedad.
• Tecnología para una buena ética empresarial:En lugar de limitarse a "no hacer el mal", las empresas deberían practicar activamente la ética positiva de "Tech for Good". Anteponer los principios éticos, como la equidad, a los beneficios a corto plazo es la manera de que las empresas tecnológicas se ganen la confianza y la licencia social a largo plazo.
• Perspectivas globales y culturales:La definición de justicia es culturalmente relativa. Lo que se considera justo en una cultura puede no ser aceptado en otra. Los sistemas de IA que desarrollan aplicaciones globales deben tener en cuenta esta diversidad y evitar el tecno-colonialismo.

Equidad en la inteligencia artificial: un marco jurídico y político progresista

Los legisladores y reguladores de todo el mundo se están moviendo rápidamente para intentar trazar líneas rojas y construir un marco de gobernanza para el desarrollo justo de la IA.

• La Ley de Inteligencia Artificial de la UE (AI Act):Esta legislación pionera adopta un enfoque de la regulación basado en el riesgo, clasificando los sistemas de IA en diferentes niveles de riesgo. Prohíbe el uso de sistemas de IA que supongan un "riesgo inaceptable" para la seguridad, los medios de subsistencia y los derechos humanos (por ejemplo, la puntuación social), e impone obligaciones estrictas a los sistemas de IA de "alto riesgo" (para la contratación, las infraestructuras críticas, etc.), que incluyen la gobernanza de los datos, la transparencia supervisión humana y rigurosas evaluaciones de cumplimiento, incluidos requisitos de imparcialidad.
• Acción legislativa y ejecutiva en Estados Unidos:En la actualidad, Estados Unidos no cuenta con una ley federal exhaustiva sobre IA, pero promueve la equidad de la IA a través de reglamentos departamentales (por ejemplo, la aplicación de la FTC de la Comisión Federal de Comercio), legislación estatal (por ejemplo, la Ley de Entrevistas por Vídeo con Inteligencia Artificial de Illinois) y órdenes ejecutivas presidenciales (Orden Ejecutiva sobre el Desarrollo y Uso Seguro y Confiable de la Inteligencia Artificial), haciendo hincapié en la protección de los derechos de los ciudadanos a no sufrir discriminación algorítmica.
• Gobernanza algorítmica y regulación en China:El Reglamento sobre la Administración de Recomendaciones Algorítmicas para los Servicios de Información de Internet y las Medidas Provisionales para la Administración de Servicios de Inteligencia Artificial Generativa emitidos por la Oficina Estatal de Información de Internet de China y otros departamentos exigen explícitamente que los proveedores de servicios de recomendación algorítmica se adhieran a los principios de imparcialidad, equidad y apertura y transparencia, prohíban la discriminación de precios y otros tratos irrazonables basados en las características de los usuarios, y establezcan y mejoren los mecanismos utilizados para identificar y corregir los sesgos y la discriminación.
• Evaluación de impacto obligatoria:Al igual que las evaluaciones de impacto ambiental, muchas tendencias normativas exigen evaluaciones de impacto sobre los derechos fundamentales o evaluaciones de impacto algorítmico para los sistemas de IA de alto riesgo, obligando a las empresas a evaluar sistemáticamente el impacto potencial de sus sistemas de IA sobre la equidad, la privacidad y otros derechos, y a poner los resultados a disposición del público.
• "Puertos seguros" y mecanismos "sandbox":Algunos marcos políticos equilibran la innovación y la regulación mediante disposiciones de "puerto seguro" para las empresas que adoptan de forma proactiva las mejores prácticas de cumplimiento y llevan a cabo de forma proactiva autodiagnósticos y evaluaciones, o permitiéndoles probar productos innovadores en un "sandbox" regulador.

Inteligencia artificial equitativa: futuras orientaciones y tendencias de la investigación

El campo de la justicia de la IA sigue evolucionando a gran velocidad, y los investigadores exploran soluciones más profundas y eficaces para los retos del futuro.

• Se puede explicar la profundización de la Inteligencia Artificial (XAI):Promover modelos que dejen de ser "cajas negras" y ofrezcan una justificación clara y comprensible de las decisiones. Cuando las decisiones son explicables, es más fácil para los auditores y las empresas identificar y corregir las vías específicas que conducen a la injusticia.
• Exploraciones fronterizas de la equidad causal:El marco de equidad basado en la inferencia causal (IC) es un punto caliente de la investigación actual. Trata de ir más allá de la correlación estadística para comprender la relación causal entre las características sensibles y los resultados de las decisiones, con el fin de desarrollar una estrategia de desprejuicio más científica y fundamental.
• Auditoría de equidad de grandes modelos lingüísticos (LLM):Con la popularidad de las IA generativas como ChatGPT, se ha convertido en todo un nuevo reto auditar el sesgo social en estos behemoths. Estudiar cómo detectar y mitigar los estereotipos de género, los prejuicios culturales y el contenido nocivo que los LLM pueden producir en sus resultados es extremadamente urgente.
• Dinámica y equidad a largo plazo:Las decisiones tomadas por los sistemas de IA cambian el estado futuro del usuario, lo que a su vez afecta a los datos de las decisiones posteriores. Investigar el impacto de los sistemas de IA en la equidad en interacciones a largo plazo y de varias rondas y cómo evitar el "efecto Matthew" es una dirección futura compleja.
• Equidad en el aprendizaje federal:En escenarios de aprendizaje federado en los que los datos no son locales y el entrenamiento conjunto se realiza mediante el intercambio de parámetros del modelo, garantizar la equidad del modelo global final protegiendo al mismo tiempo la privacidad de cada fuente de datos constituye un problema técnico desafiante.
• Normalización y cooperación transversal:Promover la normalización de los indicadores, procesos y herramientas de evaluación de la imparcialidad de la IA para que puedan hacerse comparaciones entre distintos sistemas e industrias. Al mismo tiempo, reforzar la colaboración entre los campos de la informática, la jurisprudencia, la ética y la sociología para superar conjuntamente este importante reto.