Entrevista con Francesca Rossi, líder global de ética de la IA en IBM Research

Francesca Rossi: ética, gobernanza y el futuro de la inteligencia artificial.

INTRODUCCIÓN

La inteligencia artificial se ha convertido en una de las grandes fuerzas transformadoras de nuestro tiempo. En este contexto, pocas voces han alcanzado tanta relevancia internacional como la de Francesca Rossi, una autoridad indiscutible en ética y gobernanza de la IA. Rossi es IBM Fellow —el máximo reconocimiento técnico dentro de la compañía— y Líder Global de Ética de la IA en IBM, donde dirige la estrategia global para el desarrollo responsable de sistemas inteligentes.

Doctora en Ciencias de la Computación, desarrolló una extensa trayectoria académica como profesora en la Universidad de Padua, donde investigó durante más de dos décadas sobre razonamiento automatizado, preferencias, toma de decisiones y alineación ética. Su producción científica supera las 200 publicaciones y ha liderado proyectos de investigación internacionales en colaboración con instituciones de todo el mundo.

Más allá de su trayectoria académica, Rossi ha desempeñado un papel fundamental en la gobernanza global de la IA. Fue presidenta de la Asociación para el Avance de la Inteligencia Artificial (AAAI) y miembro del Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial de la Comisión Europea, contribuyendo a la definición de principios de IA confiables que hoy influyen en las políticas públicas de numerosos países. Participa activamente en foros internacionales como la OCDE, la UNESCO, el G7 y las Naciones Unidas.

Su trabajo se sitúa en la intersección de la tecnología, la filosofía moral y las políticas públicas, lo que la convierte en una de las figuras más influyentes en el debate sobre cómo deben diseñarse, regularse y gobernarse los sistemas de IA.

Preguntas contextualizadas en clave OSICO

Hablar de Francesca Rossi es hablar también de IBM, una de las empresas que más ha marcado la historia de la tecnología moderna. Fundada en 1911, IBM ha sido un actor clave en hitos que van desde los primeros sistemas informáticos empresariales hasta la computación cuántica y la inteligencia artificial contemporánea.

A lo largo de su historia, IBM ha sido sinónimo de innovación industrial y científica:

– impulsó la era de los mainframes, que transformó tanto la administración pública como la empresa privada;

– desarrolló tecnologías pioneras como Watson, que marcó un punto de inflexión en el procesamiento del lenguaje natural;

– lidera la computación cuántica, con la primera hoja de ruta pública y accesible para la comunidad científica;

– y fue una de las primeras grandes empresas en articular un marco de IA fiable, con herramientas de auditoría, explicabilidad y gobernanza que ahora utilizan instituciones de todo el mundo.

El liderazgo de Francesca Rossi en ética de la IA refuerza ese compromiso histórico: IBM no solo crea tecnología, sino que trabaja para garantizar que sea segura, transparente y esté alineada con los valores democráticos.

Permítanme añadir una nota personal que se relaciona directamente con esta historia. Durante muchos años trabajé como director y agente de desarrollo en La Pobla de Vallbona, que fue la sede de IBM en España durante una época en la que la compañía era, sin duda, la referencia tecnológica líder a nivel mundial. Dichas instalaciones formaban parte de un ecosistema industrial que contribuyó decisivamente a la modernización tecnológica del país.

Durante una de sus visitas a La Pobla, el embajador José Luis Pardos —embajador especial de España para las nuevas tecnologías— relató un hito histórico: el primer uso del correo electrónico en una embajada española, que tuvo lugar en 1988 en Canberra, durante su mandato como embajador en Australia. Según su testimonio, IBM desempeñó un papel fundamental en el contexto tecnológico que hizo posible este logro, reflejando la importancia que la compañía tenía entonces dentro de la infraestructura informática global. Si bien esta conexión no aparece en fuentes documentadas públicamente, su relato subraya el papel central que IBM desempeñó en la transformación digital de aquella época.

Con el tiempo, la planta de La Pobla evolucionó: de IBM pasó a Global Manufacturing Services (MSL) y posteriormente a Celestica, con quien también colaboré en proyectos europeos. Esa continuidad industrial y tecnológica forma parte de la identidad de nuestro territorio y de mi propia trayectoria profesional.

Por ello, esta conversación con Francesca Rossi tiene un significado especial para mí: es un reencuentro con una historia tecnológica que conozco de cerca y que sigue teniendo un impacto en nuestra comunidad.

1. La brecha entre el marco teórico y la práctica

Durante la última década, organismos como la OCDE, la UNESCO y el G7 han elaborado un número considerable de principios, recomendaciones y marcos éticos para la IA. Al mismo tiempo, los sistemas se están implementando a una velocidad que ningún marco regulatorio ha logrado seguir. La distancia entre lo que se declara y lo que realmente sucede en la práctica sigue siendo enorme.

¿Dónde estamos fallando: en el diseño de los principios, en su aplicación práctica a la ingeniería o en la voluntad política para hacerlos obligatorios?

De hecho, varias organizaciones han articulado un conjunto de principios bastante coherentes para una IA confiable, que incluyen equidad, transparencia, privacidad, rendición de cuentas y supervisión humana. Por lo tanto, el problema no radica en la falta de claridad conceptual: estos marcos han sido eficaces para establecer un vocabulario común y definir expectativas normativas tanto a nivel local como global. Sin embargo, siguen siendo intencionadamente generales y no vinculantes, lo que limita su aplicabilidad directa. Funcionan más como indicadores éticos que como herramientas operativas y, por lo tanto, no pueden por sí solos influir en las decisiones diarias de liderazgo o ingeniería.

La brecha más significativa reside en la traducción de estos principios a prácticas técnicas y organizativas concretas. Todavía no existe un conjunto de estándares ampliamente aceptado que incorpore sistemáticamente los requisitos éticos en el ciclo de vida de la IA. Como resultado, los equipos tienden a priorizar el rendimiento, la eficiencia y la rapidez de comercialización, mientras que las consideraciones éticas se tratan como restricciones secundarias o externas. Sin métricas claras, metodologías estandarizadas e integración en los flujos de trabajo de ingeniería, los principios siguen siendo difíciles de implementar e integrar de forma consistente a gran escala.

La voluntad política y su aplicación son cruciales. En muchas jurisdicciones, los compromisos con una IA responsable son en gran medida voluntarios, e incluso donde existen marcos regulatorios, como en Europa, su implementación suele ser muy lenta en comparación con el ritmo de desarrollo tecnológico. Por lo tanto, a nivel global, el cumplimiento rara vez es obligatorio o se aplica de manera uniforme. De ahí la importancia de una gobernanza corporativa eficaz, aunque esta quede a la voluntad de cada empresa. Confío en que las empresas de todos los sectores y tamaños pronto comprenderán que una gobernanza eficaz de la IA es necesaria para abordar los riesgos y generar valor y ventaja competitiva en el mercado, incluso en ausencia de obligaciones vinculantes.

2 . El problema de la asimetría en la velocidad.

Los ciclos de gobernanza institucional se desarrollan en escalas de tiempo de años; los ciclos de implementación de la IA, en escalas de tiempo de semanas. Esta asimetría no es un detalle técnico: es una fractura estructural entre el ritmo de la tecnología y el ritmo de las instituciones que deberían regularla.

¿Podrá la gobernanza internacional seguir siendo relevante bajo este régimen de velocidad, o necesitamos inventar nuevas formas de regulación que funcionen prácticamente en tiempo real?

La asimetría entre los plazos institucionales y tecnológicos no es solo un desafío de gobernanza; modifica fundamentalmente las condiciones bajo las cuales la regulación puede seguir siendo efectiva. La gobernanza internacional tradicional, como la que se configura a través de foros como la OCDE o el G7, se basa en la deliberación, la búsqueda de consenso y la implementación gradual. Estos procesos son inherentemente lentos, y con razón: están diseñados para garantizar la legitimidad, la estabilidad y una amplia aceptación social. Sin embargo, cuando los sistemas de IA pueden iterarse, implementarse y escalarse en cuestión de semanas, este modelo tiene dificultades para intervenir en el momento más crucial, es decir, antes o durante la implementación, en lugar de después.

Dicho esto, abandonar la gobernanza internacional no es ni realista ni deseable. Sigue desempeñando un papel crucial en el establecimiento de normas compartidas, la coordinación de enfoques transfronterizos y la prevención de la fragmentación regulatoria. Su función podría tener que evolucionar, pasando de intentar regular directamente sistemas de rápido desarrollo a definir marcos adaptables, estándares comunes y obligaciones básicas que puedan implementarse en otros niveles. En este sentido, la gobernanza internacional se convierte en una capa estabilizadora en lugar de reactiva.

Al mismo tiempo, la falta de sincronización en la velocidad pone de manifiesto la necesidad de formas complementarias de gobernanza y regulación que operen más cerca del tiempo real. Esto podría incluir mecanismos como la monitorización continua, procesos de cumplimiento dinámicos y sistemas de auditoría integrados que evolucionen junto con la tecnología. En lugar de sustituir a las instituciones existentes, estos enfoques extenderían su alcance al ciclo de vida operativo de los sistemas de IA. Por lo tanto, el futuro de la gobernanza de la IA debe ser híbrido: una coordinación internacional más lenta y basada en principios, combinada con instrumentos regulatorios más rápidos y adaptables, integrados directamente en los procesos técnicos y organizativos.

3. El límite real, no el declarado.

IBM ha optado por posicionar la ética de la IA como un diferenciador estratégico, y usted ha sido una de las voces más visibles de ese compromiso. Pero entre el posicionamiento público y las decisiones internas siempre existe una brecha que rara vez se hace evidente.

¿Existe algún sistema de IA que IBM haya decidido no desarrollar o no vender por razones estrictamente éticas, a pesar de que existía demanda comercial? ¿Dónde reside ese límite real?

Los compromisos públicos con la ética de la IA plantean inevitablemente la cuestión de si los principios se traducen en acciones concretas y limitaciones en el despliegue y uso de la IA. En el caso de IBM, a través de nuestro proceso interno de evaluación de riesgos de casos de uso, el Consejo de Tecnología Responsable ha identificado e impuesto en varias ocasiones salvaguardias en torno a algunos usos de la IA, por ejemplo, para el reconocimiento facial, la vigilancia masiva y el uso de la IA en la gestión de recursos humanos. En 2020, anunció que dejaría de ofrecer tecnología de reconocimiento facial de uso general, citando preocupaciones sobre sesgos, libertades civiles y el potencial de uso indebido. Esta decisión se presenta a menudo como un ejemplo de cómo alinear las decisiones empresariales con consideraciones éticas, especialmente dada la clara demanda del mercado por parte de clientes tanto del sector público como del privado.

El Consejo también ha evolucionado su comprensión de los riesgos de la IA y cómo mitigarlos, a medida que la tecnología ha evolucionado, como en el caso de los modelos básicos, la IA con agentes y los datos sintéticos. Esto nos permitió integrar rápidamente la mitigación de riesgos y las salvaguardias también en los casos de uso de IA que emplean estas tecnologías más recientes.

4. La IA generativa como ruptura del paradigma ético anterior.

Los marcos éticos desarrollados durante la década de 2010 se diseñaron para la IA predictiva y clasificatoria. La IA generativa es algo distinto: produce contenido, razona, persuade y, a veces, engaña. Las categorías que utilizamos —sesgo, transparencia, equidad— no reflejan completamente lo que está sucediendo ahora.

¿Qué conceptos del paradigma ético anterior ya no son útiles y qué nuevas categorías necesitamos construir urgentemente a partir de la filosofía moral?

Los marcos éticos desarrollados en la década de 2010 se diseñaron principalmente para sistemas de IA basados ​​en datos que clasifican, ordenan o predicen. Conceptos como sesgo, equidad, explicabilidad y transparencia eran apropiados para diagnosticar daños en sistemas de IA donde los resultados podían compararse con datos de referencia medibles o normas de distribución. Estos conceptos siguen siendo relevantes, pero ya no son suficientes. Los sistemas de IA generativa producen contenido activamente, ya sea lenguaje, imágenes u otros tipos de datos.

Algunas nociones fundamentales del paradigma anterior comienzan a mostrar sus limitaciones en este contexto. El «sesgo», por ejemplo, presupone una desviación de una línea base esperada, pero los sistemas generativos pueden producir contenido completamente nuevo donde no existe un punto de referencia claro. Sin embargo, con estos sistemas, puede surgir discriminación en el contenido generado. La «explicabilidad» también se vuelve menos útil: saber cómo se entrenó un modelo o qué datos de entrenamiento se utilizaron no explica por qué se generó un resultado particular en una interacción específica. Incluso el concepto de «justicia», tradicionalmente definido como un trato equitativo entre grupos, resulta difícil de abarcar los daños relacionados con la persuasión, la manipulación o la formación gradual de creencias.

Estos conceptos no desaparecen, pero ahora surgen nuevas cuestiones éticas muy relevantes, como el impacto de la IA en la capacidad de acción humana, la verdad, las estructuras democráticas, las relaciones humanas, el sistema educativo, el medio ambiente, así como el mal uso de una IA muy capaz. Además, se intensifican problemas ya existentes, como los relacionados con la excesiva autonomía y capacidad de acción de la IA, la vulnerabilidad del sistema, la dilución de la responsabilidad y el impacto en el empleo.

Se necesita un marco que proteja la capacidad de acción humana, limitando o al menos reconociendo las alucinaciones y las falsificaciones profundas, y que construya una gobernanza eficaz en torno a sistemas basados ​​en agentes (no solo modelos o agentes individuales), ya que los problemas pueden derivarse de cómo interactúan los componentes del sistema y comparten datos, más que del comportamiento de un modelo.

5. El tema omitido.

La gobernanza global de la IA está siendo diseñada, en su mayor parte, por expertos del Norte Global, grandes corporaciones tecnológicas e instituciones arraigadas en la tradición occidental. Los valores que sustentan estos sistemas —lo que es justo, lo que es privado, lo que es legítimo— no son universales, aunque se presenten como tales.

¿Cómo podemos evitar que la ética inherente a la IA global se convierta, en la práctica, en la exportación de una única visión del mundo? ¿Quién tiene voz real en este proceso hoy en día?

El riesgo de que la ética de la IA se convierta en la proyección de una única visión del mundo es real, y ya se está materializando parcialmente. Gran parte del panorama actual de gobernanza, moldeado por instituciones como la OCDE y la UNESCO, así como por grandes empresas tecnológicas, se fundamenta en concepciones liberales e individualistas de los derechos, la privacidad y la equidad. Estos marcos se presentan a menudo como universales, cuando en realidad reflejan trayectorias históricas y culturales específicas. Como resultado, los valores relacionales, comunitarios o arraigados en diferentes tradiciones políticas y culturales pueden quedar infrarrepresentados o traducidos a términos que malinterpretan su significado.

Para evitarlo, se requiere una amplia consulta y mucho más. La inclusión en los debates no puede limitarse a la participación una vez que los marcos se han predefinido. Debe implicar la capacidad de definir las categorías de los propios marcos: qué se considera daño, qué formas de rendición de cuentas son legítimas y qué concesiones son aceptables. Esto implica fortalecer el papel de los actores del Sur Global: no solo los gobiernos, sino también los investigadores locales, las organizaciones de la sociedad civil y las comunidades afectadas. También exige que las instituciones reconozcan el verdadero significado del pluralismo, permitiendo la adaptación contextual y cultural en lugar de imponer un único estándar global que parezca “neutral”.

En la práctica, sin embargo, en la actualidad la distribución de voces sigue siendo muy desigual. El poder de decisión aún se concentra en un conjunto relativamente pequeño de gobiernos, corporaciones y redes de expertos con los recursos para definir normas y estándares técnicos, si bien los foros multilaterales y las consultas públicas han ampliado la participación, también como seguimiento de la reciente Cumbre de IA de 2026 celebrada en India. El reto, sin embargo, no reside solo en “incluir más voces”, sino en garantizar que estas voces puedan influir de manera significativa en los resultados. Sin este cambio, los marcos éticos y de gobernanza globales de la IA corren el riesgo de convertirse en un mecanismo mediante el cual una visión del mundo se impone y normaliza a nivel planetario.

6. Responsabilidad difusa y vacío de rendición de cuentas.

Cuando un sistema de IA causa daño —discriminación, exclusión, manipulación— la responsabilidad tiende a diluirse entre el desarrollador, el implementador, el regulador y el usuario final. En rigor, nadie tomó la decisión que causó el daño. Se trata de una arquitectura que genera impunidad sin que nadie la haya diseñado explícitamente con ese propósito.

¿Cómo podemos crear marcos de rendición de cuentas que funcionen cuando el daño es el resultado de un sistema, y ​​no de una decisión individual?

Necesitamos pasar de un modelo de rendición de cuentas basado en la culpa individual a uno basado en la asignación de responsabilidades a lo largo del ciclo de vida de la IA. Cuando un sistema causa daños, la rendición de cuentas no puede depender de encontrar a la única persona que «tomó la decisión». En cambio, la responsabilidad debe asignarse con antelación: a los desarrolladores por las decisiones de diseño, los datos de entrenamiento, las limitaciones del modelo y la documentación; a los implementadores por el contexto de uso, la monitorización y la supervisión humana; a las instituciones por la adquisición, la gobernanza y la evaluación de impacto; y a los reguladores por establecer obligaciones exigibles. El objetivo no es identificar a un único culpable a posteriori, sino evitar que la responsabilidad se vuelva imposible de rastrear.

Esto requiere tratar los sistemas de IA menos como productos aislados y más como infraestructuras sociotécnicas. La rendición de cuentas debe estar ligada a los roles, las capacidades y el control: ¿quién tenía la capacidad de prever el riesgo, mitigarlo, monitorizarlo o detener el sistema una vez que se produjo el daño? Esto implica evaluaciones de impacto obligatorias, registros de auditoría, informes de incidentes, documentación de las decisiones de diseño e implementación y mecanismos de escalamiento claros. Cada actor en la cadena de valor debe seguir prácticas recomendadas bien definidas e inequívocas que les ayuden a tomar y documentar decisiones sobre las principales compensaciones y a generar juicios matizados sobre los riesgos relevantes. Esto es especialmente necesario porque los sistemas de IA actuales exhiben comportamientos emergentes, por lo que no podemos responsabilizar a las personas de todos los daños, pero debemos proporcionarles los procesos, las herramientas, las salvaguardas y las prácticas recomendadas para prever los daños en la medida de lo posible, y debemos responsabilizarlas de seguir estos procesos de manera efectiva. Por lo tanto, el cambio necesario es pasar de la culpabilización retrospectiva a la responsabilidad gobernada.

7. El trabajador invisible en la cadena de suministro de la IA.

Detrás de los grandes modelos lingüísticos hay miles de trabajadores —en su mayoría del Sur Global— que etiquetan datos, filtran contenido tóxico y entrenan sistemas con salarios precarios y en condiciones de alta exposición psicológica. Esta realidad rara vez se menciona en los debates sobre la ética de la IA.

¿Puede un sistema considerarse ético si su cadena de producción reproduce desigualdades estructurales? ¿Qué estándares laborales debería exigir la gobernanza internacional a lo largo de toda esa cadena?

Un sistema no puede considerarse ético si las condiciones de su producción reproducen las mismas desigualdades que su ética pública pretende combatir. La ética de la IA no puede limitarse a la interfaz, el resultado del modelo o el usuario final. Debe abarcar la infraestructura laboral que hace posible el sistema: anotación de datos, moderación de contenido, pruebas de penetración, evaluación y aprendizaje por refuerzo. Si estas tareas se subcontratan a trabajadores precarios con salarios muy bajos, escaso poder de negociación y alta exposición psicológica, el sistema se construye sobre una base de desajuste social, lo cual no es ético.

Por lo tanto, la gobernanza internacional debería incluir las cadenas de suministro de IA en el debate ético. Las normas laborales deberían contemplar salarios dignos, condiciones de trabajo seguras, límites a la exposición a material traumático, acceso a apoyo psicológico, transparencia contractual y trazabilidad entre subcontratistas. Idealmente, estos no deberían ser compromisos corporativos voluntarios, sino requisitos auditables vinculados a la contratación, la certificación y el acceso al mercado. Los marcos existentes ya hacen referencia general a los derechos humanos, la dignidad y el crecimiento inclusivo, pero estos compromisos resultan incompletos si no abarcan explícitamente a los trabajadores de datos y a los moderadores de contenido.

El problema de fondo radica en que la IA se ha descrito a menudo como automatizada, como si no se necesitara mano de obra humana, además de la de los desarrolladores, para su creación. Por consiguiente, este trabajo suele quedar fuera del debate. Visibilizar esta labor transforma la cuestión ética: por ejemplo, no solo deberíamos preguntarnos si un sistema de IA es justo en sus resultados, sino también en su producción. Un sistema de IA verdaderamente ético debería rendir cuentas no solo a los usuarios y a las comunidades afectadas, sino también a los trabajadores cuyo trabajo, y en ocasiones también su salud mental, se utiliza para construir un modelo y moldear su comportamiento.

8. El verdadero derecho a comprender.

La explicabilidad ha sido uno de los principios más invocados en la ética de la IA. Sin embargo, en la práctica, los ciudadanos afectados por decisiones automatizadas —en materia de crédito, empleo, salud o justicia— rara vez reciben una explicación comprensible, y aún menos tienen la capacidad real de impugnar dicha decisión.

¿Tiene hoy en día un ciudadano el derecho efectivo a comprender por qué un sistema de IA tomó una decisión que le afecta, y la capacidad real de impugnarla?

Formalmente, el derecho a una explicación existe en varias jurisdicciones, particularmente en el derecho de protección de datos. Los marcos normativos influenciados por instituciones como la OCDE y reglamentos como el Reglamento General de Protección de Datos (RGPD) en Europa han establecido la idea de que las personas tienen derecho a ser informadas sobre la toma de decisiones automatizadas y, en algunos casos, a solicitar información significativa sobre los motivos de una decisión que les afecta. Sin embargo, este derecho sigue siendo mayoritariamente declarativo y, en la práctica, lo que se proporciona suele ser información genérica, técnica o procedimental que no permite al ciudadano comprender realmente por qué se tomó una decisión específica.

Incluso cuando se dispone de algún tipo de explicación, la capacidad para impugnar una decisión es extremadamente limitada. Una impugnación efectiva requiere más que información: requiere acceso a pruebas, procedimientos claros, apoyo institucional y la posibilidad de una revisión significativa por parte de una autoridad humana. En muchos contextos reales, como la calificación crediticia, los sistemas de contratación o la asignación de prestaciones sociales, estas condiciones rara vez se cumplen. La asimetría de conocimiento y recursos entre las personas y las organizaciones que implementan sistemas de IA hace que el derecho a impugnar sea en gran medida teórico. Así pues, a día de hoy, persiste la brecha entre la teoría y la práctica, ya que la explicación se considera mera divulgación y no una herramienta para empoderar a la acción y la reparación.

Dicho esto, es necesario contextualizar el concepto de explicabilidad en el estado actual de las capacidades de la IA. Los enfoques tradicionales de aprendizaje automático, más limitados, ya resultan bastante opacos, si bien existen diversos esfuerzos y soluciones técnicas para identificar qué parte del espacio de características de entrada determinó una determinada salida. La IA generativa agrava este problema de opacidad, debido a la enorme cantidad de datos de entrenamiento, menos curados y documentados, y al inmenso número de parámetros de la red neuronal. Esto hace que la explicabilidad sea técnica y prácticamente inviable. Sin embargo, lo que sí es factible es una forma de procedencia de datos que rastree parte del contenido generado hasta las fuentes relevantes mencionadas en los datos de entrenamiento o en otros datos a los que el modelo de IA pueda acceder. Si bien esto puede ser útil, debemos recordar que los modelos de IA generativa pueden generar resultados erróneos, por lo que incluso esta información de procedencia de datos debe verificarse con otras fuentes.

La explicabilidad también está vinculada a la responsabilidad humana, ya que este concepto suele ser importante y relevante cuando las decisiones son trascendentales y afectan la vida o el bienestar de las personas. Se trata de decisiones en las que la persona que toma la decisión final no debería ser una máquina, sino un ser humano, aunque posiblemente con el apoyo de las recomendaciones de la IA durante el proceso. Por lo tanto, es en la interacción entre la persona que toma la decisión y el sistema de IA donde debemos garantizar que se establezca el nivel adecuado de confianza y comprensión. Esto permitiría a la persona tomar decisiones informadas con seguridad y explicar el porqué de cada decisión.

9. La sociedad civil como protagonista, no como mera espectadora.

OSICO trabaja en la intersección de la tecnología, la sociedad y el pensamiento crítico, con la convicción de que los medios especializados y los observatorios independientes deben ser algo más que espectadores del debate. Sin embargo, en muchos foros internacionales, todavía se invita a la sociedad civil a escuchar, no a decidir.

¿Qué papel les asigna a los medios especializados y a los observatorios independientes en el ecosistema de gobernanza? ¿Son actores legítimos de supervisión o siguen siendo tratados como observadores externos sin poder real?

Los medios especializados y los observatorios independientes desempeñan un papel importante en el ecosistema de gobernanza actual. Formalmente, se les reconoce como parte de la «sociedad civil» y suelen participar en consultas, grupos de expertos y foros multisectoriales junto con instituciones como la OCDE o la UNESCO. En ese sentido, se les reconoce como voces relevantes. Sin embargo, su función sigue siendo principalmente consultiva. Contribuyen a definir los problemas, identificar riesgos y traducir los avances técnicos al debate público, pero rara vez participan en procesos de toma de decisiones vinculantes o en la definición de normas de obligado cumplimiento.

En la práctica, su función más trascendental reside en la supervisión informal. Mediante la investigación, el análisis y el escrutinio público, pueden visibilizar lo que de otro modo permanecería oculto: despliegues perjudiciales, deficiencias en la gobernanza e incoherencias entre los principios declarados y las prácticas reales. Esta forma de rendición de cuentas no se basa en la autoridad formal, sino en la legitimidad, la credibilidad y la capacidad de influir en las agendas públicas e institucionales. En muchos casos, es precisamente por ser ajenos a las estructuras de poder que pueden ejercer este papel con gran eficacia. Sin embargo, la limitación es clara: la influencia sin autoridad depende de si otros actores deciden responder.

10. La pregunta que nadie te hace.

En los foros de alto nivel, las preguntas suelen mantenerse dentro de ciertos límites: son técnicas, diplomáticas o están formuladas para no generar demasiada incomodidad. Has pasado años en el centro de estos debates y probablemente conoces bien esa dinámica.

¿Hay alguna pregunta que consideres urgente, que casi nadie te plantea, y que creas que todos deberíamos hacernos antes de que sea demasiado tarde?

Gran parte del debate actual se centra en cómo hacer que los sistemas de IA sean más seguros, justos o transparentes, pero se presta mucha menos atención a la cuestión de qué visión de futuro buscamos alcanzar con esta tecnología. Lograr que la IA sea más segura o esté más alineada con los valores humanos no es el objetivo final, sino un medio para un fin. ¿Cuál es, entonces, ese fin? Tendemos a hablar de las limitaciones de los sistemas de IA sin cuestionar la dirección hacia la que estos sistemas nos están guiando como sociedad.

Un punto ciego relacionado concierne a los efectos acumulativos de estas tecnologías. Cada implementación individual puede parecer justificada, incluso beneficiosa, dentro de su propio contexto. Pero, en conjunto, pueden estar transformando aspectos fundamentales de la vida social: cómo se toman las decisiones, cómo se distribuye la autoridad, cómo se produce y comparte el conocimiento, cómo los seres humanos mantienen su autonomía y la capacidad de tomar decisiones informadas basadas en hechos. La pregunta urgente, entonces, no es solo si un sistema determinado es aceptable, sino si la trayectoria definida por miles de sistemas similares es una que elegiríamos conscientemente, especialmente en lo que respecta a su impacto en el empleo y las estructuras democráticas. Una tercera pregunta muy importante que rara vez me hacen es sobre los beneficios de la IA. Generalmente, me preguntan sobre los riesgos y el posible impacto negativo, y qué se puede hacer para mitigarlos. En estas discusiones, tendemos a olvidar las increíbles capacidades de la IA actual y cómo puede mejorar nuestras vidas y nuestras sociedades: acelerar los descubrimientos científicos, encontrar soluciones para enfermedades sin resolver, mitigar el impacto negativo de otras tecnologías, resolver conflictos, así como mejorar nuestra comprensión de la inteligencia humana, lo que nos brinda apoyo para una mayor conciencia y desarrollo cognitivo. El debate sobre la ética de la IA en sí mismo puede ayudarnos a crecer: al decidir qué valores incorporar en los sistemas de IA, nos vemos obligados a decidir qué valores son importantes para nosotros. Esta mayor claridad es esencial para conocernos mejor a nosotros mismos y nuestras prioridades, y para respetar las prioridades de los demás, lo que conduce a un mundo más diverso, inclusivo y pacífico.

Conoce más sobre:

Biografía de Francesca Rossi.  

Francesca Rossi (1962) es una científica informática italiana y una de las principales expertas mundiales en ética de la IA. Es IBM Fellow y Líder Global de Ética de la IA en IBM Research, donde trabaja en gobernanza, transparencia y marcos de IA responsable.

Trabaja en el Laboratorio de Investigación T.J. Watson de IBM en Nueva York, EE. UU. Antes de incorporarse a IBM en 2015, fue profesora de informática en la Universidad de Padua, Italia.

Sus intereses de investigación se centran en la IA, con especial énfasis en la IA neurosimbólica, las arquitecturas cognitivas y la alineación de valores de la IA. Cuenta con una amplia experiencia en gobernanza de la IA y mejores prácticas para la ética corporativa de la IA y la evaluación de riesgos, habiendo sido copresidenta del consejo de IBM Responsible Tech y colaborando en estos temas con numerosas organizaciones globales multipartitas, como el Foro Económico Mundial (WEF), la OCDE y la Partnership on AI. Fue presidenta de la AAAI, la Asociación para el Avance de la IA. Es miembro de la AAAI, de la EURAI y de la Radcliffe.