¿Te avisarán en la frontera? ¿Se aprobará su solicitud de hipoteca? Durante una guerra, ¿a qué fin apuntaría el sistema de armas? Éstas son decisiones morales -sobre el daño y la justicia- y solían ser tomadas por personas.
Ahora, decisiones morales como estas las toman la inteligencia artificial (IA) y las empresas que la desarrollan. No el gobierno, no el público, sino las corporaciones.
Chris Olah, cofundador de la empresa de inteligencia artificial Anthropic y autoproclamado ateo, recientemente se sentó junto al Papa León XIV en el Vaticano y dijo que no se podía confiar en que su propia industria se gobernara a sí misma. "Algunos podrían creer que los problemas de la IA son mejor manejados por científicos informáticos como yo", dijo. "Se están engañando".
Olach se hizo eco de la primera encíclica del Papa, Magnifica Humanitas: Sobre la protección de la persona humana en la era de la inteligencia artificial, que advertía que la inteligencia artificial debe servir a la humanidad, no concentrar el poder.
El cofundador de Anthropica, Christopher Olah, habla en el lanzamiento de la primera encíclica del Papa León XIV, Magnifica Humanitas.
Claramente, la IA necesita un regulador independiente con el poder de decir no del mismo modo que las autoridades pueden rechazar un nuevo medicamento o bloquear un reactor nuclear. La gente común, no sólo los expertos técnicos, debe establecer los estándares morales que este regulador hace cumplir.
debe ser rapido
Los desarrolladores no son necesariamente descuidados o cínicos. Nuestra investigación muestra que muchos desarrolladores de IA están cuestionando profundamente los aspectos morales de su trabajo, al tiempo que reconocen las presiones que pueden hacer que estas preocupaciones sean más periféricas.
Es difícil mantener la moral dentro de una empresa creada para moverse rápido.
Como investigadores digitales, tenemos un nombre para el personal contratado para gestionar esta tensión: "propietarios de la ética". Se trata de personas que tienen la tarea de responder a las críticas externas, permaneciendo completamente dentro de la empresa que las provoca.
Los especialistas en ética tecnológica también sostienen que la ética corporativa de la IA puede convertirse en una "economía de virtudes": un mercado de habilidades, conocimientos y respaldos éticos que las empresas deben obtener para desarmar a los críticos y defenderse de la regulación.
El Papa León XIV habla con el cofundador de Anthropic Christopher Olah (derecha) y la teóloga Anna Rowlands (izquierda) durante el lanzamiento de su primera encíclica, "Magnifica Humanitas", en el Vaticano en mayo de 2026. (Foto AP/Alessandra Tarantino)
El lanzamiento de Magnifica Humanitas y el discurso de Olah fueron oportunos. Los gobiernos de todo el mundo están escribiendo las reglas sobre la inteligencia artificial en este momento. Canadá acaba de lanzar una estrategia federal de IA para todos, con poco enfoque en la seguridad o la ética, y mucho menos una discusión sobre quién decide las cuestiones morales más difíciles.
El correctivo debe venir de afuera. El público debe tener voz.
Riesgos del 'blanqueo de participaciones'
Ya existen experimentos. Anthropic invitó a unos 1.000 estadounidenses a ayudar a escribir las reglas para una versión de su chatbot de IA Claude en un proyecto llamado Collective Constitutional AI.
Los investigadores de la participación pública han estudiado las asambleas ciudadanas (grupos de personas seleccionadas al azar que estudian un tema y llegan a recomendaciones comunes) como una forma de abordar temas polémicos como las leyes sobre el aborto y la falta de vivienda. Prometen participación pública en la gobernanza de la IA.
Leer más: Asambleas de ciudadanos: introducidas en Columbia Británica hace 20 años, son una herramienta creciente para la democracia
Sin embargo, estos ejercicios rara vez cambian las decisiones reales. Los estudios muestran que el público tiende a llegar tarde, hacer preguntas estrechas y no darles poder sobre el resultado. Una corporación o agencia gubernamental controla la agenda, los datos y la decisión.
Cuando la participación es deliberativa, puede caer en lo que llamamos "lavado de participación": la apariencia de una voz pública sin la sustancia del poder público. Una entrada que se puede cancelar no es una gestión. Son las consultas las que hacen que la gobernanza de la inteligencia artificial parezca más democrática de lo que es.
Drogas y energía nuclear
¿Cómo lidiamos con otras tecnologías que pueden curar o matar? No permitimos que una compañía farmacéutica decida por sí misma si es seguro vender un medicamento. Un regulador independiente sopesa la evidencia y puede decir que no. No permitimos que una instalación nuclear construya un reactor y certifique su propia seguridad.
Antes de que se apruebe la venta de un medicamento en Canadá, debe cumplir con los requisitos de seguridad, eficacia y calidad de la Ley de Alimentos y Medicamentos y sus regulaciones. (LA PRENSA CANADIENSE/Jeff McIntosh)
Hace décadas, decidimos que algunas decisiones eran demasiado importantes para dejarlas en manos de quienes se benefician de ellas. Estas elecciones tienen cuestiones morales ocultas dentro de cuestiones técnicas. ¿Qué tan seguro es suficiente? ¿Cuánto daño aceptamos como sociedad y quién se ve obligado a soportarlo: los pobres, los ancianos, las minorías?
Lea también: La guerra de Irán muestra cómo la IA acelera las 'cadenas de muerte' militares
La gobernanza moral democrática pone esta elección en manos públicas. En el caso de la inteligencia artificial, los humanos deberían establecer los estándares que aplica el regulador y determinar dónde se trazan los límites.
La objeción obvia es que la IA es diferente de los productos farmacéuticos y la energía nuclear. La innovación en IA avanza más rápido que cualquier ensayo farmacológico; no hay ningún producto que aprobar; No respeta fronteras. Y es difícil otorgar licencias de IA en abstracto porque cubre muchas tecnologías, desde marketing dirigido hasta navegación robótica y reconocimiento facial.
Sin embargo, como sociedad podemos tomar decisiones discretas: si lanzar un nuevo modelo poderoso o implementarlo en la policía, los hospitales o los tribunales. El regulador puede revisar las cuestiones de forma continua. Además, dado que la IA ignora las fronteras, la vigilancia internacional conjunta tiene sentido. Vale la pena tomar en serio el Diálogo Global sobre la Gobernanza de la Inteligencia Artificial, nacido en las Naciones Unidas en 2025.
Las comunidades también son importantes: las ciudades están implementando diferentes tipos de inteligencia artificial a nivel local y resolviendo problemas de gobernanza. Los miembros de la comunidad tienen un papel en la toma de decisiones sobre cómo se utiliza la IA, ya sea para arreglar baches o construir casas.
Canadá ilustra lo lejos que ha llegado y lo lejos que aún le queda por recorrer. La Directiva federal sobre toma de decisiones automatizada exige que los sistemas automatizados del gobierno federal sean transparentes y responsables. Su evaluación algorítmica de impacto es una herramienta de evaluación de riesgos imprescindible para los sistemas de decisión autónomos utilizados en el gobierno.
Estas herramientas se basan en informes propios de agencias y departamentos federales. Están haciendo todo lo posible para gestionar cómo los gobiernos canadienses utilizan la inteligencia artificial. Sin embargo, hasta ahora las elecciones han implicado preguntas de expertos técnicos y no del público sobre lo que se considera aceptable y lo que se debe detener.
La inteligencia artificial ha desempeñado un papel central en las operaciones militares durante el conflicto de Irán. Aquí, un jeque chiíta colecciona libros religiosos de su biblioteca destruida en Deir Kanun, sur del Líbano, junio de 2026. (Foto AP/Mohammed Zaatari) Voz y Voz
Ésta es la brecha que hay que cerrar para lograr una gobernanza moral democrática.
La Directiva de Canadá sobre la toma de decisiones automatizada y la evaluación algorítmica del impacto se considera el estándar de oro. Sin embargo, iniciativas como la Carta Digital de Canadá, una consulta pública en línea de 30 días en octubre de 2025 y la reciente estrategia federal de IA, IA para "Todo", han demostrado que Canadá no debe considerarse un modelo de participación pública en torno a la IA.
A lire aussie: La estrategia canadiense 'IA para todos' tiene objetivos de crecimiento ambiciosos, pero no alcanza para los trabajadores y el medio ambiente
La gobernanza moral democrática de la inteligencia artificial es posible, pero sólo si el juicio moral del público va acompañado del poder político. Cualquier cosa menos es performativo.
Pope y Chris Olah coinciden en que las empresas no pueden decidir qué debería hacer la IA por nosotros. El trabajo democrático inconcluso implica encontrar formas para que las personas tomen decisiones sobre cuestiones morales y tengan la autoridad para implementar esas decisiones.
0 Comentarios