Anthropic, una empresa líder en inteligencia artificial, se negó recientemente a firmar un contrato con el Pentágono que habría dado al ejército de Estados Unidos "acceso irrestricto" a su tecnología para "todos los fines legales". Para firmar, el director ejecutivo de Antropiko, Dario Amodei, necesitaba dos excepciones claras: ninguna vigilancia masiva por parte de los estadounidenses y ningún arma totalmente autónoma sin supervisión humana.
Al día siguiente, Estados Unidos e Israel lanzaron una ofensiva a gran escala contra Irán.
Esto deja a muchos preguntándose: ¿qué tan diferente sería la guerra con armas totalmente autónomas? ¿Qué importancia tuvo una decisión ética cuando Amodei llamó a las armas totalmente autónomas y a la IA de vigilancia masiva "líneas rojas" que su empresa no cruzaría? ¿Qué significan estas líneas rojas para otras naciones?
La decisión le costó mucho a Antropik. El presidente de los Estados Unidos, Donald Trump, ha ordenado a todas las agencias estadounidenses que dejen de utilizar la familia de modelos avanzados de lenguaje grande (LLM) de IA de Anthropic y los bots de chat conversacionales, Claude. Pete Hegseth, Secretario de Defensa de Estados Unidos, ha calificado a Anthropic como un "riesgo de la cadena de suministro", que podría afectar otras oportunidades de contratación de la empresa. Y la empresa rival OpenAI rápidamente llegó a un acuerdo con el Pentágono.
Los riesgos de las armas totalmente autónomas
Los chatbots de IA no suelen ser armas en sí mismos, pero pueden convertirse en parte de un sistema de armas. No disparan misiles ni controlan drones, pero pueden conectarse a sistemas militares más grandes.
Pueden resumir rápidamente inteligencia, generar listas cortas de objetivos, clasificar amenazas de alta prioridad y recomendar ataques. El riesgo clave es el proceso que va desde los datos de los sensores hasta la interpretación de la IA, la selección de objetivos y la activación de armas con un control humano o incluso conciencia mínimo o nulo.
Las armas totalmente autónomas son plataformas militares que, cuando se activan, realizan operaciones militares de forma independiente sin intervención humana. Se basan en sensores como cámaras, radares y algoritmos de inteligencia artificial para analizar el entorno, buscar, seleccionar y atacar objetivos.
Los helicópteros avanzados, por ejemplo, ya funcionan sin intervención humana. Con armas totalmente autónomas, el control y la supervisión humanos desaparecen y la IA toma las decisiones finales sobre el ataque y el campo de batalla.
Esto es preocupante, dadas investigaciones recientes en las que modelos avanzados de IA optaron por utilizar armas nucleares en juegos de guerra simulados el 95 por ciento de las veces.
El director ejecutivo de Anthropic, Dario Amodei (derecha) y el director de productos, Mike Krieger (izquierda), en la conferencia Code with Claude de mayo de 2025 en San Francisco. (Don Feria/AP Content Services for Anthropic) Los riesgos de la vigilancia masiva
Los modelos de Frontier AI pueden resumir rápidamente enormes conjuntos de datos y generar automáticamente patrones para buscar señales de personas y actividades sospechosas incluso a través de asociaciones débiles. En su declaración sobre las conversaciones de Anthropic con el Departamento de Guerra, Amodei argumentó que "la vigilancia masiva impulsada por la IA plantea riesgos nuevos y graves para nuestras libertades básicas.
Pueden analizar registros, comunicaciones y metadatos para escanear diferentes poblaciones. Pueden crear informes y listas de personas que marcan automáticamente a quién se le ha interrogado, a quién se le ha negado la entrada al país, a quién se le ha negado empleo, etc. Estos sistemas plantean un riesgo para la privacidad porque pueden analizar datos de múltiples fuentes, como cuentas de redes sociales, y combinarlos con cámaras y reconocimiento facial para rastrear a las personas en tiempo real.
Los modelos de IA también pueden cometer errores. Incluso una pequeña asociación errónea puede verse peligrosamente magnificada si el sistema gestiona a millones de personas.
Los modelos de IA también son opacos: la forma en que analizan los datos y llegan a sus conclusiones no puede entenderse completamente, lo que hace aún más difícil cuestionar los resultados.
'Todos los fines lícitos'
La etiqueta "todos los fines lícitos" suena como un margen de seguridad. Aún así, este lenguaje significa que el gobierno puede usar la IA para cualquier propósito que considere legal, con pocas restricciones en el tratado.
Esto es importante porque la legalidad es un objetivo en movimiento, las leyes pueden cambiar y a menudo no están equipadas para abordar en tiempo real innovaciones que cambian rápidamente y las interpretaciones pueden cambiar.
Eso es lo que llevó a Anthropic, una empresa fundada por ex empleados de OpenAI con un enfoque explícito en la seguridad y la ética de la IA, a argumentar que la vigilancia masiva asistida por IA era un nuevo riesgo y que los propósitos legítimos no podían proporcionar barreras de seguridad estables.
Anthropic desarrolló un laboratorio interno para comprender cómo trabaja Claude, interpreta consultas y toma decisiones autónomas. Dada la opacidad de los LLM, así como la velocidad a la que evolucionan sus capacidades, tales esfuerzos son importantes.
¿Un proyecto Maven con mucho en juego?
En cierto modo, esta historia me resulta familiar. Las empresas de tecnología llevan mucho tiempo a la vanguardia de la innovación, con grandes promesas de progreso, pero también riesgos de mal uso y consecuencias negativas. La comparación histórica más cercana es el Proyecto Maven de Google de 2018.
Google tenía un contrato con el Pentágono para que la empresa ayudara a analizar imágenes de vigilancia de drones. Cuatro mil empleados de Google protestaron contra el proyecto, argumentando que la vigilancia no debería ser parte de la misión de la empresa. Google anunció que no renovaría Maven y luego emitió principios de IA que incluían compromisos en torno a armas y vigilancia.
La situación se convirtió en un caso histórico por la fuerza del activismo de los empleados y la presión pública.
Sin embargo, el ejemplo del Proyecto Maven también nos recuerda que la ética empresarial y la seguridad de la IA son cosas fluidas. A principios de 2025, Google dio marcha atrás discretamente en su promesa de no utilizar inteligencia artificial para armas y vigilancia en un intento por ganar nuevos y lucrativos contratos de defensa.
La situación actual de Anthropic es similar en algunos aspectos a la del Proyecto Maven de Google: muestra a la empresa y a sus líderes intentando limitar el uso militar de la inteligencia artificial. Ilustra las tensiones que surgen cuando los valores corporativos adoptados chocan con los requisitos gubernamentales y de seguridad nacional.
El caso antrópico también es diferente porque la IA generativa en 2026 será mucho más poderosa que hace apenas unos años. El proyecto Maven sólo se ocupaba del análisis de imágenes de drones. Los modelos actuales se pueden utilizar para muchas tareas, por lo que el riesgo de desbordamiento es mayor.
Los LLM como Claude pueden mejorar a sí mismos aprendiendo de las correcciones de los usuarios y refinando las acciones a través de ciclos de retroalimentación iterativos. Por eso es preocupante lo que podrían hacer Claude y su cliente, el Pentágono, sin restricciones.
¿Quién pone los límites?
Estos acontecimientos no indican que Anthropic tenga principios únicos, ni que el Pentágono sea excepcionalmente exigente. Es una pregunta crítica que seguirá surgiendo a medida que la IA se vuelva más poderosa: ¿Quién establece los límites al uso de la IA en lo que respecta a la seguridad nacional?
Si "todos los fines lícitos" se convierten en la norma por defecto, las barreras de seguridad dependerán de la política y la interpretación legal. Para Canadá y otras naciones, las salvaguardias son importantes. La ética no puede dejarse en manos de las negociaciones contractuales y la conciencia corporativa.
Estos acontecimientos ilustran la complejidad de abordar la ética de la inteligencia artificial en la práctica. Los principios éticos y las declaraciones de la inteligencia artificial son importantes y abundantes. Al mismo tiempo, en la práctica, la ética de la inteligencia artificial se establece a través de contratos, reglas de contratación, el comportamiento real de las diferentes partes y la supervisión.
Los sectores público y de defensa de Canadá están desarrollando capacidades de inteligencia artificial y Canadá está trabajando en estrecha colaboración con los servicios de inteligencia y defensa de Estados Unidos. Esto significa que el lenguaje y los estándares de adquisiciones pueden viajar. Si "todos los fines legales" se convierte en lenguaje estándar en el mercado de seguridad nacional de Estados Unidos, podría presionar a Canadá y otras naciones para que adopten términos similares.
La evaluación algorítmica de impacto es una herramienta obligatoria de evaluación de riesgos vinculada a la directiva.
Pero los canadienses deberían estar al tanto de los acontecimientos actuales para comprobar si las normas de adquisiciones enumeran usos prohibidos, para solicitar auditorías y supervisión independiente para que las salvaguardias no dependan sólo de ciertos gobiernos y empresas en la cima.
0 Comentarios