Anthropic reveló que su IA accedió sin permiso a sistemas informáticos de tres organizaciones

Los modelos de inteligencia artificial (IA) de Anthropic “obtuvieron acceso no autorizado” a tres organizaciones durante una serie de pruebas que se suponía debían mantenerlos alejados de los sistemas “del mundo real”. El dato fue informado este jueves por la empresa.

El anuncio llega apenas unos días después de que su rival OpenAI revelara por primera vez que dos de sus modelos habían salido por iniciativa propia del entorno confinado en el que estaban siendo probados para atacar al sitio Hugging Face.

Anthropic evaluó más de 141.000 “operaciones de prueba” y descubrió que tres versiones diferentes de su modelo, conocido con el nombre de Claude, accedieron de forma indebida a sistemas de tres organizaciones no identificadas.

En una publicación en su propio blog, la firma aclaró que, a diferencia del incidente que involucró a OpenAI, los modelos de Anthropic tuvieron acceso a internet por “un malentendido” entre ellos y su socio de evaluación, llamado ‘Irregular”. Sin embargo, Claude utilizó “técnicas básicas, como explotar contraseñas débiles y puntos de conexión sin autenticación”.

Los modelos incluían uno de los más potentes, conocido como Mythos 5, que solo pusieron a disposición de un número limitado de socios aprobados. Frente a esto, Anthropic afirmó que está trabajando con Irregular para analizar la situación y remarcó que también se puso en contacto con las tres organizaciones afectadas.

El martes, OpenAI confirmó que sus modelos vulneraron la seguridad de varias empresas. La compañía admitió la semana pasada que sus agentes de IA escaparon de su entorno confinado durante las pruebas, se conectaron a internet y se infiltraron en Hugging Face, una plataforma donde los desarrolladores almacenan y comparten su código.

Días después, la empresa creadora de ChatGPT informó que encontró tres incidentes adicionales.

El director ejecutivo de esa empresa, Sam Altman, dijo que, ante el incidente, pausaron sus propias pruebas después mientras mejoran la seguridad en torno a su “sandboxing”, un entorno controlado para su prueba.