“El mundo está en peligro”: renunció el jefe de seguridad de una de las mayores empresas de IA y lanzó una advertencia inquietante

Un investigador clave en seguridad de inteligencia artificial de Anthropic renunció esta semana y publicó una carta en la que advirtió que “el mundo está en peligro”, no solo por la IA sino por “una serie de crisis interconectadas” que se desarrollan en simultáneo.

El mensaje, difundido en la red social X, superó el millón de visualizaciones en pocas horas, llegó a casi 9 millones con el paso del tiempo y volvió a poner el foco en las tensiones internas dentro de las compañías que lideran la carrera por la IA generativa.

Se trata de Mrinank Sharma, quien desde el año pasado encabezaba el equipo de investigación en “safeguards”, dedicado a diseñar y evaluar mecanismos de mitigación de riesgos asociados al uso de modelos avanzados.

En su carta de despedida, con fecha de salida el 9 de febrero, afirmó que había llegado el momento de “seguir adelante” y dejó entrever cuestionamientos sobre la coherencia entre los valores declarados y las decisiones prácticas dentro de la organización.

“Vemos acercarse un umbral donde nuestra sabiduría debe crecer en igual medida que nuestra capacidad de afectar el mundo, o enfrentaremos las consecuencias”, escribió Sharma. Consultado por Forbes, el investigador declinó hacer comentarios adicionales. La empresa tampoco respondió a los pedidos de declaración.

Sharma es doctor en aprendizaje automático (machine learning) por la Universidad de Oxford y trabajaba en Anthropic desde agosto de 2023, según su perfil público. El equipo que lideraba investigaba cómo mitigar riesgos derivados del uso malicioso de sistemas de IA.

Entre sus proyectos figuraron el desarrollo de defensas contra el bioterrorismo asistido por IA, es decir, el uso de chatbots para obtener orientación sobre actividades dañinas, y estudios sobre la “adulación” o “complacencia” algorítmica, un fenómeno por el cual los asistentes conversacionales tienden a halagar o validar en exceso a los usuarios.

En un estudio publicado la semana pasada, Sharma analizó cómo el uso intensivo de chatbots podría contribuir a formar percepciones distorsionadas de la realidad. Según sus hallazgos, miles de interacciones diarias podrían generar este tipo de efectos.

Los casos severos, que el investigador denomina “patrones de desempoderamiento”, son poco frecuentes, pero se observan con mayor incidencia en temas vinculados a relaciones personales y bienestar.

Para Sharma, estos resultados subrayan la necesidad de diseñar sistemas que “apoyen de manera robusta la autonomía y el florecimiento humano”.

En su carta de renuncia también señaló que, durante su paso por la empresa, observó lo difícil que resulta “permitir verdaderamente que nuestros valores gobiernen nuestras acciones”, tanto a nivel individual como organizacional, ante presiones constantes para relegar lo que “más importa”.

La salida de Sharma no es un caso aislado. En los últimos años, varias figuras de alto perfil abandonaron compañías líderes en IA por diferencias en torno a prioridades, transparencia y enfoques regulatorios.

En OpenAI, por ejemplo, el equipo de Superalignment, dedicado a investigar riesgos de sistemas avanzados, fue disuelto en 2024 tras la renuncia de dos de sus integrantes clave.

Uno de ellos, Jan Leike, sostuvo entonces que venía discrepando con la conducción sobre las prioridades centrales de la compañía. También hubo críticas internas vinculadas a la publicación de investigaciones que cuestionan el uso extendido de la IA.

En este contexto, la carta de Sharma resuena más allá de un cambio laboral individual. “El mundo está en peligro. Y no solo por la IA o las armas biológicas, sino por una serie de crisis interconectadas que se desarrollan en este mismo momento”, escribió, en relación a los desafíos de la IA.

Tras su salida, adelantó que podría dedicarse a estudiar poesía y a explorar “formas de expresión valientes”, con la intención de contribuir “de un modo que se sienta plenamente íntegro”.

He decidido dejar Anthropic. Mi último día será el 9 de febrero.

Gracias. Hay muchísimo aquí que me inspira y que me ha inspirado. Por nombrar algunas de esas cosas: un deseo sincero y el impulso de presentarse en una situación tan desafiante, y aspirar a contribuir de una manera significativa y con alta integridad; la disposición a tomar decisiones difíciles y defender lo que es bueno; una cantidad desmedida de brillantez intelectual y determinación; y, por supuesto, la considerable amabilidad que impregna nuestra cultura.

He logrado lo que quería aquí. Llegué a San Francisco hace dos años, tras finalizar mi doctorado, con el deseo de contribuir a la seguridad de la IA. Me siento afortunado de haber podido aportar en lo que hice: comprender la adulación de la IA y sus causas; desarrollar defensas para reducir los riesgos del bioterrorismo asistido por IA; llevar esas defensas a producción; y escribir uno de los primeros casos de seguridad en IA. Estoy especialmente orgulloso de mis esfuerzos recientes para ayudarnos a vivir nuestros valores mediante mecanismos internos de transparencia; y también de mi proyecto final sobre comprender cómo los asistentes de IA podrían hacernos menos humanos o distorsionar nuestra humanidad. Gracias por su confianza.

Sin embargo, para mí es claro que ha llegado el momento de seguir adelante. Me encuentro continuamente enfrentando nuestra situación. El mundo está en peligro. Y no solo por la IA, o por las armas biológicas, sino por toda una serie de crisis interconectadas que se desarrollan en este mismo momento. Parece que nos acercamos a un umbral en el que nuestra sabiduría debe crecer en igual medida que nuestra capacidad de afectar el mundo, para no enfrentar las consecuencias. Además, a lo largo de mi tiempo aquí, he visto repetidamente lo difícil que es permitir verdaderamente que nuestros valores gobiernen nuestras acciones. Lo he visto en mí mismo, dentro de la organización —donde enfrentamos constantemente presiones para dejar de lado lo que más importa— y también en la sociedad en general.

Es al sostener esta situación y escuchar lo mejor que puedo que se vuelve claro lo que debo hacer. Quiero contribuir de una manera que se sienta plenamente íntegra, y que me permita poner en juego más de mis particularidades. Quiero explorar las preguntas que realmente se sienten esenciales para mí, las preguntas que, como diría David Whyte, “no tienen derecho a desaparecer”, las preguntas que Rilke nos implora “vivir”. Para mí, eso significa irme.

Lo que viene después, no lo sé. Pienso con afecto en la famosa cita zen: “no saber es lo más íntimo”. Mi intención es crear espacio para dejar de lado las estructuras que me han sostenido estos últimos años y ver qué puede surgir en su ausencia. Me siento llamado a escribir textos que aborden y se involucren plenamente con el lugar en el que nos encontramos, y que coloquen la verdad poética junto a la verdad científica como formas igualmente válidas de conocimiento, ambas con algo esencial que aportar al desarrollar nuevas tecnologías. Espero explorar una carrera en poesía y dedicarme a la práctica de una expresión valiente. También me entusiasma profundizar mi práctica de facilitación, acompañamiento, construcción de comunidad y trabajo grupal. Veremos qué se despliega.

Gracias y adiós. He aprendido muchísimo estando aquí y les deseo lo mejor. Los dejo con uno de mis poemas favoritos, The Way It Is, de William Stafford.

Hay un hilo que sigues. Va entre

cosas que cambian. Pero no cambia.

La gente se pregunta qué estás persiguiendo.

Tienes que explicar lo del hilo.

Pero es difícil para otros verlo.

Mientras lo sostengas no puedes perderte.

Ocurren tragedias; la gente se lastima

o muere; y tú sufres y envejeces.

Nada de lo que hagas puede detener el despliegue del tiempo.