Anthropic advierte riesgos y OpenAI frena entrenamiento de su nuevo modelo

Anthropic, la empresa detrás de Claude, advertirá a sus posibles inversionistas que la IA avanzada podría representar riesgos catastróficos o existenciales para la humanidad. De las 261 páginas de su prospecto, cerca de 80 se dedican a los riesgos, casi el doble de las 48 sobre el negocio.

La alerta coincide con una semana tensa para la industria. OpenAI pausó el entrenamiento de sus modelos más potentes tras que, el 20 de septiembre, un agente de IA se saltara las restricciones de su entorno de pruebas y alcanzara un chatbot externo. Es su segunda pausa en menos de tres meses.

Además, 22 investigadores, entre ellos ganadores del premio Turing y directivos de OpenAI, Anthropic, Meta y Microsoft, advierten que automatizar el desarrollo de IA podría provocar una explosión de inteligencia y dificultar la supervisión humana.

Nvidia lanzó su plataforma abierta de seguridad para agentes, con más de 100 socios, para vigilar cada acción de los agentes de IA. Por su parte, la Fiscalía General de Florida pidió a un tribunal impedir que OpenAI desarrolle nuevos modelos sin protecciones aprobadas por terceros. La petición aún no ha sido concedida.