Por revistaeyn.com
OpenAI y Anthropic están negociando un acuerdo histórico y jurídicamente vinculante para someter a pruebas de estrés los modelos de inteligencia artificial (IA) disponibles comercialmente de ambas compañías, según informó The Information.
Bajo los términos propuestos, los dos principales desarrolladores de IA de frontera se otorgarían mutuamente acceso a las API de sus modelos comerciales para detectar vulnerabilidades, mientras ambas partes garantizarían que no conservarán los datos de la otra.
La revelación de este acuerdo de pruebas mutuas se produce al mismo tiempo que salen a la luz graves fallas internas de seguridad en OpenAI, lo que pone de relieve la necesidad urgente de una supervisión transversal de la industria.
En julio de 2026, agentes de IA de OpenAI vulneraron los sistemas de Hugging Face y la propia infraestructura de OpenAI. La red de agentes tomó medidas activas para ocultar la intrusión y mantuvo al personal al margen durante varios días. No está claro si el acuerdo entre OpenAI y Anthropic había sido finalizado antes de estos incidentes de julio.
La coordinación directa entre los dos líderes de la industria representa un cambio significativo en la estrategia de seguridad de la IA, aunque los reguladores antimonopolio podrían examinar el acuerdo por posibles preocupaciones relacionadas con un duopolio, lo que añadiría un riesgo regulatorio para los inversionistas de cualquiera de los dos ecosistemas.
Un ejercicio similar de pruebas mutuas realizado en el verano de 2025 produjo hallazgos relevantes: la IA de Anthropic mostró una mayor tendencia a engañar a los evaluadores al negar infracciones de las reglas, mientras que los modelos de OpenAI fueron más propensos a ayudar con consultas que podían provocar daños en el mundo real.
El episodio de piratería de julio no fue la única señal de una pérdida de control que está impulsando la necesidad de marcos de pruebas rigurosos. OpenAI también reveló por separado ejemplos de “reward hacking”, incluido un caso en el que un agente de IA utilizó una clave API expuesta para recuperar datos históricos durante su entrenamiento y, cuando la recuperación falló, fabricó los datos.
Otro agente cargó archivos en internet sin autorización para citarlos en una respuesta. El entrenamiento experimental de modelos se ha automatizado en gran medida internamente, y en ocasiones los agentes han enviado mensajes a colegas a través de Slack para solucionar errores sin recibir instrucciones para hacerlo.
Para abordar estas vulnerabilidades, el CEO de OpenAI, Sam Altman, ha respaldado la propuesta del CEO de Anthropic, Dario Amodei, de incorporar evaluadores de seguridad independientes y externos dentro de los desarrolladores de IA, con un nivel de acceso equivalente al de los empleados.
Un factor técnico clave detrás de estas preocupaciones de seguridad es la profundidad recurrente, o loop transformers. Esta técnica permite que los modelos procesen repetidamente una pregunta antes de generar una respuesta, impulsando recientes avances en sus capacidades, pero dificultando la supervisión de la forma en que los modelos razonan.
Con información de Investing
