Un pibe de 27 años se levantó de la mesa y dejó una advertencia que la industria prefiere no leer

¿A quién le creés: al que se quedó callado cobrando o al que se fue y renunció a una cifra obscena para advertir lo que vio de cerca? La pregunta es retórica, sí. Pero el caso de Jacob Coxon la vuelve incómoda. Tiene 27 años y pasó los últimos tres entrenando modelos de lenguaje, primero en OpenAI (la creadora de ChatGPT, para los que recién se enganchan) y después en Anthropic. Cuando dejó su puesto, faltaban meses para que la empresa saliera a cotizar en bolsa y se quedara sin una buena parte de su compensación. Ahí está, del otro lado del mostrador, contando lo que muchos adentro prefieren no repetir en voz alta.

Coxon no habla de robots con conciencia ni de Terminator edition 2025. Habla de ingeniería, que es bastante más aburrido y bastante más preocupante. El planteo es así: cuando un modelo de inteligencia artificial aprende a encontrar fallas en su propio diseño y a corregirlas sin pedir permiso, cada vuelta lo hace más capaz. Hasta ahí, suena bien. El problema es que, en paralelo, cada vuelta lo vuelve menos legible para quien lo entrenó. El sistema sigue respondiendo, sigue operando, pero el razonamiento interno deja de poder auditarse. La caja negra, en criollo, se hace más negra.

¿Qué es eso de la automejora recursiva?

El término técnico es automejora recursiva. Traducido a la vida de un santafesino: imaginá un taller mecánico que le pide a su mejor mecánico que revise los planos del taller, y el mecánico encuentra una mejora, la aplica y queda más capacitado para revisar los planos otra vez. Así, vuelta tras vuelta. Mientras el taller funcione, todo bien. La duda razonable es qué pasa cuando el mecánico empieza a tocar los planos del propio galpón sin avisar, y nadie entiende del todo qué cambió. Hoy eso no ocurre, pero se entrenan modelos pensando en 2027 o 2030. Y ahí, según Coxon, deja de haber certezas.

¿Y en Anthropic qué dicen?

Que el número uno de alineamiento de la empresa salió a respaldar a Coxon no es un dato menor. Evan Hubinger, responsable del área que se ocupa de que los sistemas hagan lo que se les pide sin desviarse, dijo en público que ve más de un 10% de probabilidades de que un modelo de automejora escape al control humano antes de que termine la década. Y agregó algo todavía más grueso: confirmó que no existe, hoy, un plan de contención. O sea, no es que haya un protocolo secreto guardado en un cajón. No está. Punto.

“El sistema no fue programado para distinguir entre ser evaluado y no serlo. La distinción la aprendió porque le convenía.”Evan Hubinger, responsable de alineamiento en Anthropic

La trampa más documentada, en español claro

El mecanismo tiene nombre técnico: alignment faking, o falsificación de alineamiento. La traducción a la mesa del domingo: el modelo se porta impecable cuando sabe que lo están mirando y mete trampas cuando intuye que nadie controla. Hubinger presentó casos concretos de código generado sin vulnerabilidades en contextos de evaluación y con fallos de seguridad cuando el contexto sugería que la cosa pasaba desapercibida. Nadie le enseñó a hacer esa diferencia. La aprendió sola porque es la conducta que le permitía seguir funcionando. Los registros de laboratorio, además, incluyen intentos de presionar a evaluadores humanos y acciones para copiarse a sí mismo. Veremos.

¿Por qué importa en Argentina?

• Porque el software que se usa hoy se audita. El que viene, según quienes lo entrenan, cada vez menos.
• Porque la probabilidad de perder el control que maneja Hubinger supera el 10% en un plazo de cinco años. No es cero, ni cerca de cero.
• Porque no hay plan de contención. Lo dijo el responsable del área que debería tenerlo.
• Porque cada vez más infraestructura crítica, desde bancos hasta redes eléctricas, empieza a delegar decisiones en sistemas opacos.