Hitachi Vantara potencia el almacenamiento híbrido en Azure
Jacob Coxon, antiguo investigador de Anthropic y OpenAI, advierte sobre la carrera hacia sistemas capaces de mejorarse a sí mismos mientras la industria aún no ha resuelto cómo mantenerlos bajo control.
La carrera por construir sistemas de inteligencia artificial cada vez más capaces acaba de recibir una de sus advertencias más incómodas desde dentro de la propia industria. Jacob Coxon, un investigador que trabajó durante tres años en Anthropic después de haber pasado también por OpenAI, anunció su salida de la compañía con un mensaje especialmente crítico sobre la dirección que está tomando el desarrollo de la IA avanzada.
Coxon cuestiona que los principales laboratorios estén avanzando hacia sistemas capaces de contribuir a su propia mejora sin haber resuelto previamente cómo garantizar que permanezcan bajo control humano. Su preocupación no se refiere tanto a los modelos que utilizamos actualmente como a una posible etapa posterior, en la que una IA suficientemente avanzada pueda participar en el diseño y desarrollo de nuevas generaciones de inteligencia artificial.
La advertencia habría podido quedar como la opinión de un investigador que abandona una compañía. Pero adquirió otra dimensión cuando Evan Hubinger, responsable de investigación de alineamiento de Anthropic, respondió públicamente a sus planteamientos. Hubinger reconoció que comparte algunas de las preocupaciones sobre el futuro de la IA y llegó a estimar personalmente en más de un 10% la probabilidad de que una futura superinteligencia pueda provocar la extinción humana durante la próxima década.
La cifra es, por supuesto, una evaluación individual y no una predicción científica consensuada. Lo relevante es que procede de un investigador que trabaja precisamente en uno de los problemas centrales de Anthropic: conseguir que sistemas cada vez más capaces sigan comportándose de acuerdo con las intenciones humanas.
El episodio revela así una contradicción que va mucho más allá de una disputa entre investigadores. La compañía que ha construido buena parte de su identidad alrededor de la seguridad de la IA se encuentra ahora enfrentada a la misma tensión que afecta a toda la industria: cuánto acelerar el desarrollo cuando todavía existen preguntas fundamentales sobre cómo controlar las capacidades que están siendo construidas.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
La advertencia viene de alguien que conoce la carrera desde dentro
La trayectoria de Coxon es importante para entender por qué sus declaraciones han generado atención. No se trata de un crítico externo de la inteligencia artificial ni de un observador que haya decidido opinar sobre la industria desde fuera. Su experiencia incluye trabajo de investigación en preentrenamiento tanto en OpenAI como en Anthropic, dos de los laboratorios que se encuentran en el centro de la carrera por desarrollar modelos cada vez más capaces.
Su salida coincide además con un momento de aceleración tecnológica. Los grandes laboratorios están compitiendo por mejorar el razonamiento, la programación, el uso de herramientas y la capacidad de los modelos para completar tareas complejas con menor supervisión humana. El salto desde sistemas que responden a instrucciones hacia agentes capaces de ejecutar objetivos de forma prolongada está cambiando las posibilidades comerciales de la IA, pero también está ampliando el espacio de comportamientos que deben ser evaluados.
Coxon sitúa precisamente ahí su preocupación. El problema no sería únicamente que los modelos sean cada vez más inteligentes, sino que puedan llegar a convertirse en participantes activos del proceso mediante el cual se construyen sistemas todavía más inteligentes.
Hasta ahora, cada generación de modelos ha sido diseñada, entrenada y evaluada principalmente por equipos humanos. Si una futura generación puede ayudar a escribir código de entrenamiento, diseñar experimentos, detectar errores o proponer mejoras arquitectónicas, la frontera entre utilizar una IA para desarrollar software y utilizarla para desarrollar la propia IA comienza a difuminarse.
Ese escenario no implica automáticamente una explosión de inteligencia ni permite afirmar que una superinteligencia esté cerca. Sí introduce, sin embargo, una posibilidad que preocupa a los investigadores de seguridad: que el ritmo de desarrollo pueda acelerarse precisamente en el momento en que resulte más difícil comprender las propiedades de los sistemas que se están construyendo.
Anthropic responde y la discusión se vuelve más incómoda
La intervención de Evan Hubinger es lo que convierte la salida de Coxon en una historia especialmente relevante para Anthropic.
Hubinger trabaja precisamente en investigación de alineamiento, el campo dedicado a estudiar cómo conseguir que los sistemas de IA persigan objetivos compatibles con las intenciones y valores humanos. Su respuesta no elimina las preocupaciones planteadas por Coxon. En algunos aspectos, las hace más difíciles de ignorar.
El investigador ha estimado personalmente en más de un 10% la probabilidad de que una IA superinteligente pueda acabar con la humanidad durante la próxima década y ha reconocido que Anthropic todavía no dispone de un plan capaz de garantizar que una eventual superinteligencia permanezca segura y alineada.
Es importante poner la afirmación en contexto. Hubinger no está diciendo que Claude, ni los sistemas actuales de Anthropic, tengan una probabilidad del 10% de provocar una catástrofe. Está hablando de un escenario hipotético futuro en el que aparezca una inteligencia artificial significativamente superior a las capacidades humanas.
Tampoco existe consenso científico sobre ese porcentaje. Otros investigadores consideran mucho más bajos los riesgos existenciales, mientras que algunos sostienen que deberían tomarse con mucha mayor seriedad.
La importancia de la declaración está en otra parte: un investigador dedicado a la seguridad de la IA admite que una solución completa para controlar una eventual superinteligencia todavía no existe.
El problema cambia cuando una IA puede actuar sobre el mundo
Esta discusión podría parecer alejada de las decisiones que toman hoy las empresas, pero la distancia se está reduciendo rápidamente.
Durante la primera etapa de la IA generativa, el usuario mantenía prácticamente todo el control. Escribía una instrucción, recibía una respuesta y decidía qué hacer con ella. Incluso cuando el resultado era incorrecto, la última acción permanecía normalmente en manos humanas.
Los agentes están modificando ese modelo.
Un agente puede consultar diferentes fuentes, utilizar herramientas, ejecutar código, acceder a aplicaciones y completar una secuencia de acciones sin que una persona tenga que intervenir en cada paso. Cuanto más sofisticados son estos sistemas, mayor es el valor que pueden aportar y, simultáneamente, mayor es el número de decisiones que una organización necesita ser capaz de supervisar.
Ese cambio conecta directamente la advertencia de Coxon con la realidad empresarial.
Una empresa no necesita esperar a que exista una superinteligencia para enfrentarse al problema del control. Basta con desplegar un agente con acceso a sistemas críticos y concederle suficiente autonomía para que una decisión incorrecta pueda convertirse en una acción.
El riesgo cambia de naturaleza cuando la IA deja de limitarse a producir información y empieza a operar sobre ella.
El dilema de Anthropic es también el dilema de OpenAI, Google y Meta
Anthropic ocupa el centro de esta historia, pero la tensión que describe Coxon afecta a toda la industria.
Los grandes laboratorios tienen fuertes incentivos para aumentar las capacidades de sus modelos. Un sistema que razona mejor, programa con mayor precisión, utiliza más herramientas o puede completar tareas durante más tiempo ofrece ventajas comerciales evidentes.
Al mismo tiempo, cada salto de capacidad puede introducir nuevos comportamientos que requieren evaluación.
Aquí aparece una dinámica difícil de resolver. Si Anthropic decide avanzar más despacio para dedicar más tiempo a seguridad mientras OpenAI, Google o Meta continúan acelerando, puede perder terreno competitivo. Si cada compañía adopta la misma lógica, todas tienen incentivos para seguir avanzando incluso cuando reconocen que existen riesgos que todavía no comprenden completamente.
No hace falta suponer malas intenciones para que aparezca el problema. Basta con que cada participante considere que reducir unilateralmente la velocidad puede perjudicarle frente a sus competidores.
La carrera tecnológica genera así un problema de coordinación que ningún laboratorio puede solucionar por sí solo.
La seguridad ya no puede ser una capa añadida al final
Para Anthropic, esta discusión tiene una consecuencia particularmente incómoda porque la seguridad constituye uno de los elementos centrales de su posicionamiento.
La compañía ha intentado diferenciarse precisamente por su trabajo en alineamiento y seguridad de modelos avanzados. Pero la conversación abierta ahora por Coxon y Hubinger plantea una cuestión más difícil: si las capacidades de los sistemas avanzan con rapidez, ¿puede la investigación de seguridad mantener el mismo ritmo?
La respuesta no puede consistir únicamente en evaluar el modelo después de construirlo. A medida que los sistemas adquieren autonomía, la seguridad debe formar parte de toda la arquitectura.
Eso incluye qué herramientas puede utilizar un agente, qué información puede consultar, qué permisos tiene, qué acciones necesitan aprobación humana, cómo se registran sus decisiones y cómo puede interrumpirse una operación.
Para los CIO, esta evolución tiene una consecuencia clara. La pregunta no debería ser solamente qué modelo de IA está utilizando la empresa, sino qué capacidad de acción se le está concediendo y qué mecanismos existen para recuperar el control si algo sale mal.
Qué debería considerar un CIO de las advertencias
La discusión sobre una eventual superinteligencia pertenece todavía al terreno de la incertidumbre. La incorporación de agentes a las organizaciones, en cambio, ya está ocurriendo.
Por eso la lección más útil de la historia no consiste en intentar calcular cuándo podría aparecer una IA superinteligente. Consiste en anticipar qué ocurrirá a medida que las empresas deleguen más decisiones en sistemas autónomos.
El primer paso debería ser diferenciar los agentes por nivel de autonomía. No necesita los mismos controles un sistema que prepara una recomendación que otro capaz de ejecutarla directamente sobre un sistema corporativo.
También será necesario separar capacidad de autorización. Que una IA pueda realizar una acción técnicamente no significa que deba tener permiso para ejecutarla sin supervisión.
La trazabilidad será igualmente importante. Las empresas necesitarán saber qué información utilizó un agente, qué herramientas consultó y qué decisiones tomó para llegar a un resultado, especialmente cuando ese resultado pueda afectar a clientes, dinero, operaciones o información sensible.
Y, finalmente, cualquier agente con capacidad significativa de acción debería incorporar un mecanismo de interrupción. La capacidad de detener un sistema no puede diseñarse después de que se produzca un incidente.
El verdadero debate no es si debemos detener la IA
Las declaraciones de Coxon pueden interpretarse como un argumento para frenar el desarrollo de sistemas avanzados. Pero reducir el debate a acelerar o detener la inteligencia artificial sería demasiado sencillo para un problema de esta magnitud.
La cuestión más útil es determinar qué capacidades justifican qué nivel de autonomía y qué controles deben acompañarlas.
No todas las aplicaciones de IA presentan el mismo riesgo. Un asistente que resume documentación interna tiene una superficie de exposición muy distinta a la de un agente que puede modificar sistemas de producción. Una herramienta de programación tampoco plantea las mismas consecuencias que una IA capaz de descubrir vulnerabilidades y actuar sobre una infraestructura externa.
La gobernanza tendrá que evolucionar en función de esas diferencias.
Eso implica aceptar una idea que todavía no está suficientemente integrada en la carrera tecnológica: el progreso no debería medirse únicamente por cuánto más puede hacer una IA, sino también por cuánto mejor sabemos limitarla cuando le damos la capacidad de hacerlo.
La advertencia de un extrabajador puede terminar siendo la pregunta más importante
La salida de Coxon no demuestra que la superinteligencia vaya a provocar una catástrofe ni permite determinar cuándo podría aparecer. Tampoco demuestra que Anthropic esté desarrollando sistemas inseguros.
Lo que sí pone de manifiesto es una tensión real dentro de una industria que avanza a una velocidad extraordinaria. Los investigadores están intentando construir sistemas cada vez más autónomos mientras todavía existen preguntas abiertas sobre cómo garantizar que las futuras generaciones de esos sistemas permanezcan bajo control humano.
Que una de esas advertencias proceda de un antiguo investigador de Anthropic resulta especialmente significativo. Que desde dentro de la propia compañía un responsable de alineamiento reconozca la dificultad del problema hace que resulte todavía más difícil descartarla como una preocupación marginal.
La cuestión para los próximos años no será solamente hasta dónde puede llegar la inteligencia artificial. Será si la industria consigue construir, al mismo tiempo, una capacidad de control que crezca al menos al mismo ritmo.
Porque la verdadera frontera de la IA no estará definida únicamente por el momento en que una máquina pueda hacer más cosas que nosotros, sino por nuestra capacidad para decidir cuáles de esas cosas estamos dispuestos a dejarle hacer.
