sociedad

'Terremoto' en el mundo de la IA con la dimisión de un ingeniero: "Las personas que la construyen creen que podría ser capaz de matarnos"

Jacob Coxon, investigador británico de 27 años especializado en modelos frontera, ha dimitido de Anthropic y ha anunciado que abandona definitivamente el sector

  • Recreación de un sistema de inteligencia artificial aplicado a procesos administrativos.

La carrera por desarrollar sistemas cada vez más avanzados de inteligencia artificial ha provocado una nueva voz de alarma desde dentro de la propia industria. Jacob Coxon, investigador británico de 27 años especializado en modelos frontera, ha dimitido de Anthropic y ha anunciado que abandona definitivamente el sector. Sus mensajes en X superaron los 50 millones de visualizaciones en pocas horas. En ellos acusa a los grandes laboratorios de avanzar de forma irresponsable hacia una "superinteligencia capaz de auto-mejorarse" y de estar "apostando con nuestras vidas". "Ninguna otra actividad humana representa este nivel de peligro", sostiene.

Coxon estudió Matemáticas en la Universidad de Cambridge y fue coautor de investigaciones sobre análisis bayesiano publicadas en 'eLife'. Antes de llegar a Anthropic trabajó tres años en OpenAI, donde fue colaborador principal en el desarrollo de GPT-4o y GPT-4. En julio se incorporó a Anthropic para formar parte de sus equipos de seguridad, un puesto que ahora abandona.

Una de sus principales advertencias se refiere a la diferencia entre el discurso público de estas compañías y lo que, según afirma, se comenta entre sus empleados. "Ninguna de las dos empresas está actuando de manera responsable, están corriendo directamente hacia una superinteligencia capaz de auto-mejorarse y apostando con nuestras vidas", asegura.

El investigador sostiene que muchas personas que trabajan en el desarrollo de IA creen que estos sistemas podrían llegar a matar a todos los seres humanos antes de que termine la década. "Esto no es un truco publicitario", afirma. También advierte: "No subestimes el poder de esta tecnología, pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".

El respaldo de uno de los jefes

En declaraciones a 'The Wall Street Journal', Coxon explica que dentro del sector se utilizan términos como "crunchtime" ("hora límite") y "endgame" ("fase final") para describir la carrera hacia modelos capaces de automejora recursiva. Considera que los escenarios más graves podrían materializarse antes de finales de 2027, cuando la tecnología podría quedar fuera del control humano. También critica que decisiones de este calibre dependan de empresas privadas y compara la situación con el desarrollo nuclear del siglo XX: "Es una locura que esto tenga que pasar en los MacBooks de unos ingenieros que viven en San Francisco, en vez de en un búnker en el desierto como hacían en el Proyecto Manhattan".

Las palabras de Coxon han encontrado respaldo en Evan Hubinger, su antiguo jefe y responsable de Alignment Science en Anthropic. "Jacob tiene razón. ¡De verdad creemos sinceramente que la IA podría matar a todos los humanos!", afirma. Hubinger calcula que la probabilidad supera el 10% durante la próxima década y reconoce que Anthropic está haciendo "lo mejor que puede", aunque todavía no existe un plan para resolver la alineación de una futura superinteligencia. En su opinión, el riesgo de los modelos actuales es bajo, pero preocupa la automejora recursiva, que "está ocurriendo más rápido de lo que pensábamos". Coxon termina dirigiéndose a sus antiguos compañeros: "te insto a que reflexiones sobre cómo serán realmente los próximos años. ¿Quieres poner en marcha una ejecución de aprendizaje por refuerzo de un sistema superinteligente sin una comprensión rigurosa de su mente? ¿Deberías limitarte a seguir adelante porque "va a suceder de todos modos", o aprovechar este momento para exigir condiciones diferentes?".

La carrera por desarrollar sistemas cada vez más avanzados de inteligencia artificial ha provocado una nueva voz de alarma desde dentro de la propia industria. Jacob Coxon, investigador británico de 27 años especializado en modelos frontera, ha dimitido de Anthropic y ha anunciado que abandona definitivamente el sector. Sus mensajes en X superaron los 50 millones de visualizaciones en pocas horas. En ellos acusa a los grandes laboratorios de avanzar de forma irresponsable hacia una "superinteligencia capaz de auto-mejorarse" y de estar "apostando con nuestras vidas". "Ninguna otra actividad humana representa este nivel de peligro", sostiene.

Coxon estudió Matemáticas en la Universidad de Cambridge y fue coautor de investigaciones sobre análisis bayesiano publicadas en 'eLife'. Antes de llegar a Anthropic trabajó tres años en OpenAI, donde fue colaborador principal en el desarrollo de GPT-4o y GPT-4. En julio se incorporó a Anthropic para formar parte de sus equipos de seguridad, un puesto que ahora abandona.

Una de sus principales advertencias se refiere a la diferencia entre el discurso público de estas compañías y lo que, según afirma, se comenta entre sus empleados. "Ninguna de las dos empresas está actuando de manera responsable, están corriendo directamente hacia una superinteligencia capaz de auto-mejorarse y apostando con nuestras vidas", asegura.

El investigador sostiene que muchas personas que trabajan en el desarrollo de IA creen que estos sistemas podrían llegar a matar a todos los seres humanos antes de que termine la década. "Esto no es un truco publicitario", afirma. También advierte: "No subestimes el poder de esta tecnología, pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".

El respaldo de uno de los jefes

En declaraciones a 'The Wall Street Journal', Coxon explica que dentro del sector se utilizan términos como "crunchtime" ("hora límite") y "endgame" ("fase final") para describir la carrera hacia modelos capaces de automejora recursiva. Considera que los escenarios más graves podrían materializarse antes de finales de 2027, cuando la tecnología podría quedar fuera del control humano. También critica que decisiones de este calibre dependan de empresas privadas y compara la situación con el desarrollo nuclear del siglo XX: "Es una locura que esto tenga que pasar en los MacBooks de unos ingenieros que viven en San Francisco, en vez de en un búnker en el desierto como hacían en el Proyecto Manhattan".

Las palabras de Coxon han encontrado respaldo en Evan Hubinger, su antiguo jefe y responsable de Alignment Science en Anthropic. "Jacob tiene razón. ¡De verdad creemos sinceramente que la IA podría matar a todos los humanos!", afirma. Hubinger calcula que la probabilidad supera el 10% durante la próxima década y reconoce que Anthropic está haciendo "lo mejor que puede", aunque todavía no existe un plan para resolver la alineación de una futura superinteligencia. En su opinión, el riesgo de los modelos actuales es bajo, pero preocupa la automejora recursiva, que "está ocurriendo más rápido de lo que pensábamos". Coxon termina dirigiéndose a sus antiguos compañeros: "te insto a que reflexiones sobre cómo serán realmente los próximos años. ¿Quieres poner en marcha una ejecución de aprendizaje por refuerzo de un sistema superinteligente sin una comprensión rigurosa de su mente? ¿Deberías limitarte a seguir adelante porque "va a suceder de todos modos", o aprovechar este momento para exigir condiciones diferentes?".

COMENTARIOS