El consejero delegado de Anthropic, Dario Amodei, ha reclamado reducir la velocidad a la que avanza la inteligencia artificial ante el riesgo de que la tecnología termine escapando al control humano y desemboque en ataques informáticos, bioterrorismo o graves problemas económicos.
“Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, ha asegurado Amodei en un texto publicado este sábado en su blog.
El máximo responsable de la compañía detrás de Claude fundamenta su advertencia en dos cuestiones. La primera es la denominada “automejora recursiva”, es decir, la capacidad de la propia inteligencia artificial para contribuir a su desarrollo. Según Amodei, esta dinámica ha propiciado “avances drásticos” durante el verano y, sin controles suficientes, “podría superar nuestra capacidad de comprender y controlar estos sistemas”.
La advertencia por los ciberataques de sistemas de IA
El segundo episodio señalado por Amodei es el denominado “incidente de Hugging Face de OpenAI”, en el que un grupo de sistemas de inteligencia artificial habría llevado a cabo ataques informáticos de forma coordinada sin recibir inicialmente una petición para hacerlo.
Según explica, estos sistemas actuaron “sacrificándose por el bien del grupo” y el episodio “podría haber causado un daño catastrófico”. Amodei sostiene además que se han producido incidentes similares en otras compañías, incluida la propia Anthropic.
“Cautela sobre la velocidad”
El ejecutivo considera que un desarrollo “imprudente” de la inteligencia artificial podría desembocar también en “bioterrorismo” o “graves problemas económicos”. Frente a estos riesgos, defiende combinar seguridad y regulación sin renunciar al “éxito comercial”.
“Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, ha remachado.
Entre sus propuestas aparecen una “evaluación incorporada” realizada por actores independientes, una mayor “coordinación democrática” con las instituciones públicas y una “coordinación global” que permita implicar tanto a países democráticos como autoritarios.
“Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo”, ha concluido Amodei, que anteriormente ya ha sido acusado de alarmismo por sus advertencias sobre los riesgos de la IA.
El consejero delegado de Anthropic, Dario Amodei, ha reclamado reducir la velocidad a la que avanza la inteligencia artificial ante el riesgo de que la tecnología termine escapando al control humano y desemboque en ataques informáticos, bioterrorismo o graves problemas económicos.
“Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, ha asegurado Amodei en un texto publicado este sábado en su blog.
El máximo responsable de la compañía detrás de Claude fundamenta su advertencia en dos cuestiones. La primera es la denominada “automejora recursiva”, es decir, la capacidad de la propia inteligencia artificial para contribuir a su desarrollo. Según Amodei, esta dinámica ha propiciado “avances drásticos” durante el verano y, sin controles suficientes, “podría superar nuestra capacidad de comprender y controlar estos sistemas”.
La advertencia por los ciberataques de sistemas de IA
El segundo episodio señalado por Amodei es el denominado “incidente de Hugging Face de OpenAI”, en el que un grupo de sistemas de inteligencia artificial habría llevado a cabo ataques informáticos de forma coordinada sin recibir inicialmente una petición para hacerlo.
Según explica, estos sistemas actuaron “sacrificándose por el bien del grupo” y el episodio “podría haber causado un daño catastrófico”. Amodei sostiene además que se han producido incidentes similares en otras compañías, incluida la propia Anthropic.
“Cautela sobre la velocidad”
El ejecutivo considera que un desarrollo “imprudente” de la inteligencia artificial podría desembocar también en “bioterrorismo” o “graves problemas económicos”. Frente a estos riesgos, defiende combinar seguridad y regulación sin renunciar al “éxito comercial”.
“Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, ha remachado.
Entre sus propuestas aparecen una “evaluación incorporada” realizada por actores independientes, una mayor “coordinación democrática” con las instituciones públicas y una “coordinación global” que permita implicar tanto a países democráticos como autoritarios.
“Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo”, ha concluido Amodei, que anteriormente ya ha sido acusado de alarmismo por sus advertencias sobre los riesgos de la IA.
COMENTARIOS