Anthropic ha encendido una nueva señal de alarma sobre los riesgos asociados a los modelos de inteligencia artificial más avanzados. La compañía estadounidense aseguró este jueves que ha frustrado varios posibles usos de sus sistemas para realizar investigaciones que podrían haber contribuido al desarrollo de armas biológicas, al tiempo que ha documentado el empleo de Claude por actores vinculados a gobiernos como el de Irán.
La empresa explicó que los casos relacionados con investigaciones biológicas fueron detectados y bloqueados a lo largo de este año. Anthropic reconoce que no pudo determinar si quienes utilizaban sus modelos perseguían fines legítimos o maliciosos, pero decidió intervenir ante la posibilidad de que sus herramientas acabaran facilitando el desarrollo de patógenos peligrosos.
"Si bien las evaluaciones son útiles porque proporcionan evidencia de capacidad, no pueden demostrar concretamente que dicha capacidad se utilizaría alguna vez para desarrollar armas biológicas en el mundo real", explicó la compañía.
Hasta ahora, según Anthropic, no tiene constancia de que ninguna empresa privada haya presentado públicamente "evidencia del posible mal uso de sus plataformas para el desarrollo de armas biológicas". Aun así, la tecnológica californiana asegura haber desarrollado sistemas de detección destinados a identificar y bloquear comportamientos que puedan representar un riesgo.
Claude, utilizado por actores vinculados a Irán
Las advertencias no se limitan al terreno biológico. En un informe de 154 páginas, Anthropic documenta diferentes usos indebidos de sus modelos durante los últimos ocho meses por parte de actores estatales y otros grupos en países como Irán, China, Rusia y Yemen.
En el caso iraní, actores vinculados al Gobierno recurrieron a Claude para apoyar operaciones de vigilancia y propaganda, además de planificar posibles ataques contra objetivos estadounidenses, según la compañía.
Anthropic sostiene que este tipo de herramientas puede utilizarse para identificar objetivos y procesar grandes cantidades de información relacionada con disidentes, periodistas, activistas y políticos, haciendo más eficientes sistemas de vigilancia ya existentes.
Los usuarios iraníes tuvieron además que sortear las restricciones de acceso al servicio, ya que Claude no está disponible oficialmente en el país. Para hacerlo, recurrieron a redes privadas virtuales y números de teléfono extranjeros.
La compañía también señala que un grupo de ciberdelincuentes vinculado a Irán utilizó una cuenta de Claude para elaborar recomendaciones de ataque contra las fuerzas navales estadounidenses en la región.
Armas convencionales y operaciones cibernéticas
El documento recoge igualmente otros usos indebidos relacionados con armas convencionales y operaciones cibernéticas en China, Rusia y Yemen. Anthropic asegura haber bloqueado aquellos comportamientos que podían implicar un riesgo, especialmente cuando existía la posibilidad de que sus modelos contribuyeran a investigaciones peligrosas.
La publicación llega en un momento de creciente inquietud dentro del sector tecnológico por el llamado uso dual de la inteligencia artificial. Los mismos modelos capaces de ayudar a investigadores en ámbitos como la biología pueden ser utilizados también para actividades potencialmente dañinas.
Anthropic advierte además de otro factor: la creciente capacidad y autonomía de los modelos de IA está reduciendo las barreras técnicas y económicas necesarias para realizar tareas que hasta hace poco exigían mayores conocimientos especializados y recursos.
Ese escenario ha alimentado las preocupaciones de expertos que reclaman más controles sobre sistemas cada vez más capaces. La propia compañía sitúa sus medidas de detección y bloqueo como una de las barreras frente a usos que, aun siendo difíciles de clasificar inicialmente como legítimos o maliciosos, pueden terminar teniendo consecuencias peligrosas.
Anthropic ha encendido una nueva señal de alarma sobre los riesgos asociados a los modelos de inteligencia artificial más avanzados. La compañía estadounidense aseguró este jueves que ha frustrado varios posibles usos de sus sistemas para realizar investigaciones que podrían haber contribuido al desarrollo de armas biológicas, al tiempo que ha documentado el empleo de Claude por actores vinculados a gobiernos como el de Irán.
La empresa explicó que los casos relacionados con investigaciones biológicas fueron detectados y bloqueados a lo largo de este año. Anthropic reconoce que no pudo determinar si quienes utilizaban sus modelos perseguían fines legítimos o maliciosos, pero decidió intervenir ante la posibilidad de que sus herramientas acabaran facilitando el desarrollo de patógenos peligrosos.
"Si bien las evaluaciones son útiles porque proporcionan evidencia de capacidad, no pueden demostrar concretamente que dicha capacidad se utilizaría alguna vez para desarrollar armas biológicas en el mundo real", explicó la compañía.
Hasta ahora, según Anthropic, no tiene constancia de que ninguna empresa privada haya presentado públicamente "evidencia del posible mal uso de sus plataformas para el desarrollo de armas biológicas". Aun así, la tecnológica californiana asegura haber desarrollado sistemas de detección destinados a identificar y bloquear comportamientos que puedan representar un riesgo.
Claude, utilizado por actores vinculados a Irán
Las advertencias no se limitan al terreno biológico. En un informe de 154 páginas, Anthropic documenta diferentes usos indebidos de sus modelos durante los últimos ocho meses por parte de actores estatales y otros grupos en países como Irán, China, Rusia y Yemen.
En el caso iraní, actores vinculados al Gobierno recurrieron a Claude para apoyar operaciones de vigilancia y propaganda, además de planificar posibles ataques contra objetivos estadounidenses, según la compañía.
Anthropic sostiene que este tipo de herramientas puede utilizarse para identificar objetivos y procesar grandes cantidades de información relacionada con disidentes, periodistas, activistas y políticos, haciendo más eficientes sistemas de vigilancia ya existentes.
Los usuarios iraníes tuvieron además que sortear las restricciones de acceso al servicio, ya que Claude no está disponible oficialmente en el país. Para hacerlo, recurrieron a redes privadas virtuales y números de teléfono extranjeros.
La compañía también señala que un grupo de ciberdelincuentes vinculado a Irán utilizó una cuenta de Claude para elaborar recomendaciones de ataque contra las fuerzas navales estadounidenses en la región.
Armas convencionales y operaciones cibernéticas
El documento recoge igualmente otros usos indebidos relacionados con armas convencionales y operaciones cibernéticas en China, Rusia y Yemen. Anthropic asegura haber bloqueado aquellos comportamientos que podían implicar un riesgo, especialmente cuando existía la posibilidad de que sus modelos contribuyeran a investigaciones peligrosas.
La publicación llega en un momento de creciente inquietud dentro del sector tecnológico por el llamado uso dual de la inteligencia artificial. Los mismos modelos capaces de ayudar a investigadores en ámbitos como la biología pueden ser utilizados también para actividades potencialmente dañinas.
Anthropic advierte además de otro factor: la creciente capacidad y autonomía de los modelos de IA está reduciendo las barreras técnicas y económicas necesarias para realizar tareas que hasta hace poco exigían mayores conocimientos especializados y recursos.
Ese escenario ha alimentado las preocupaciones de expertos que reclaman más controles sobre sistemas cada vez más capaces. La propia compañía sitúa sus medidas de detección y bloqueo como una de las barreras frente a usos que, aun siendo difíciles de clasificar inicialmente como legítimos o maliciosos, pueden terminar teniendo consecuencias peligrosas.
COMENTARIOS