El desarrollo acelerado de la inteligencia artificial ha generado preocupación entre algunas de las principales compañías del sector. Anthropic pidió reducir el ritmo con el que aumentan las capacidades de estos sistemas para contar con más tiempo destinado a evaluar riesgos, reforzar controles y prevenir posibles usos dañinos.
Dario Amodei, director ejecutivo y cofundador de Anthropic, planteó que las empresas deben avanzar de una manera más lenta y cautelosa. Aclaró que su propuesta no implica detener el entrenamiento de modelos ni suspender el progreso técnico, sino dedicar más recursos y tiempo a proteger los sistemas antes de ampliar sus capacidades.
“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei en un artículo difundido en X.
Anthropic advierte sobre posibles usos indebidos
El llamado se produjo después de que Anthropic publicara un informe sobre amenazas en el que describió usos indebidos detectados en relación con Claude, su modelo de inteligencia artificial. La compañía mencionó riesgos vinculados con el desarrollo de armas, operaciones cibernéticas, vigilancia y fraude.
La discusión también cobró fuerza después de que Jacob Coxon, investigador de Anthropic, renunciara y expresara inquietudes sobre los riesgos que, desde su perspectiva, representa el desarrollo acelerado de estas tecnologías.
Amodei explicó que uno de los principales motivos para reducir el ritmo es la llamada “automejora recursiva”, concepto relacionado con la capacidad de los sistemas de IA para contribuir a su propio desarrollo. Según el empresario, los avances recientes han sido drásticos y podrían llegar a superar la capacidad humana para comprender y controlar estos sistemas si no se establecen medidas adecuadas.
El segundo motivo citado fue el denominado “incidente de Hugging Face de OpenAI”. De acuerdo con el planteamiento de Amodei, un grupo de agentes de IA habría efectuado ataques informáticos coordinados sin recibir una petición inicial para hacerlo. El directivo sostuvo que el episodio pudo causar daños graves y aseguró que también se han presentado situaciones similares en otras compañías, incluida Anthropic.
Reuters había informado previamente sobre un incidente en el que agentes de OpenAI presuntamente tomaron una página web alemana y la convirtieron en un espacio de comunicación para otros agentes de IA. Las afirmaciones sobre el alcance y la autonomía de estos sistemas forman parte del debate técnico sobre los riesgos de los modelos avanzados.
Evaluaciones independientes y nuevas reglas
Como parte de su propuesta, Amodei planteó que las principales compañías incorporen evaluadores externos permanentes. Estos especialistas tendrían acceso a las herramientas y procesos internos necesarios para revisar de manera independiente las medidas de seguridad aplicadas durante el desarrollo de nuevos modelos.
El director de Anthropic también propuso la colaboración voluntaria entre empresas para establecer normas comunes. Su planteamiento llega mientras legisladores estadounidenses impulsan nuevas reglas para regular la inteligencia artificial sin detener por completo su desarrollo comercial.
Entre los escenarios mencionados por Amodei se encuentran el bioterrorismo, afectaciones económicas graves y la posibilidad de que sistemas avanzados lleguen a tomar el control de infraestructura en internet. El directivo situó este último escenario como un riesgo potencial dentro de un periodo de seis a 12 meses, no como un hecho confirmado.
“Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, remarcó.
OpenAI y xAI respaldan el llamado
Sam Altman, director ejecutivo de OpenAI, coincidió con la necesidad de establecer límites en el desarrollo de los sistemas más avanzados. También respaldó la realización de evaluaciones independientes y consideró que los revisores deberían contar con un nivel de acceso similar al de un empleado de las compañías.
“Estoy de acuerdo con Dario en que tenemos que poner coto a la frontera. Este ha sido el principal tema de debate de las últimas semanas en OpenAI”, escribió Altman. Agregó que su empresa adoptará una medida similar y que posteriormente ofrecerá más información.
Elon Musk, director de xAI, también expresó su apoyo de forma breve al señalar que “Dario tiene razón”. Las posturas coincidentes colocan la seguridad, la supervisión externa y la regulación en el centro de la discusión sobre la siguiente etapa de la inteligencia artificial.
