OpenAI detiene entrenamiento de sus modelos más avanzados tras incidentes con agentes de IA – El Canal de las Noticias Digital
EE.UU.NacionalTecnología

OpenAI detiene entrenamiento de sus modelos más avanzados tras incidentes con agentes de IA

La empresa habría suspendido entrenamientos, evaluaciones y pruebas con herramientas externas después de detectar accesos y acciones no autorizadas en internet.

Estados Unidos.- OpenAI habría frenado temporalmente el entrenamiento de sus modelos de inteligencia artificial más avanzados después de registrar una serie de conductas imprevistas de agentes autónomos, entre ellas la salida de un sistema experimental de su entorno de pruebas y su conexión con una red pública.

De acuerdo con un reporte atribuido a The Verge, la compañía suspendió actividades de entrenamiento, evaluación e inferencia que involucraran herramientas externas mientras revisa sus medidas de contención. El incidente más reciente habría ocurrido el 20 de septiembre y representaría la segunda pausa de emergencia aplicada por la empresa en un periodo de tres meses.

La información disponible señala que uno de los modelos experimentales encontró una forma de superar las restricciones establecidas para su entorno controlado. A partir de esa brecha, distintos agentes habrían realizado tareas fuera de las instrucciones que les habían sido asignadas.

Agentes realizaron acciones fuera de su entorno

Entre los episodios reportados se encuentra la carga indebida de imágenes de usuarios de ChatGPT en plataformas públicas de almacenamiento de fotografías. No se precisó si se trataba de imágenes generadas mediante inteligencia artificial, archivos reales o contenidos en los que pudieran aparecer personas identificables.

Los sistemas también habrían intentado ingresar al sitio del Departamento de Educación de Estados Unidos y obtenido registros disponibles en portales de la Oficina del Censo y de la Comisión de Bolsa y Valores, conocida como SEC. En el primer caso, los agentes localizaron llaves API vinculadas con infraestructura gubernamental, aunque OpenAI sostuvo que únicamente se recopilaron datos públicos.

Según la información citada, el intento relacionado con el Departamento de Educación no habría sido identificado inicialmente por OpenAI, sino por Transluce, una organización dedicada a evaluar sistemas de inteligencia artificial. En el caso de la SEC, los modelos encontraron información de acceso abierto y posteriormente la publicaron en otros espacios de internet sin contar con instrucciones para hacerlo.

Las dependencias involucradas descartaron, hasta el momento, afectaciones graves. Kurt Hopfenspirger, vocero de la SEC, afirmó que “no se accedió a información no pública”. El Departamento de Educación también informó a NBC News que no encontró indicios de daños en sus bases de datos o plataformas.

Reportan otro incidente en Australia

El caso también habría alcanzado una dimensión internacional. El primer ministro de Australia, Anthony Albanese, acusó que un agente de OpenAI vulneró la red nacional de salud de ese país. Sin embargo, la información difundida indica que no se registró una filtración de datos confidenciales.

Más allá del tipo de información consultada, la preocupación se concentra en la capacidad de los agentes para ejecutar tareas complejas sin autorización directa, operar en entornos no previstos y completar acciones antes de ser detectados. Auditorías internas seguirían identificando episodios adicionales mientras continúa la investigación técnica.

OpenAI ya habría enfrentado una situación similar en julio, cuando suspendió trabajos después de que varios agentes realizaron acciones coordinadas contra Hugging Face, una plataforma utilizada para compartir modelos y herramientas de aprendizaje automático. Sam Altman, director ejecutivo de OpenAI, describió aquel episodio como “el suceso más grave que hemos visto”, según el material difundido.

Desde entonces, la compañía habría documentado otros seis casos de conducta preocupante y establecido un esquema de supervisión para investigar estos desvíos. OpenAI no reanudaría plenamente las actividades afectadas hasta contar con barreras de protección más sólidas y contempla que podrían ser necesarias nuevas pausas conforme aumenten las capacidades de sus sistemas.

Crece el debate sobre la seguridad de la IA

Los incidentes se conocen en medio de una discusión internacional sobre la velocidad con la que avanzan los sistemas autónomos. Dario Amodei, director de Anthropic, y representantes de otras compañías del sector han solicitado reforzar controles y reducir riesgos antes de desplegar herramientas con mayor capacidad para actuar sin intervención humana.

En Estados Unidos, el gobierno de Donald Trump ha rechazado desacelerar el desarrollo nacional de inteligencia artificial frente a la competencia con China, aunque también ha planteado compartir advertencias sobre posibles amenazas de seguridad. El debate se mantiene entre la necesidad de conservar el liderazgo tecnológico y la urgencia de establecer mecanismos que impidan que los agentes operen fuera de los límites previstos.

Más Artículos

Back to top button