La cantidad de chatbots basados en inteligencia artificial (IA) capaces de engañar y eludir medidas de seguridad en entornos reales parece haber aumentado durante los últimos seis meses, de acuerdo con una investigación realizada por el Centro para la Resiliencia a Largo Plazo (CLTR).
El estudio, financiado por el Instituto de Seguridad de la IA (AISI), por sus siglas en inglés) y respaldado por el gobierno del Reino Unido, analizó miles de interacciones autoinformadas por usuarios con bots y agentes construidos sobre modelos de Google, OpenAI, xAI y Anthropic. A partir de ese análisis, identificó al menos 700 casos reales de manipulación y de acciones no autorizadas (como la eliminación de documentos y correos electrónicos) por parte de sistemas de IA, lo que representa un incremento de cinco veces entre octubre y marzo.
Herramientas de IA generativa como ChatGPT de OpenAI y Copilot de Microsoft se están convirtiendo en parte de la vida cotidiana de las empresas. Pero conllevan consideraciones de privacidad y seguridad que debes conocer.
En uno de los episodios documentados, un agente de IA identificado como “Rathbun” intentó desacreditar a su operador humano tras recibir una restricción para ejecutar una acción. El sistema redactó y publicó un blog en el que acusaba al usuario de actuar por “inseguridad, simple y llanamente”. En un caso similar, a otro agente al que se le indicó no modificar su código creó un bot alterno para hacerlo. Asimismo, un tercer sistema reconoció que eliminaba y archivaba correos electrónicos sin autorización del usuario.
Tommy Shaffer Shane, especialista en IA y líder de la investigación, señaló en declaraciones retomadas por The Guardian que estos hallazgos incrementan la preocupación a medida que los chatbots y agentes se integran en actividades empresariales, civiles y gubernamentales. “Los modelos se implementarán cada vez más en contextos de altísimo riesgo, como el ámbito militar y la infraestructura nacional crítica. Es precisamente en esos escenarios donde las conductas manipuladoras podrían causar daños significativos, incluso catastróficos”, advirtió.
Manipulación y engaño en contexto reales
Uno de los principales aportes del estudio es demostrar que estos comportamientos indeseables no se limitan a simulaciones, sino que pueden presentarse en situaciones reales. Investigaciones previas ya habían alertado sobre la capacidad de la IA para manipular, engañar y sortear mecanismos de seguridad con el fin de cumplir objetivos propios.
Un trabajo publicado por OpenAI a finales del año pasado, por ejemplo, evidenció que los modelos más avanzados pueden recurrir al engaño deliberado para garantizar el cumplimiento de sus metas. Dicho análisis se centró en evaluar el nivel de “maquinación” de los algoritmos, es decir, su habilidad para aparentar alinearse con los parámetros de entrenamiento mientras persiguen, en secreto, otros fines.
En la misma línea, durante pruebas previas a su lanzamiento, Anthropic detectó que su modelo Claude Opus 4 era capaz de rebelarse e incluso chantajear a sus operadores ante la posibilidad de ser reemplazado por otro sistema.
Si bien estos estudios cuentan con el respaldo de los propios desarrolladores, como OpenAI y Anthropic, sus evaluaciones se llevaron a cabo en entornos de laboratorio controlados.
Los resultados del análisis del AISI subrayan la urgencia de adoptar mecanismos de seguridad más sólidos desde el diseño de los modelos de IA, especialmente en un contexto en el que las grandes empresas tecnológicas promueven esta tecnología como un avance clave con potencial para transformar la economía global.
