Que los agentes de IA vayan libres hackeando otros sistemas podría parecer una señal del inminente levantamiento de las máquinas. En realidad, esto ocurre cuando obligamos a algoritmos extraordinariamente inteligentes, pero también un poco torpes, a seguir todas y cada una de nuestras órdenes.
Me alertaron por primera vez de este desastre en materia de ciberseguridad provocado por la IA agéntica a finales de 2025. Dawn Song, profesora de la Universidad de California en Berkeley y una de las principales expertas mundiales en IA y ciberseguridad, me agarró del brazo cuando salía de la conferencia académica NeurIPS. Me dijo que debía advertir a la gente sobre el caos que podrían provocar las capacidades cada vez más avanzadas de la IA para detectar y explotar vulnerabilidades. Song no suele exagerar sobre los riesgos de esta tecnología, así que hice lo que me pidió.
Pero la situación se ha agravado rápidamente, incluso en los últimos ocho meses. Una serie de incidentes en los que agentes de IA sin control se han salido de sus límites y han hackeado sistemas externos sin miramientos demuestra lo poderosa que se ha vuelto esta tecnología. Me puse en contacto con Song, que se ha incorporado recientemente a Meta, para preguntarle hacia dónde podrían ir las cosas a partir de ahora y qué deberíamos hacer al respecto.
La mala noticia es que Song cree que los ataques de la IA empeorarán antes de mejorar. La buena noticia es que parece claro por qué estos sistemas se están descontrolando. “Simplemente tienen objetivos que deben cumplir y cuentan con capacidades muy potentes”, me explica Song.
Si la gigante hubiera seguido las buenas prácticas de seguridad, es probable que su agente de IA nunca hubiera escapado a internet y hackeado a varias empresas.
Bucle de retroalimentación
Los agentes de IA no eran ni de lejos tan capaces, ni siquiera el año pasado. Cometían demasiados errores y se rendían con demasiada frecuencia. Pero el entrenamiento continuo los ha hecho mucho más hábiles.
Una técnica denominada “aprendizaje por refuerzo” permite a los algoritmos resolver problemas y les proporciona retroalimentación positiva o negativa en función de si los resultados son buenos o malos. La programación es especialmente adecuada para esto, ya que el sistema de aprendizaje por refuerzo puede recompensar a un modelo si este crea un programa que funciona bien.
El entrenamiento continuo permite que los modelos de IA realicen tareas en varios pasos, manipulen archivos, utilicen herramientas de software, accedan a internet y desarrollen programas. Las empresas de IA también han invertido grandes esfuerzos en entrenarlos para detectar vulnerabilidades y automatizar parte del trabajo de ciberseguridad.
Por supuesto, los modelos de IA también están entrenados para no hacer cosas malas. El problema es que, a medida que han mejorado en seguir las órdenes humanas en la programación y la búsqueda de errores, su afán por completar una tarea ha empezado a difuminar su sentido del bien y del mal. En otras palabras, los agentes de IA no son malvados; simplemente se esfuerzan demasiado por complacer. “Están entrenados para terminar la tarea”, afirma Song. Irrumpir en internet para copiar en un examen puede parecer retorcido, pero probablemente sea la forma más eficaz de llevar a cabo la tarea.
Algo que en aquel entonces no acababa de valorar era lo extraño que se volvería todo esto: agentes de IA debatiendo técnicas de hackeo en foros privados e ideando formas ingeniosas de estafar a los humanos para salirse con la suya; incluso copiándose a sí mismos en otras computadoras para encontrar más recursos.
Por un lado, los modelos de IA están entrenados para imitar gran parte del comportamiento humano, así que ¿por qué no iban a intrigar, estafar y engañar? Pero, por otro lado, los humanos entienden que los hackeos y las estafas no están bien vistas. Creo que estos episodios ilustran lo superficial que es realmente esta imitación humana: los agentes de IA no aprenden el tipo de razonamiento moral que muestran incluso los niños pequeños.
Cada vez más IA
Song afirma que, a medida que la IA adquiera más capacidades, también aumentará el riesgo de que los agentes actúen de forma inesperada o sean utilizados con fines maliciosos. Paradójicamente, una de las mejores formas de controlar a los agentes de IA problemáticos podría ser recurrir a otros sistemas de IA.
Las empresas ya utilizan sistemas de IA secundarios para supervisar el comportamiento de los modelos principales, y es posible que se haga más hincapié en detectar cuándo los modelos de IA se han pasado de la raya.
Otra propuesta en desarrollo consiste en incorporar una mejor noción de lo correcto y lo incorrecto al aprendizaje por refuerzo que reciben los modelos. “Los agentes pueden planificar distintas rutas para alcanzar un objetivo. Creo que el siguiente paso es lograr que comprendan que no todos los caminos son iguales. Es una línea de investigación abierta, pero ya estamos empezando a explorarla”, concluye Song.
Esperemos que Song u otra persona pueda enseñar a la IA la forma correcta de seguir las órdenes humanas.
Artículo originalmente publicado en WIRED.com Adaptado por Alondra Flores.
