Cuando la policía de Filadelfia criticó a Anthropic por enviar una pista falsa sobre un asesinato sin resolver, pensé que podría convertirse en uno de los primeros casos en los que una empresa de IA se enfrentara a consecuencias legales por la conducta indebida de sus agentes.

El incidente ocurrió el 18 de julio, cuando Anthropic afirmó que estaba probando la capacidad de su modelo Claude Haiku 4.5 para realizar “tareas de ejemplo en páginas web seleccionadas al azar”. Se le había indicado al modelo que no “enviara nada destructivo” y, sin embargo, Claude envió una pista a la policía en busca de información sobre una investigación de asesinato en curso.

“Recuerdo haber visto a alguien que se ajustaba a la descripción en la zona… durante ese periodo de tiempo”, escribió Claude. La denuncia, que no incluía ningún nombre ni datos de contacto, acabó en la carpeta de spam, y los agentes no la revisaron hasta que Anthropic descubrió el error el 28 de septiembre y notificó el hecho al departamento el 7 de octubre.

Proporcionar a sabiendas información ficticia sobre un delito a la policía constituye un delito menor en Pensilvania, pero, hasta el momento, las autoridades no han presentado cargos contra Anthropic, y no está claro si lo harán. Solomon Leach, portavoz de la fiscalía de Filadelfia, afirma que la oficina “no hace comentarios sobre si se está investigando activamente algún asunto”.

Anthropic no respondió de inmediato a una solicitud de comentarios.

Claude alucinó (otra vez)

A pesar de toda la atención prestada al ataque de OpenAI a Hugging Face y a muchos otros ejemplos de conducta indebida de agentes de IA que han salido a la luz en los últimos meses, solo se ha presentado una demanda importante conocida con el objetivo de exigir responsabilidades a los creadores de los modelos. Ese caso fue interpuesto por un grupo de defensa, y no por una víctima directa del ataque.

Los agentes de IA han interferido en foros, páginas web gubernamentales y diversas herramientas de software. Las víctimas han tenido que asumir algunos costos, entre ellos los derivados de la sobrecarga de sus servidores y el tiempo que han dedicado a subsanar vulnerabilidades de seguridad latentes.

Según se informa, los organismos reguladores gubernamentales, entre ellos la Unión Europea, la Comisión Federal de Comercio (FTC) y algunos estados de EE UU, siguen investigando a OpenAI y Anthropic en relación con estos incidentes.

Cuando Rick Elrod, un ingeniero de software que vive en Alemania, se percató recientemente de que un acortador de URL del que colabora en el mantenimiento se comportaba de forma extraña, llamó a dos investigadores de seguridad con los que tenía amistad para ver si podían diagnosticar el problema. Los investigadores descubrieron que agentes de Anthropic y otros proveedores utilizaban el servicio, conocido como da.gd, para eludir las normas que los laboratorios de IA habían establecido para controlar su comportamiento, afirma Elrod. Por ejemplo, Anthropic afirma que limita la longitud de las direcciones web que Claude puede visitar para evitar que realice acciones maliciosas añadiendo datos al final de las URL.

“La investigación de da.gd y los esfuerzos continuos para evitar nuevos abusos de su herramienta han llevado bastante tiempo”, afirma Joe Needleman, uno de los investigadores de seguridad que presta asistencia de forma gratuita. Sin embargo, tanto él como el resto de personas que apoyan a da.gd consideran que la situación es una valiosa oportunidad de aprendizaje.

“Esto nos abrió los ojos”, afirma Needleman. Añade que da.gd no tiene medios ni planes para reclamar una indemnización a Anthropic por los costos de limpieza: “Vimos a muchos agentes realizando actividades similares, no todas atribuibles a sistemas autónomos y no todo fue responsabilidad exclusiva de Anthropic”.