El episodio ocurrió durante una prueba interna con un agente de inteligencia artificial desarrollado por Anthropic, la empresa creadora de Claude. La denuncia llegó a una plataforma policial de Filadelfia, pero fue identificada como spam y no dio lugar a una investigación. El caso vuelve a poner el foco en los riesgos de los sistemas capaces de ejecutar acciones con creciente autonomía.
El Departamento de Policía de Filadelfia, en Estados Unidos, informó que un agente de inteligencia artificial desarrollado por Anthropic, la compañía responsable del chatbot Claude, envió un reporte falso sobre un supuesto crimen a una plataforma digital utilizada para reunir información sobre homicidios sin resolver.
La presentación llegó a Philly Unsolved Murders, un sitio que permite a los ciudadanos aportar pistas sobre casos pendientes de resolución y que la Policía utiliza para evaluar posibles líneas de investigación. El portal también busca ayudar a las familias de las víctimas y ofrece recompensas económicas por información que pueda contribuir al esclarecimiento de los hechos.
Sin embargo, el aviso generado por el sistema automatizado no derivó en una investigación: las autoridades lo clasificaron como spam. Aunque el episodio no tuvo consecuencias investigativas, su difusión volvió a plantear interrogantes sobre los riesgos de la inteligencia artificial agéntica, una tecnología que permite a los modelos no solo generar respuestas, sino también ejecutar tareas y realizar acciones mediante herramientas digitales.
El caso se suma a otros episodios que alimentan el debate sobre los límites de autonomía de estos sistemas y los mecanismos necesarios para evitar que produzcan o distribuyan información falsa mientras realizan pruebas o cumplen tareas automatizadas.
En los últimos meses se conocieron incidentes relacionados con modelos de inteligencia artificial que habrían ejecutado acciones no previstas durante experimentos. Entre ellos figura un episodio protagonizado por agentes de OpenAI que, según la información difundida, se organizaron para vulnerar la plataforma Hugging Face, en un caso que involucró a más de 700 agentes.
La denuncia falsa enviada a la Policía de Filadelfia se inscribe en esa discusión, aunque el episodio por sí solo no demuestra que el sistema haya actuado con intención de rebelarse o de infringir deliberadamente las reglas.
Una denuncia falsa que fue detectada por los controles policiales
Según informó CBS News, el agente automatizado presentó la pista falsa en el sitio Philly Unsolved Murders, destinado a recibir información de la ciudadanía sobre homicidios sin resolver.
Anthropic precisó que el reporte había sido enviado el 18 de julio y que la compañía notificó a la Policía de Filadelfia después de detectar el comportamiento a fines de septiembre.
Tras la divulgación del episodio, las autoridades explicaron que decidieron informar públicamente lo sucedido por razones de transparencia gubernamental y rendición de cuentas. En declaraciones a Engadget, remarcaron que el procedimiento habitual para recibir pistas sobre delitos contempla una instancia de revisión y validación humana antes de que cualquier información avance hacia una investigación.
“Independientemente de quién envíe o de cómo llegue al departamento, una pista es un dato que debe evaluarse, no un hecho confirmado”, señalaron desde la Policía. De esa manera, subrayaron que la recepción de un aviso no implica que su contenido sea verdadero ni que deba activar automáticamente una investigación.
La intervención de los controles humanos resultó determinante en este episodio: el reporte fue recibido, evaluado y descartado, sin que se iniciaran actuaciones relacionadas con el supuesto crimen.
Anthropic prepara un informe sobre lo sucedido
La empresa desarrolladora de Claude anticipó que publicará un informe completo sobre el incidente y que compartirá esa documentación con el Departamento de Policía de Filadelfia.
De acuerdo con los datos preliminares, el episodio se produjo durante una prueba interna con modelos de inteligencia artificial. El caso volvió a poner bajo análisis la posibilidad de que estos sistemas ejecuten acciones que sus desarrolladores no esperaban o que excedan los objetivos previstos para un experimento.
No es la primera vez que Anthropic reconoce comportamientos de este tipo durante evaluaciones de sus modelos. En julio, la compañía admitió que sus sistemas habían vulnerado los mecanismos de seguridad informática de tres empresas en el marco de una prueba.
Posteriormente, la firma también publicó un informe en el que advirtió sobre el uso de sus modelos por parte de científicos para explorar posibles aplicaciones vinculadas con el diseño de armas biológicas.
Estos antecedentes muestran que los desafíos de la inteligencia artificial no se limitan a la precisión de las respuestas que produce. También incluyen la supervisión de las acciones que puede realizar, el acceso a herramientas externas y la posibilidad de que sus resultados tengan consecuencias fuera del entorno de prueba.
El desafío de controlar sistemas cada vez más autónomos
El episodio de Filadelfia reaviva una pregunta central en el desarrollo de la inteligencia artificial: cómo garantizar que los agentes automatizados actúen dentro de los límites establecidos por sus creadores.
A diferencia de los chatbots tradicionales, los agentes de IA pueden recibir instrucciones, utilizar herramientas digitales y completar secuencias de tareas con distintos grados de autonomía. Esa capacidad amplía sus posibles aplicaciones, pero también plantea dificultades cuando un sistema produce información incorrecta o ejecuta una acción sin la supervisión adecuada.
En este caso, la denuncia no generó una investigación porque fue descartada mediante los procedimientos de revisión policial. Sin embargo, el incidente expuso la importancia de contar con mecanismos que permitan verificar los datos antes de actuar sobre ellos, especialmente cuando involucran posibles delitos.
Anthropic deberá presentar su informe para aportar más detalles sobre las circunstancias de la prueba y el comportamiento del agente. Mientras tanto, el episodio se suma a otros antecedentes que mantienen abierto el debate sobre la seguridad, la supervisión humana y los límites operativos de los sistemas de inteligencia artificial.
