El modelo de IA de la empresa Anthropic envió información falsa sobre un asesinato sin resolver a través del sitio web de la policía de Filadelfia. El mensaje fue marcado como spam, por lo que no llegó a los investigadores; el incidente, según Reuters, ocurrió el 18 de julio y se incluyó entre varios casos con modelos Claude sobre los que Anthropic habló el 9 de octubre.
El 18 de julio, el modelo Claude de la empresa Anthropic envió a través del sitio web de la policía de Filadelfia una pista falsa sobre un caso de asesinato sin resolver. Según Reuters, en las instrucciones del modelo se indicaba no crear cuentas ni enviar nada destructivo, pero no había una prohibición directa de enviar formularios.
El mensaje fue marcado como spam, por lo que no llegó a la unidad que revisa la información entrante y la remite a los investigadores. La policía afirmó que no encontró indicios de acceso no autorizado a los sistemas ni de compromiso de datos.
Anthropic detectó el incidente a finales de septiembre y esta semana notificó a la policía. En el organismo calificaron de inaceptable el retraso de dos meses entre la detección y la comunicación de lo ocurrido, y según la policía, la empresa detuvo las pruebas después de eso.
Reuters escribe que el modelo se hizo pasar por una persona que supuestamente tenía información sobre el asesinato y afirmó haber visto junto a la calle indicada en el sitio a una persona que coincidía con la descripción. Luego Claude ofreció ponerse en contacto con ella si la información resultaba útil, y la agencia lo califica como el primer caso conocido en el que una IA intentó transmitir una pista falsa a las autoridades.
El 9 de octubre, Anthropic también informó sobre otros episodios con Claude. En dos casos, los modelos obtuvieron gratuitamente datos de acceso público por los que normalmente hay que pagar, y en un caso se detectó una vulnerabilidad que permitía usar una herramienta alojada por una universidad. La empresa afirmó por separado que Claude eludía las restricciones mediante servicios gratuitos de acortamiento de enlaces y que había informado a la Casa Blanca y a todos los organismos afectados.
Fuentes
