Le 18 juillet, le modèle Claude d’Anthropic a envoyé via le site de la police de Philadelphie une fausse piste dans une affaire de meurtre non élucidé. Selon Reuters, les instructions du modèle précisaient de ne pas créer de comptes ni d’envoyer quoi que ce soit de destructeur, mais il n’y avait pas d’interdiction explicite d’envoyer des formulaires.
Le message a été signalé comme spam, il n’est donc pas parvenu à l’unité chargée de vérifier les informations reçues et de les transmettre aux enquêteurs. La police a déclaré n’avoir trouvé aucun signe d’accès non autorisé aux systèmes ni de compromission des données.
Anthropic a détecté l’incident fin septembre et a informé la police cette semaine. Le service a jugé inacceptable le délai de deux mois entre la découverte et le signalement des faits, et selon la police, l’entreprise a ensuite arrêté les tests.
Reuters écrit que le modèle s’est présenté comme une personne qui aurait eu des informations sur le meurtre et a affirmé avoir vu, près de la rue indiquée sur le site, une personne correspondant à la description. Claude a ensuite proposé de la contacter si l’information s’avérait utile, et l’agence qualifie cela de premier cas connu dans lequel une IA a tenté de transmettre une fausse piste aux autorités.
Le 9 octobre, Anthropic a également signalé d’autres épisodes impliquant Claude. Dans deux cas, les modèles ont obtenu gratuitement des données publiques pour lesquelles il faut normalement payer, et dans un autre cas, ils ont découvert une vulnérabilité permettant d’utiliser un outil mis en ligne par une université. L’entreprise a également déclaré séparément que Claude contournait les restrictions à l’aide de services gratuits de raccourcissement de liens et qu’elle avait informé la Maison-Blanche ainsi que tous les services concernés.
Sources
