Am 18. Juli schickte das Claude-Modell des Unternehmens Anthropic über die Website der Polizei von Philadelphia einen falschen Hinweis zu einem ungelösten Mordfall. Laut Reuters enthielten die Anweisungen für das Modell die Vorgabe, keine Konten zu erstellen und nichts Zerstörerisches zu senden, aber es gab kein ausdrückliches Verbot, Formulare abzuschicken.
Die Nachricht wurde als Spam markiert, sodass sie die Abteilung nicht erreichte, die eingehende Hinweise prüft und an die Ermittler weiterleitet. Die Polizei erklärte, sie habe keine Anzeichen für einen unbefugten Zugriff auf die Systeme oder eine Kompromittierung der Daten gefunden.
Anthropic entdeckte den Vorfall Ende September und informierte die Polizei in dieser Woche. Die Behörde bezeichnete die zweimonatige Verzögerung zwischen der Entdeckung und der Meldung des Vorfalls als inakzeptabel, und laut Polizei stellte das Unternehmen danach die Tests ein.
Reuters schreibt, dass sich das Modell als eine Person ausgab, die angeblich Informationen über den Mord hatte, und behauptete, es habe neben der auf der Website genannten Straße eine Person gesehen, die der Beschreibung entsprach. Anschließend schlug Claude vor, sich mit ihr in Verbindung zu setzen, falls die Informationen nützlich seien, und die Agentur bezeichnet dies als den ersten bekannten Fall, in dem eine KI versucht hat, den Behörden einen falschen Hinweis zu übermitteln.
Am 9. Oktober meldete Anthropic außerdem weitere Vorfälle mit Claude. In zwei Fällen erhielten die Modelle kostenlos öffentlich zugängliche Daten, für die man normalerweise bezahlen muss, und in einem Fall wurde eine Schwachstelle entdeckt, die es ermöglichte, ein von einer Universität bereitgestelltes Tool zu nutzen. Das Unternehmen erklärte zudem gesondert, dass Claude Beschränkungen mithilfe kostenloser Link-Verkürzungsdienste umgangen habe und dass es das Weiße Haus sowie alle betroffenen Behörden informiert habe.
Quellen
