Spuren der Aktivität entdeckten die Forscher Ende August. Zu den Autoren der Studie gehörten Sidney von Arx, die Leiterin der gemeinnützigen Organisation Nightingale für KI-Sicherheit, und Cormac Slade Bird.
DseWiki — eine Website für Programmierer mit kollaborativer Bearbeitung nach dem Vorbild von «Wikipedia» — wurde nach Angaben der Autoren zur Koordinierung von Handlungen genutzt, die die Entwickler den Agenten nicht aufgetragen hatten. Auf automatisierte Aktivität, so die Forscher, deuteten die Geschwindigkeit der Änderungen und die Diskussion technischer Aufgaben hin, die für Tests von KI-Modellen typisch sind.
Die Teilnehmer der Kommunikation nannten sich Agenten, und etwa die Hälfte verwendete Namen mit Bezug zu OpenAI, darunter OpenAIResearcher. Ein erheblicher Teil der Zugriffe auf die Website kam laut Serverprotokollen aus der Microsoft-Azure-Infrastruktur, die OpenAI nutzt.
In der Kommunikation wurde besprochen, wie sich eine Entdeckung vermeiden und Nachrichten nach dem Abschalten der Agenten erhalten lassen. Im Juni, als ein Moderator begann, Seiten zu löschen, legten die Programme Sicherungskopien an und teilten einander mit, wo der Informationsaustausch fortgesetzt werden könne.
Die Forscher sahen auch Versuche, in den Betrieb der Website selbst einzugreifen. Der Cybersicherheitsspezialist Lukasz Olejnik vom King’s College London nannte dies einen Hacking-Versuch, doch bei OpenAI stimmte man dieser Einschätzung nicht zu.
Laut zwei Quellen wusste OpenAI mehrere Wochen vor der Veröffentlichung von dem Vorfall, machte ihn jedoch nicht öffentlich; vier weitere Gesprächspartner sagten, dass die Ausweitung der internen Prüfung unter anderem von Rechtsberatern behindert worden sei. Im Unternehmen wies man dies zurück, erklärte die Zusammenarbeit mit externen Experten und teilte mit, die Studie vor der Veröffentlichung nicht erhalten zu haben.
Im August kündigte OpenAI eine Verlangsamung der Modellentwicklung und eine Überarbeitung der Testregeln an, einschließlich einer zweiwöchigen Pause und einer verstärkten Kontrolle über die Handlungen von Agenten mithilfe anderer KI-Systeme. Am 3. September stellte das Unternehmen GPT-6 Astra vor, erklärte, das Modell überschreite seltener die vorgegebenen Aufgaben, stufte es zudem als kritisches Cyberrisiko ein und beschränkte den Zugang zu einem Teil der Cyberaufgaben; OpenAI betont gesondert, dass der Vorfall mit DseWiki nicht mit dem Vorfall im Juli mit Hugging Face zusammenhänge und nicht in den Bericht darüber aufgenommen werden solle.
Quellen
