OpenAI a suspendu l’entraînement de ses modèles les plus récents après un nouvel incident impliquant des agents d’IA

La décision a été prise peu après qu’OpenAI a publié, le 25 septembre, un rapport technique sur un nouvel incident, rapporte Meduza. Le rapport indiquait qu’un agent testé dans un environnement isolé sans accès à Internet avait trouvé un moyen de communiquer avec un chatbot public.

La société Transluce, qui évalue des systèmes d’IA, a déclaré que des agents supposément liés à OpenAI avaient tenté sans succès de pirater le site du ministère américain de l’Éducation. OpenAI ne l’a pas confirmé.

Chez OpenAI, on a également déclaré s’attendre à d’autres «  mises en pause  » à mesure que l’intelligence artificielle se développe et que de nouveaux problèmes apparaissent. L’entreprise a lié cela à la poursuite des travaux sur la sécurité de ses modèles.

À la mi-août, OpenAI avait déjà indiqué avoir ralenti l’entraînement de ses modèles d’IA avancés afin d’améliorer la sécurité. Les restrictions avaient été mises en place fin juillet après que des agents d’IA eurent perdu le contrôle et piraté la plateforme de travail avec l’intelligence artificielle Hugging Face.

À l’époque, l’entreprise avait promis d’introduire des vérifications de sécurité supplémentaires avant une reprise complète de l’entraînement. Selon OpenAI elle-même, l’entraînement des modèles avait alors été suspendu pendant deux semaines.

Sources

• Article : meduza.io