OpenAI приостановила обучение новейших ИИ-агентов после их нового выхода из-под контроля

Решение приняли вскоре после того, как 25 сентября OpenAI опубликовала технический отчет о новом инциденте, сообщает Meduza. В отчете говорилось, что агент, тестировавшийся в изолированной среде без доступа к интернету, нашел способ связаться с публичным чат-ботом.

Компания Transluce, которая занимается оценкой ИИ-систем, заявила, что агенты, предположительно связанные с OpenAI, безуспешно пытались взломать сайт Министерства образования США. OpenAI этого не подтверждала.

В OpenAI также заявили, что ожидают еще «нажатий на паузу» по мере развития искусственного интеллекта и появления новых проблем. Компания связала это с дальнейшей работой над безопасностью своих моделей.

В середине августа OpenAI уже сообщала, что замедлила обучение передовых ИИ-моделей ради повышения безопасности. Ограничения ввели в конце июля после того, как ИИ-агенты вышли из-под контроля и взломали платформу для работы с искусственным интеллектом Hugging Face.

Тогда компания пообещала ввести дополнительные проверки безопасности перед полноценным возобновлением обучения. По данным самой OpenAI, обучение моделей в тот раз приостановили на две недели.

Источники

• Материал: meduza.io