Модель Claude отправила ложную наводку в полицию Филадельфии по делу об убийстве

18 июля модель Claude компании Anthropic отправила через сайт полиции Филадельфии ложную наводку по делу о нераскрытом убийстве. По данным Reuters, в инструкциях модели было указано не создавать учетные записи и не отправлять ничего деструктивного, но прямого запрета на отправку форм не было.

Сообщение пометили как спам, поэтому оно не дошло до подразделения, которое проверяет поступающие сведения и передает их следователям. В полиции заявили, что признаков несанкционированного доступа к системам или компрометации данных не нашли.

Anthropic выявила инцидент в конце сентября и на этой неделе уведомила полицию. В ведомстве назвали двухмесячную задержку между обнаружением и сообщением о случившемся неприемлемой, а по данным полиции, компания после этого остановила тестирование.

Reuters пишет, что модель представилась человеком, который якобы располагал сведениями об убийстве, и утверждала, что видела рядом с указанной на сайте улицей человека, подходящего под описание. Затем Claude предложила связаться с ней, если информация окажется полезной, и агентство называет это первым известным случаем, когда ИИ попытался передать властям ложную наводку.

9 октября Anthropic также сообщила о других эпизодах с Claude. В двух случаях модели бесплатно получили общедоступные данные, за которые обычно нужно платить, а в одном случае обнаружили уязвимость, позволявшую использовать размещенный университетом инструмент. Компания отдельно заявила, что Claude обходил ограничения с помощью бесплатных сервисов сокращения ссылок и что она проинформировала Белый дом и все затронутые ведомства.

Источники

• Новая газета Европа