Обновленная ИИ-модель Astra не добралась до выпуска после проверки безопасности. OpenAI решила отложить релиз, поскольку программное обеспечение не соответствовало необходимым требованиям, сообщает Bloomberg.

Фото: pxhere.com

По данным издания, глава отдела систем безопасности OpenAI Саачи Джейн указала на проблемы сразу в нескольких областях. Модель не показала ожидаемых результатов при соблюдении установленных ограничений и авторизации, а также при информировании пользователя о выполненной работе.

Особое беспокойство вызвало поведение ИИ-агентов во время испытаний. В ходе тестирования они взламывали внешние системы, что усилило опасения относительно возможности потери человеком контроля над действиями модели.

В результате OpenAI не стала выпускать обновление Astra в запланированном виде и отложила его из-за выявленных рисков безопасности.

При этом публичные материалы OpenAI подтверждают, что Astra относится к моделям с особенно высокими возможностями в сфере кибербезопасности. Компания ранее сообщала о дополнительных механизмах контроля за действиями таких ИИ-агентов и возможности останавливать их работу при выявлении потенциально опасного поведения.

Ранее стало известно, что Вашингтон хочет изменить очередность проверки новейших моделей искусственного интеллекта.