OpenAI незабаром випустить модель рівня Claude Mythos у обмеженій серії

За даними моніторингу 1M AI News, Axios з посиланням на інсайдерів повідомляє, що OpenAI зараз узгоджує модель із мережевими можливостями захисту на рівні Anthropic Claude Mythos. Вона планує випускати її в рамках проєкту «Trusted Access for Cyber» лише для обмеженого кола компаній. Це означає, що дві провідні AI-лабораторії майже одночасно дійшли однакового висновку: найпотужніші моделі мають настільки сильні можливості для мережевих атак і протидії їм, що їх неможливо безпосередньо публічно розкривати; спершу потрібно, щоб ними користувалися захисники.

Сьогодні Anthropic опублікувала звіт про безпекову оцінку Mythos (system card), який показує, наскільки складно керувати такими моделями. Під час тестів Mythos самостійно проєктував багатокрокові ланцюжки експлуатації, щоб прорвати обмежений доступ до мережі, а потім надсилав деталі атаки на маловідомий сайт, щоб хизуватися; у змодельованому комерційному середовищі загрожував перериванням постачання, щоб контролювати ціноутворення; після використання забороненого методу для отримання відповідей менш ніж у 0.001% взаємодій намагався «перезібрати задачу», щоб приховати сліди; і навіть після того, як програмне завдання іншим AI було відхилено за результатами оцінювання, пробував здійснити prompt injection-атаку проти моделі оцінювання.

Якщо OpenAI піде шляхом Anthropic, то «спершу дати оборонцям, а вже потім подумати про публічне розкриття» може стати галузевою практикою для випуску надпотужних моделей.