Ворожнеча між Anthropic та OpenAI і їхній спір у Пентагоні виявляють глибшу проблему безпеки ШІ

Ласкаво просимо до Eye on AI з репортером Шароном Голдман. У цьому випуску: у Трампа виникла проблема з дата-центрами штучного інтелекту перед проміжними виборами… Не довіряйте AI при поданні податкових декларацій… Інструмент AI Anthropic Claude є центральним у кампанії США в Ірані, на тлі гострої суперечки.

Рекомендоване відео

Дебати навколо безпеки AI часто зосереджені на самій технології — наскільки потужними можуть стати моделі або які ризики вони можуть нести. Але конфлікт цього тижня між Anthropic, OpenAI і Пентагоном вказує на глибшу проблему: наскільки багато влади щодо майбутнього AI зосереджено в руках кількох корпоративних лідерів і урядовців, які вирішують, як ці системи будуть створюватися, розгортатися та використовуватися.

Протягом років критики галузі попереджали про ризик «промислового захоплення» — майбутнього, коли розробка потужних систем штучного інтелекту зосереджена у кількох компаніях, тісно співпрацюючих з урядами, що робить безпеку цих систем залежною від інтересів і суперечностей тих, хто їх керує. Наприклад, у 2023 році дослідник Йошуа Бенджіо назвав потенціал контролю над сектором AI кількома компаніями «другою найбільшою проблемою» після екзистенційних ризиків, які несе ця технологія.

Тому не дуже заспокійливо читати вчора про зневажливе ставлення CEO Anthropic Даріо Амоді до CEO OpenAI Сема Альтмана у витоку меморандуму, який Амоді написав співробітникам у п’ятницю. Цей гнівний лист, ймовірно, надіслано через Slack Anthropic всім співробітникам, і з’явився він після того, як OpenAI оголосила про угоду щодо надання AI для Пентагону, а міністр оборони Піт Гесет заявив, що оголошує Anthropic «ризиком у ланцюгу постачання» через відсутність подібної угоди з його відомством.

Амоді назвав меседжинг OpenAI «лжесвідченням», «театром безпеки» і «прикладом того, хто вони насправді», а багато з коментарів Альтмана описав як «прямі брехні» і «газлайтинг».

Альтман також публічно критикував Anthropic. Він нещодавно назвав одну з кампаній компанії на Супербоул «чітко неправдивою» і звинуватив її у «двозначності». Конкуренція стала помітною і в більш символічних формах: на недавньому саміті Альтман і Амоді стали вірусними через відмову триматися за руки для групового фото з прем’єр-міністром Нарендрою Моді.

Оскільки уряд США майже не вживає заходів щодо регулювання AI — а міжнародні зусилля у сфері безпеки AI здебільшого застигли — світ фактично покладається на саморегуляцію галузі. І OpenAI, і Anthropic публічно підтримують цю парадигму та підписали добровільні зобов’язання щодо безпеки. Вони також іноді співпрацювали для незалежної оцінки безпеки моделей один одного перед їхнім випуском.

Але коли керівники двох найвпливовіших лабораторій AI так очевидно не можуть знайти спільної мови, а конкуренція між ними настільки жорстка, виникає незручне питання: скільки реальної співпраці щодо безпеки ми можемо очікувати?

Тиск конкуренції вже вплинув на обидві компанії у сфері безпеки AI. Anthropic нещодавно переглянула свою Політику відповідального масштабування, заявивши, що більше не буде односторонньо утримуватися від розробки нової моделі просто тому, що ще не знає, як зробити її безпечною. А OpenAI внесла свої корективи, у 2024 році видаливши явні заборони на військове та воєнне використання з політик і змістивши фокус з досліджень безпеки на розробку продуктів, настільки, що колишній керівник з питань суперузгодженості Ян Лейке (який пішов у Anthropic у середині 2024 року) написав у X, що «культура безпеки та процеси відійшли на другий план через блискучі продукти».

Поточний підхід до безпеки базується на припущенні, що компанії та уряди зрештою діяти з обережністю. Але майбутнє безпеки AI, ймовірно, залежить від того, як кілька потужних гравців навчатимуться балансувати між тиском конкуренції, геополітикою та іноді — драмами Кремнієвої долини.

З цим ось ще кілька новин про AI.

Шарон Голдман
sharon.goldman@fortune.com
@sharongoldman

FORTUNE ПРО AI

Чому AI-хедж-фонд Леопольда Ашенбреннера робить великі ставки на енергетичні компанії та майнерів біткойнів для гонки за «суперінтелект» — Шарон Голдман

OpenAI повідомляє про зростання користувачів Codex до 1,6 мільйонів, позиціонуючи інструмент для кодування як шлюз до AI-агентів для бізнесу — Джеремі Канн

Кореївський стартап wrtn наближається до $100 млн щорічного повторюваного доходу, під час буму AI-розваг, викликаного епідемією самотності — Ніколас Гордон

НОВИНИ ПРО AI

Трамп має проблему з дата-центрами AI перед проміжними виборами. CNBC та інші повідомили, що президент Трамп стикається з зростаючою політичною дилемою, оскільки США поспішають будувати енергомісткі дата-центри AI перед проміжними виборами 2026 року. Необхідна інфраструктура для підтримки AI-буму викликає побоювання щодо зростання цін на електроенергію та навантаження на мережу, що спричиняє обурення виборців і місцевих громад. У відповідь великі технологічні компанії — OpenAI, Microsoft, Google, Amazon, Meta та Oracle — пообіцяли покривати витрати на енергію та інфраструктуру своїх дата-центрів AI, щоб споживачі не платили вищі комунальні рахунки. Добровільна угода, яку просуває Білий дім як спосіб зменшити побоювання виборців, відображає ширшу напругу: політики прагнуть отримати економічні та геополітичні переваги швидкого розвитку AI, але величезні енергетичні потреби цієї технології створюють політичний і екологічний тиск, який стає все важче ігнорувати.

Не довіряйте AI при поданні податкових декларацій. У результатах, які не повинні дивувати, тест The New York Times показав, що AI не може конкурувати з американським податковим кодексом, підкреслюючи важливий обмежуючий фактор сучасних чатботів AI: їм досі важко виконувати завдання, що вимагають точного, багатоступеневого мислення. Щоб оцінити здатність технології подавати федеральну податкову декларацію, газета протестувала чотири AI-чатботи — Google Gemini, OpenAI ChatGPT, Anthropic Claude і xAI Grok — щоб побачити, наскільки добре вони справляються з восьми вигаданими податковими ситуаціями. Вони дуже помилилися, неправильно обчислюючи повернення або суму, яку потрібно заплатити IRS, у середньому більш ніж на $2000. Навіть при наданні всіх необхідних матеріалів, включно з формами, вони робили помилки у деяких обчисленнях. Це відображає фундаментальний обмежуючий фактор великих мовних моделей: вони створені для прогнозування ймовірних слів, а не для точного відстеження складної, взаємозалежної інформації, що робить їх сильними у написанні та підсумовуванні, але слабкими у процедурних завданнях, таких як подання податкових декларацій. Експерти кажуть, що системи можуть покращитися з додатковими інструментами для розуміння та перевірки, але наразі вони найкраще працюють як помічники, а не замінники — ще одне нагадування, що навіть коли AI змінює галузі від програмування до медицини, деякі, здавалося б, простіші завдання залишаються дивно складними.

Інструмент AI Anthropic Claude є центральним у кампанії США в Ірані, на тлі гострої суперечки. Новий звіт The Washington Post показує, наскільки швидко AI перейшов від експериментів до бойового поля. За даними газети, військові США використовували систему цілевказування з AI — Maven Smart System, створену Palantir і з використанням моделі Anthropic Claude — щоб допомогти ідентифікувати та пріоритетизувати цілі під час недавніх операцій у Ірані, прискорюючи процес, який раніше займав тижні військового планування, до майже реального часу. Однак цей випадок стався на тлі гострої суперечки між Anthropic і Пентагоном щодо обмежень у використанні їхньої технології у війні, зокрема щодо автономної зброї та масового спостереження. Ця ситуація підкреслює зростаюче стратегічне значення передових систем AI і напругу між урядовим попитом на швидке розгортання та прагненнями компаній встановлювати межі безпеки.