a16z длинная статья: Следующая граница ИИ — не в языке, а в физическом мире — тройной маховик роботов, автономных наук и интерфейсов мозг-компьютер

Автор: Oliver Hsu (a16z)

Перевод: Deep潮 TechFlow

Обзор Deep潮: Эта статья от исследователя a16z Oliver Hsu — самая систематическая карта инвестиций в «физический ИИ» с 2026 года. Его мнение: основная линия развития — язык/код — всё ещё масштабируется, но по-настоящему прорывные новые способности, способные привести к следующему поколению революционных технологий, находятся в трёх смежных областях — универсальные роботы, автономная наука (AI-учёные), интерфейсы мозг-компьютер и другие новые человеко-машинные интерфейсы. Автор разбирает пять базовых способностей, поддерживающих их, и показывает, как эти три направления формируют взаимно питающийся структурный «фрикционный» цикл. Для тех, кто хочет понять инвестиционную логику физического ИИ — это сейчас самая полная рамка.

Сегодня доминирующая парадигма ИИ — организация вокруг языка и кода. Закон масштабирования больших языковых моделей уже хорошо описан, коммерческий цикл данных, вычислительных ресурсов и алгоритмов движется, и каждый новый уровень возможностей приносит значительную отдачу, большая часть которой очевидна. Эта парадигма оправдывает привлечение капитала и внимания.

Но рядом расположенные области уже делают существенный прогресс в стадии зарождения. В их числе VLA (модель визуально-языково-действий), WAM (модель мировых действий) и другие маршруты универсальных роботов, физическая и научная дедукция, а также новые интерфейсы человеко-машинного взаимодействия (включая мозг-компьютер, беззвучную речь, нейроносители и новые сенсорные каналы, такие как цифровое обоняние). Помимо технологий, эти направления начинают привлекать таланты, капитал и основателей. Технологические основы расширения AI в физический мир — одновременно созревают, и последние 18 месяцев показывают, что эти области скоро перейдут в стадии масштабирования.

В любой технологической парадигме, где разница между текущими возможностями и среднесрочным потенциалом максимальна, обычно есть два признака: во-первых, они могут получать выгоду от тех же масштабных «красных дивидендов», что и передовая линия; во-вторых, они находятся чуть дальше от мейнстрима — настолько близко, что могут использовать инфраструктуру и исследовательский импульс, и настолько далеко, что требуют дополнительных усилий. Эта дистанция сама по себе выполняет двойную функцию: она создаёт барьер для быстрых последователей и одновременно определяет более редкое, менее насыщенное информацией пространство, где могут возникнуть новые способности — именно потому, что путь ещё не пройден полностью.

Подпись к рисунку: текущая парадигма ИИ (язык/код) и смежные передовые системы — схема взаимосвязи

На сегодняшний день три области, соответствующие этому описанию: обучение роботов, автономная наука (особенно в материалах и биологических науках), а также новые человеко-машинные интерфейсы (включая мозг-компьютер, беззвучную речь, нейроносители и новые сенсорные каналы). Они не полностью независимы, объединены общей темой — «передовые системы физического мира». Они используют один базовый набор primitives: изучение физической динамики, архитектуры для действий, инфраструктура симуляции и синтеза данных, расширяющиеся сенсорные каналы и замкнутые системы управления агентами. Взаимодействие между ними усиливает друг друга. Это также самые вероятные области появления качественных прорывов — результат взаимодействия масштабирования моделей, физической реализации и новых данных.

В этой статье мы разберём эти базовые primitives, объясним, почему эти три области представляют передовые возможности, и покажем, как их взаимное усиление формирует структурный цикл, продвигающий AI в физический мир.

Пять базовых primitives

Перед тем как перейти к конкретным приложениям, важно понять, что объединяет эти передовые системы — их технологическая база. Для переноса AI в физический мир нужны пять ключевых primitives. Эти технологии не принадлежат какому-то одному приложению — они являются компонентами, позволяющими создавать системы «расширения AI в физический мир». Их синхронное развитие — причина, почему именно сейчас это особенно важно.

Подпись к рисунку: пять базовых primitives, поддерживающих физический ИИ

Primitive 1: изучение и репрезентация физической динамики

Самый фундаментальный primitive — это способность обучить универсальную, сжатую репрезентацию поведения в физическом мире: как движутся объекты, как деформируются, сталкиваются, как реагируют на силы. Без этого слоя все системы физического ИИ должны были бы с нуля изучать физические законы своей области — что слишком дорого.

Несколько архитектурных подходов приближаются к этой цели с разных сторон. VLA-модель работает сверху: берёт предварительно обученную визуально-языковую модель — такую, которая уже понимает объекты, пространственные отношения и смысл языка — и добавляет декодер действий, выдающий команды движения. Главное — что затраты на обучение «видеть» и «понимать» мир можно снизить за счёт масштабного интернет-просмотра изображений и текста. Модели Physical Intelligence π₀, Gemini Robotics от Google DeepMind, GR00T N1 от Nvidia — все проверяют эти идеи на всё больших масштабах.

WAM-модель идёт снизу: использует видео-диффузионный трансформер, предварительно обученный на миллиарды видеороликов, сохраняя богатое знание о физической динамике (как падают объекты, как их скрывают, как взаимодействуют под действием сил), и соединяет эти знания с генерацией движений. Nvidia DreamZero демонстрирует нулевой пример — способность к обобщению на новые задачи и среды, используя небольшое количество адаптационных данных, и переносить знания из видео в реальный мир.

Третий маршрут — самый перспективный для будущего: он пропускает предварительное обучение VLM и видео-диффузионные модели. GEN-1 от Generalist — это полностью обученная с нуля базовая модель для физического взаимодействия, основанная на более чем 500 тысячах часов реальных данных взаимодействия с физическими объектами, собранных с помощью недорогих носимых устройств. Это не классический VLA (без дообучения на визуально-языковых данных), и не WAM. Это модель, специально созданная для физического взаимодействия, обученная не на статистике изображений или текста, а на статистике контактов человека с объектами.

Компании вроде World Labs работают в пространственной интеллигенции, дополняя эти primitives: они учатся восстанавливать 3D-структуру сцен, что отсутствует у VLA, WAM и базовых моделей взаимодействия. В отличие от 2D признаков, полученных из текста и изображений, или 2D-проекций видео, модели пространственного интеллекта учатся реконструировать и моделировать полную 3D-структуру физической среды — геометрию, освещение, скрытие, отношения объектов, пространственное расположение.

Конвергенция этих маршрутов — важный момент. Независимо от источника репрезентации — наследуемая из VLM, обученная совместно на видео, или созданная с нуля — базовая репрезентация — это сжатая, переносимая модель поведения в физическом мире. Эти репрезентации могут использовать огромные объёмы данных: не только видео и траектории роботов, но и массивные данные человеческого тела, собираемые с помощью носимых устройств. Одна и та же репрезентация может обслуживать робота, учащегося складывать полотенца, автономную лабораторию, предсказывающую реакции, или нейронный декодер, интерпретирующий активность коры головного мозга.

Primitive 2: архитектура для действий, ориентированная на телесность

Обнаружение физической репрезентации недостаточно. Чтобы «понимать» и переводить это в надёжные физические действия, нужна архитектура, решающая связанные задачи: преобразование высокоуровневых намерений в последовательности команд, поддержание согласованности в длинных цепочках движений, работу в условиях задержек, постоянное обучение и адаптация.

Двухуровневая архитектура уже стала стандартом для сложных задач с телесной составляющей: медленная, мощная модель визуально-языкового понимания (System 2) работает в паре с быстрой, лёгкой моделью для управления движениями (System 1). Модели вроде GR00T N1, Gemini Robotics, Helix от Figure используют вариации этой идеи, решая противоречие между богатым рассуждением и требованиями к управлению с частотой миллисекунд. Generalist идёт другим путём — использует «резонансное рассуждение», чтобы одновременно думать и действовать.

Механизмы генерации движений тоже быстро развиваются. π₀, основанный на потоковом совпадении и диффузионных моделях, стал основным методом для генерации плавных, высокочастотных движений, заменяя дискретные токены, заимствованные из языкового моделирования. Эти методы используют процесс «шумовой очистки», похожий на синтез изображений, что даёт более гладкие траектории и устойчивость к ошибкам.

Самое важное — расширение обучения с подкреплением (RL) на предварительно обученные модели VLA. Такой базовый модель, обученная на демонстрационных данных, может продолжать совершенствоваться через самостоятельные практики — как человек, оттачивающий навык путём повторных упражнений и самокоррекции. Работа π*₀.₆ от Physical Intelligence — яркий пример масштабируемого применения этого принципа. Они используют RECAP — алгоритм, основанный на преимуществах стратегий и исправлении ошибок, — который решает проблему долгосрочного кредитного распределения в последовательных задачах. Например, если робот чуть наклонил ручку кофемашины, неудача может проявиться только через несколько шагов. Модели только имитируют, а RL позволяет понять, какая ошибка привела к неудаче, и скорректировать действия.

Эта методика — хорошая новость для перспектив RL в области действий. π*₀.₆ успешно собирает и складывает 50 видов одежды, собирает коробки, готовит эспрессо — всё это без вмешательства человека, в реальных домашних условиях, в течение нескольких часов. На сложных задачах RECAP удваивает пропускную способность по сравнению с чистым имитированием, сокращая число ошибок более чем вдвое. Также она показывает, что после обучения RL возникают качественные изменения поведения: более плавные движения, более эффективные стратегии захвата, исправление ошибок, которых не было в демонстрациях.

Эти результаты подтверждают: движущая сила масштабирования моделей — от GPT-2 до GPT-4 — начинает работать и в области телесных действий. Пока что на ранних этапах, с непрерывным, высокоразмерным пространством движений и физическими ограничениями.

Primitive 3: симуляция и синтез данных как инфраструктура масштабирования

В языковой сфере проблема данных решена — миллиарды токенов текста, генерируемых естественным образом и бесплатно. В физическом мире ситуация сложнее — это признано всеми. Самый очевидный сигнал — растущее число стартапов, занимающихся поставками физических данных. Собрать реальные траектории роботов дорого, рискованно и ограниченно по разнообразию. Модель языка может учиться на миллиардах диалогов, а робот — пока что — не может иметь миллиарды физических взаимодействий.

Генерация симуляционных и синтезированных данных — это инфраструктура, которая решает эту проблему. Современные симуляционные системы объединяют физические движки, фотонные рендереры, процедурное создание окружений и генерацию видео на основе симуляции — всё для преодоления разрыва sim-to-real. Процесс начинается с нейронного восстановления реальных сцен (даже с одного смартфона), создаёт точные 3D-активы, затем автоматизирует создание больших объёмов синтезированных данных.

Эволюция симуляционной инфраструктуры меняет экономику физического ИИ: если узкое место — сбор реальных данных, то следующий — проектирование виртуальных сред. Стоимость симуляции растёт с вычислительными ресурсами, не требуя физического оборудования или человека. Это подобно тому, как интернет-данные трансформировали обучение языковых моделей — инвестиции в симуляционные инфраструктуры создают мощный рычаг для всей экосистемы.

Но симуляция — не только для роботов. Она служит и для автономной науки (цифровые двойники лабораторных устройств, моделирование реакций), и для новых интерфейсов (симуляция нейронных сред для обучения BCI, калибровка сенсоров), и для других областей взаимодействия AI и физического мира. Симуляция — универсальный источник данных для физического ИИ.

Primitive 4: расширение сенсорных каналов

Информация о физическом мире передаётся через сигналы, гораздо богаче визуальных и языковых. Ощупывание передаёт свойства материалов, стабильность захвата, контактную геометрию — всё, что не видно камерой. Нейронные сигналы — с помощью существующих интерфейсов — кодируют намерения движения, когнитивные состояния, сенсорный опыт с высокой пропускной способностью. Мышечная активность до появления звука уже содержит информацию о речевом намерении. Четвёртый primitive — это быстрое расширение сенсорных каналов AI — не только за счёт исследований, но и за счёт создания потребительских устройств, программного обеспечения и инфраструктуры.

Подпись к рисунку: расширяющиеся сенсорные каналы AI — от AR и EMG до мозг-компьютерных интерфейсов

Самый очевидный показатель — появление новых устройств. AR-очки за последние годы значительно улучшили опыт и дизайн (уже есть коммерческие и промышленные применения); голосовые носимые позволяют AI лучше понимать контекст физического мира — они действительно идут за пользователем. В перспективе нейроинтерфейсы откроют новые формы взаимодействия. Изменения в вычислительных моделях создают возможности для существенного улучшения человеко-машинного взаимодействия — компании вроде Sesame создают новые каналы и устройства.

Голос — более распространённый канал — также способствует развитию новых способов взаимодействия. Продукты вроде Wispr Flow делают голос основным вводом (благодаря высокой информационной плотности), а беззвучная речь становится всё более популярной. Такие устройства используют датчики для отслеживания движений языка и голосовых связок, распознавая речь без звука — это более ёмкий и точный канал взаимодействия.

Мозг-компьютерные интерфейсы (инвазивные и неинвазивные) — это более глубокий фронтир. Компании вроде Neuralink уже имплантируют устройства, разрабатывают алгоритмы декодирования. Synchron использует внутовенозные стенты для управления цифровыми и физическими системами. Echo Neurotechnologies создаёт системы для восстановления речи, основываясь на высокоточных декодерах активности коры. Nudge и другие стартапы собирают талант и капитал для новых нейроинтерфейсов и платформ.

Технологические достижения в области нейро- и сенсорных интерфейсов — это не только интерфейсы как таковые, а целый спектр, объединённый общей идеей — расширения пропускной способности и модальности каналов между человеком и AI. Каждая новая категория устройств — это источник структурированных данных, питающих primitives. Робот, обученный по данным EMG, будет отличаться от робота, обученного только удалённым управлением; AI, реагирующий на сигналы голосовых связок, — от системы, управляемой клавиатурой; нейро-декодер, обученный по данным BCI, — от любых других каналов.

Распространение этих устройств расширяет пространство данных для обучения физических систем AI — и это во многом движется за счёт коммерческих потребительских устройств, а не только научных лабораторий. Это создаёт мощный цикл сбора данных, который ускоряет развитие primitives.

Primitive 5: замкнутые системы агентных систем

Последний primitive — это архитектурный уровень. Он предполагает создание систем, объединяющих восприятие, дедукцию и управление движениями в непрерывный, автономный, замкнутый цикл, функционирующий без вмешательства человека на длительных временных масштабах.

В языковых моделях это проявляется в появлении агентных систем — цепочек рассуждений, использования инструментов, самокоррекции, — которые превращают однократные диалоги в самостоятельные решения задач. В физическом мире аналогичная трансформация происходит, но с гораздо более высокими требованиями: ошибку в физическом действии исправить сложнее, чем в словах.

Физические агентные системы отличаются тремя характеристиками: во-первых, они должны быть встроены в эксперимент или рабочий цикл — напрямую подключаться к исходным данным, датчикам и исполнительным primitives, чтобы их рассуждения отражались в реальности, а не только в текстах; во-вторых, они требуют долговременной памяти и следа — чтобы связывать последовательные циклы, обеспечивать безопасность и восстанавливать состояние; в-третьих, они должны адаптироваться в замкнутом цикле — корректировать стратегии на основе физических результатов, а не только текстовых отзывов.

Эти primitives объединяют отдельные способности — хорошие модели мира, надёжные архитектуры действий, расширенные сенсорные системы — в полноценную систему, способную автономно функционировать в физическом мире. Это уровень интеграции, и его развитие — ключ к тому, чтобы эти системы могли быть не только исследовательскими прототипами, но и реальными приложениями.

Три области

Эти primitives — универсальные основы, не определяющие, где именно будут применяться. Многие области связаны с физическими действиями, измерениями или восприятиями. Различие между «передовыми системами» и «просто улучшенными существующими» — в степени эффекта сложных взаимодействий primitives и масштабируемой инфраструктуры: не только лучше, но и с появлением новых возможностей.

Роботы, автономная наука и новые интерфейсы — три наиболее ярких примера этого эффекта. Каждая область использует primitives по-своему, каждая сталкивается с текущими ограничениями, и каждая в процессе работы порождает структурированные физические данные — обратную связь, которая улучшает primitives и ускоряет развитие всей системы. Они не единственные, но наиболее насыщенные взаимодействием с физической реальностью, и самые удалённые от текущей парадигмы языка/кода — что создаёт простор для новых возможностей, а также тесно связаны с ними и могут получать их выгоды.

Роботы

Роботы — наиболее буквальный пример физического ИИ: система должна в реальном времени воспринимать, рассуждать и воздействовать на материальный мир. Это также проверка всех primitives.

Представьте, сколько нужно сделать, чтобы робот мог сложить полотенце. Он должен иметь репрезентацию деформируемых материалов, основанную на физических принципах — это не даёт языковое предобучение. Он нуждается в архитектуре для преобразования высокоуровневых команд в управляющие сигналы с частотой выше 20 Гц. Требуются симуляционные данные, потому что реальные демонстрации — дорого и мало. Нужно ощущение тактильных сигналов для контроля захвата. И, наконец, — замкнутый контроллер, который может распознать ошибку и исправить её, а не просто повторять траекторию.

Подпись к рисунку: задачи робота требуют одновременного вызова всех пяти primitives

Именно поэтому робот — это передовая система, а не просто более развитая инженерная дисциплина. Эти primitives не просто улучшают существующие роботы, они открывают новые классы операций, движений и взаимодействий, недоступных в узкоспециализированных промышленных условиях.

За последние годы прогресс в этой области был значительным — мы уже писали об этом. Первое поколение VLA показало, что базовая модель может управлять роботом для выполнения разнообразных задач. Архитектурные улучшения связали высокоуровневое рассуждение и низкоуровневое управление. Модели на краю — с возможностью переноса — позволяют адаптировать один и тот же базовый алгоритм к новым роботам с минимальными данными. Основная проблема — масштабируемость и надёжность, которые пока ограничивают внедрение. Каждая ошибка снижает успех, а в реальных условиях требования выше. RL после обучения — мощный инструмент для повышения надёжности и масштабируемости.

Эти достижения влияют на структуру рынка. В течение десятилетий ценность роботов заключалась в механических системах. Но по мере стандартизации методов обучения, ценность смещается в модели, инфраструктуру обучения и данные. Роботы также дают обратную связь primitives: каждая реальная траектория — это данные для улучшения моделей; неудачи выявляют пробелы симуляции; тестирование новых платформ расширяет разнообразие физических данных. Роботы — и самые требовательные потребители primitives, и важнейшие источники обратной связи.

Автономная наука

Если роботы — тестируют primitives через «реальное физическое действие», то автономная наука — через длительные цепочки дедукции о сложных физических системах — часы или дни. Результаты экспериментов требуют интерпретации, контекстуализации и использования для корректировки стратегии.

Подпись к рисунку: автономная наука (AI-учёные) — способ интеграции пяти primitives

AI-управляемая наука — наиболее комплексное применение primitives. Автоматическая лаборатория (SDL) должна уметь предсказывать результаты химических и физических экспериментов, используя репрезентации, полученные из данных; управлять роботами для перемещения, позиционирования и анализа; моделировать эксперименты для предварительной оценки; расширять сенсорные возможности — спектрометры, хроматографы, масс-спектрометры и новые сенсоры — для оценки результатов. Всё это требует замкнутого управления, чтобы автоматизировать цикл «гипотеза — эксперимент — анализ — корректировка» без вмешательства человека.

Ни одна другая область так глубоко не использует primitives. Поэтому автономная наука — это системный передовой подход, а не просто автоматизация лабораторий. Компании вроде Periodic Labs и Medra объединяют научное мышление и физическую проверку, создавая циклы научных итераций и собирая данные для обучения.

Эта ценность очевидна: традиционно открытие новых материалов занимает годы, а AI может ускорить этот процесс. Основные ограничения — в производстве и проверке, а не в моделировании. SDL — ответ на эти вызовы.

Ещё одна важная характеристика — роль как источника данных. Каждый эксперимент в SDL даёт не только научный результат, но и структурированный, эмпирически подтверждённый обучающий сигнал. Например, измерение кристаллизации полимера — это структурированная информация о физике материалов; подтверждённый путь синтеза — для физического дедуктивного моделирования; неудача — для обучения систем предсказывать провалы. Данные, полученные в реальных экспериментах, — структурированные, причинно-следственные, подтверждённые — именно то, что нужно моделям физического дедуктивного ИИ. Автономная наука — это способ превращать физическую реальность в структурированные знания и развивать экосистему физического ИИ.

Новые интерфейсы

Роботы расширяют возможности AI в физическом действии, автономная наука — в исследовании. Новые интерфейсы — в непосредственной связи с человеческим восприятием и сигналами тела: AR-очки, EMG-рукавицы, имплантируемые мозг-компьютерные интерфейсы. Их объединяет одна функция — расширение пропускной способности и модальности каналов взаимодействия человека и AI, а также создание новых данных для обучения primitives.

Подпись к рисунку: спектр новых интерфейсов — от AR и EMG до мозг-компьютерных интерфейсов

Отличие от мейнстрима — в сложности освоения. Модели языка знают эти модальности концептуально, но не умеют распознавать беззвучную речь, геометрию обонятельных рецепторов или временную динамику EMG. Расшифровка сигналов требует обучения на расширяемых сенсорных данных. Многие модальности не имеют масштабных интернет-данных, их приходится собирать из интерфейсов — это создаёт совместную эволюцию системы и данных, чего в языковом AI не было.

Недавний тренд — рост потребительских устройств: AR-очки, носимые с голосовым управлением, нейроинтерфейсы. Эти устройства создают новые платформы для расширения AI в физический мир и собирают структурированные данные о человеческом взаимодействии с окружением. Например, человек с AR-очками генерирует поток видео о навигации и взаимодействии; носимые собирают биометрические и моторные данные. Распространение таких устройств — это создание распределённой сети сбора физических данных, которая ускоряет развитие primitives.

Мозг-компьютерные интерфейсы — более глубокий фронтир. Neuralink уже имплантирует устройства, Synchron использует внутовенозные стенты для управления системами, Echo — системы для восстановления речи на основе декодирования активности коры. Стартапы вроде Nudge собирают талант и капитал для новых нейроинтерфейсов. Технологические достижения — это не только интерфейсы, а спектр, объединённый идеей расширения пропускной способности каналов между человеком и AI. Каждая новая категория устройств — источник структурированных данных, питающих primitives. Робот, обученный по данным EMG, отличается от управляемого дистанционно; AI, реагирующий на сигналы голосовых связок, — от системы, управляемой клавиатурой; нейро-декодер — от других каналов.

Распространение этих устройств расширяет пространство данных для обучения физических систем AI — и во многом за счёт коммерческих устройств, а не только научных лабораторий. Это создаёт мощный цикл сбора данных, ускоряющий развитие primitives.

Закрытые системы агентных систем

Последний primitive — архитектурный. Он предполагает создание систем, объединяющих восприятие, дедукцию и управление в непрерывный, автономный, замкнутый цикл, функционирующий без вмешательства человека.

В языковых моделях это — агентные системы: цепочки рассуждений, использование инструментов, самокоррекция — превращают однократный диалог в самостоятельное решение задач. В физическом мире аналогичная трансформация — гораздо более сложная: ошибку в физическом действии исправить сложнее, чем в словах.

Физические агентные системы отличаются тремя характеристиками: во-первых, они должны быть встроены в эксперимент или рабочий цикл — напрямую подключаться к исходным данным, датчикам и primitives, чтобы рассуждения отражались в реальности; во-вторых, они требуют долговременной памяти и следа — связывать последовательные циклы, обеспечивать безопасность и восстановление; в-третьих, они должны адаптироваться в замкнутом цикле — корректировать стратегии на основе физических результатов, а не только текстовых отзывов.

Эти primitives объединяют отдельные способности — хорошие модели мира, надёжные архитектуры действий, расширенные сенсорные системы — в полноценную систему, способную автономно функционировать в физическом мире. Это уровень интеграции, и его развитие — ключ к тому, чтобы эти системы могли быть не только исследовательскими прототипами, но и реальными приложениями.

Три области

Эти primitives — универсальные основы, не определяющие, где именно будут применяться. Многие области связаны с физическими действиями, измерениями или восприятиями. Различие между «передовыми системами» и «просто улучшенными существующими» — в степени эффекта сложных взаимодействий primitives и масштабируемой инфраструктуры: не только лучше, но и с появлением новых возможностей.

Роботы, автономная наука и новые интерфейсы — три наиболее насыщенных области этого эффекта. Каждая использует primitives по-своему, каждая сталкивается с текущими ограничениями, и каждая в процессе работы порождает структурированные физические данные — обратную связь, которая улучшает primitives и ускоряет развитие всей системы. Они не единственные, но наиболее насыщенные взаимодействием с физической реальностью, и самые удалённые от текущей парадигмы языка/кода — что создаёт простор для новых возможностей, а также тесно связаны с ними и могут получать их выгоды.