Священный Грааль Crypto AI: Передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и самым высоким технологическим барьером, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, на которой мы сосредоточим внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения, от аппаратного обеспечения, программного обеспечения низкого уровня, систем управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта архитектура глубокой кооперации позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но при этом имея проблемы с монополией данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении её между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя в физическом плане он имеет "распределенные" характеристики, в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, и главный узел централизованно координирует каждую подзадачу. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма
Распределённое обучение — это комбинация «централизованного управления + распределённого выполнения», аналогично тому, как один и тот же начальник удалённо управляет несколькими «офисами», чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация обучения обозначает более открытую и устойчивую к цензуре будущую траекторию. Его ключевыми характеристиками являются: несколько недоверяющих узлов, которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Бутылочное горлышко в эффективности связи: нестабильная сеть, очевидное бутылочное горлышко в синхронизации градиентов
Отсутствие доверяемого выполнения: недостаток доверяемой вычислительной среды, трудно проверить, действительно ли узел участвует в вычислениях.
Недостаток единой координации: нет центрального диспетчера, распределение задач и механизм отката при исключениях сложны
Децентрализация обучения можно понять как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "реально осуществимое крупномасштабное децентрализованное обучение" все еще представляет собой системную инженерную задачу, затрагивающую несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы и проверку моделей, однако вопрос о том, можно ли "совместно эффективно + мотивировать честность + получить правильные результаты", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределённым и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и способностями к локальной кооперации, при этом оно сочетает в себе преимущества распределённых данных при Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или больших трудностей в кооперации, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими требованиями и этическими нормами, что делает невозможным открытое共享; а задачи, лишенные основы кооперативных стимулов, страдают от недостатка внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным тезисом. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью стимуляции, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической новизны и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в архитектуре систем и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные шаги к инженерным достижениям. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будут обсуждены их различия и взаимодополняющие отношения в рамках децентрализованной системы AI-обучения.
Prime Intellect: Доказуемая траектория обучения в сетях совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком для моделирования и выполнения задач, разработанным Prime Intellect для децентрализованных тренировочных сцен. Он специально создан для гетерогенных сетей и асинхронного участия. Используя обучение с подкреплением в качестве приоритетного объекта адаптации, он структурно декомпозирует процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами верификации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки действий обучения
TOPLOC — это механизм основной верификации, предложенный Prime Intellect, предназначенный для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легкой структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в объекты, подлежащие верификации, что является ключевым новшеством для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя возможный путь для построения аудируемой и мотивируемой Децентрализация сети совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам непрерывно отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для создания стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, созданной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанной для решения проблем, часто встречающихся в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальные соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизмы восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL: Библиотека координации связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, целью которой является решение проблем совместимости традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что делает его основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности обучающей сети и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой и доверительной сети совместного обучения.
Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, с возможностью верификации и экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определение среды обучения, начальной модели, функции вознаграждения и стандартов валидации
Узел тренировки: выполнение локальной тренировки, отправка обновлений весов и наблюдательных траекторий
Верификационные узлы: использование механизма TOPLOC для проверки подлинности обучающих действий и участия в расчете вознаграждений и агрегации стратегий
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
INTELLECT-2: Первый выпущенный проверяемый Децентрализация обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронного, бездоверительного Децентрализация узлового сотрудничества, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с использованием более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, в полностью асинхронной архитектуре, время обучения составило более 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы "обучение — это консенсус". INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, проверяемости и замкнутого экономического стимула в процессе обучения децентрализованной сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
7
Поделиться
комментарий
0/400
CrossChainBreather
· 07-21 00:22
Ресурсы Крупные инвесторы AI
Посмотреть ОригиналОтветить0
FOMOmonster
· 07-19 17:41
Теперь это действительно святой Грааль AI
Посмотреть ОригиналОтветить0
GateUser-c802f0e8
· 07-18 06:11
Тяжелая промышленность + Святой Грааль, если говорить проще, то это просто сжигание денег.
Посмотреть ОригиналОтветить0
not_your_keys
· 07-18 00:56
Зачем ИИ централизовать?
Посмотреть ОригиналОтветить0
HodlTheDoor
· 07-18 00:55
Здесь тренируют ИИ?
Посмотреть ОригиналОтветить0
StableNomad
· 07-18 00:54
децентрализованный ИИ? Чувствуется как Luna 2.0, если честно... давайте сначала посмотрим на эти рисковые метрики
Децентрализация AI тренировки исследования: от Prime Intellect до Pluralis передовые технологии анализа
Священный Грааль Crypto AI: Передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и самым высоким технологическим барьером, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, на которой мы сосредоточим внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, который выполняется единственным учреждением в локальном высокопроизводительном кластере, охватывающим весь процесс обучения, от аппаратного обеспечения, программного обеспечения низкого уровня, систем управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта архитектура глубокой кооперации позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но при этом имея проблемы с монополией данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении её между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя в физическом плане он имеет "распределенные" характеристики, в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, и главный узел централизованно координирует каждую подзадачу. Основные методы включают:
Распределённое обучение — это комбинация «централизованного управления + распределённого выполнения», аналогично тому, как один и тот же начальник удалённо управляет несколькими «офисами», чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация обучения обозначает более открытую и устойчивую к цензуре будущую траекторию. Его ключевыми характеристиками являются: несколько недоверяющих узлов, которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понять как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "реально осуществимое крупномасштабное децентрализованное обучение" все еще представляет собой системную инженерную задачу, затрагивающую несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы и проверку моделей, однако вопрос о том, можно ли "совместно эффективно + мотивировать честность + получить правильные результаты", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределённым и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и способностями к локальной кооперации, при этом оно сочетает в себе преимущества распределённых данных при Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или больших трудностей в кооперации, она естественным образом не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими требованиями и этическими нормами, что делает невозможным открытое共享; а задачи, лишенные основы кооперативных стимулов, страдают от недостатка внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным тезисом. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью стимуляции, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической новизны и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в архитектуре систем и дизайне алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные шаги к инженерным достижениям. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будут обсуждены их различия и взаимодополняющие отношения в рамках децентрализованной системы AI-обучения.
Prime Intellect: Доказуемая траектория обучения в сетях совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком для моделирования и выполнения задач, разработанным Prime Intellect для децентрализованных тренировочных сцен. Он специально создан для гетерогенных сетей и асинхронного участия. Используя обучение с подкреплением в качестве приоритетного объекта адаптации, он структурно декомпозирует процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать с механизмами верификации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки действий обучения
TOPLOC — это механизм основной верификации, предложенный Prime Intellect, предназначенный для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легкой структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в объекты, подлежащие верификации, что является ключевым новшеством для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя возможный путь для построения аудируемой и мотивируемой Децентрализация сети совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм gossip-распространения и локальную синхронизацию, позволяя нескольким узлам непрерывно отправлять частичные обновления в условиях несинхронизированного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для создания стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, созданной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанной для решения проблем, часто встречающихся в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальные соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизмы восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL: Библиотека координации связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, целью которой является решение проблем совместимости традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что делает его основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности обучающей сети и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой и доверительной сети совместного обучения.
Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, не требующую разрешений, с возможностью верификации и экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол функционирует на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
INTELLECT-2: Первый выпущенный проверяемый Децентрализация обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронного, бездоверительного Децентрализация узлового сотрудничества, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с использованием более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, в полностью асинхронной архитектуре, время обучения составило более 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы "обучение — это консенсус". INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, проверяемости и замкнутого экономического стимула в процессе обучения децентрализованной сети.