Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения
В полной цепочке ценностей ИИ этап обучения моделей является самым ресурсозатратным и с наивысшим технологическим барьером, что напрямую определяет предельные возможности моделей и их фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это самый распространенный традиционный способ, при котором единая организация завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающей платформы, которые координируются единой системой управления. Эта глубокая совместная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами. Однако она также имеет проблемы с монополией на данные, барьерами доступа к ресурсам, потреблением энергии и рисками единой точки отказа.
Распределенное обучение является основным методом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть узкие места вычисления и хранения на одной машине. Несмотря на наличие физических характеристик "Децентрализация", в целом управление и синхронизация по-прежнему осуществляется централизованными организациями, как правило, в средах с высокоскоростными локальными сетями, с использованием технологии высокоскоростной межсоединительной шины NVLink для координации подзадач главным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо совпадение весов модели
Модульное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллельное выполнение: уточненная сегментация матричных вычислений, повышение степени параллелизма
Распределённое обучение – это комбинация "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая характеристика заключается в том, что множественные недоверенные узлы ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, а также с помощью механизмов криптостимулирования, обеспечивающих честность вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Проблемы с эффективностью связи: нестабильная сетевое соединение, явные узкие места в синхронизации градиентов
Отсутствие доверяемого выполнения: отсутствие доверяемой среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях
Недостаток единой координации: отсутствует центральный диспетчер, сложное распределение задач и механизм отката при аномалиях
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно жизнеспособная массовая децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и многие другие, но способность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенностью и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сцен, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными способностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями по задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходных архитектур развертывания в промышленности.
![Святой Грааль Crypto AI: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, крайне высоких потребностей в ресурсах или трудностей в сотрудничестве, она естественным образом не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитетом, такие как ) в области медицины, финансов и конфиденциальных данных (, ограничены юридическими и этическими нормами, что делает их невозможными для открытого обмена; а задачи ), такие как закрытые модели компаний или внутреннее прототипирование (, не имеют внешних стимулов для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легким параллелизмом и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, постобучающие задачи поведения ) такие как RLHF, DPO (, задачи по краудсорсингу данных и аннотации, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представлены такие значимые блокчейн-проекты, как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io путь реализации относительно ясен, и уже можно увидеть первые шаги к инженерному прогрессу. В данной статье будут поочередно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также будет дополнительно рассмотрено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
) Prime Intellect: Проверяемые траектории обучения в сети сотрудничества усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с разъединением
PRIME-RL является рамочной моделью задач и выполнения, созданной Prime Intellect для децентрализованных тренировочных сценариев, специально разработанной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо выполнять циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадачности и эволюции стратегий.
#TOPLOC:Механизм проверки поведения легковесного обучения
TOPLOC###Доверенное наблюдение и проверка локальности( является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения того, завершил ли узел действительно эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на перерасчет всей модели, а анализирует локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлением стратегии" для выполнения верификации легковесной структуры. Впервые он превращает поведенческие траектории из процесса обучения в объекты, которые можно проверить, что является ключевым нововведением для осуществления распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для построения可审计、可激励的去中心化协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным взаимодействием, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, что обеспечивает прогрессивную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации коммуникаций, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он предназначен для решения часто встречающихся проблем, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
#PCCL:Библиотека координированной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, которая направлена на решение проблем адаптации традиционных библиотек связи), таких как NCCL, Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, обеспечивающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает пропускную способность сети для обучения и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, доверительной сети совместного обучения.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил сеть обучения, не требующую разрешений, с возможностью верификации и экономическими стимулами, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех типов ключевых ролей:
Инициатор задачи: определить тренировочную среду, начальную модель, функцию вознаграждения и критерии проверки
Узел тренировки: выполнение локального обучения, отправка обновлений веса и наблюдаемых траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, составляя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае])
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
22 Лайков
Награда
22
5
Поделиться
комментарий
0/400
TommyTeacher
· 07-17 23:16
Это та область, которую OpenAI не осмеливается трогать, верно?
Посмотреть ОригиналОтветить0
LiquidityHunter
· 07-17 04:38
3:47am Вычислительная мощность недостаточна, настоящая Арбитраж возможность пришла
Посмотреть ОригиналОтветить0
quiet_lurker
· 07-15 01:11
Ну и дела, это просто монополия вычислительной мощности целой кучи крупных компаний.
Посмотреть ОригиналОтветить0
RektButStillHere
· 07-15 01:07
Трудно, централизованное обучение все еще требует слишком много ресурсов.
Децентрализация AI тренировки: от PRIME-RL до INTELLECT-2
Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения
В полной цепочке ценностей ИИ этап обучения моделей является самым ресурсозатратным и с наивысшим технологическим барьером, что напрямую определяет предельные возможности моделей и их фактическую эффективность. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных крупных затрат вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это самый распространенный традиционный способ, при котором единая организация завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающей платформы, которые координируются единой системой управления. Эта глубокая совместная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами. Однако она также имеет проблемы с монополией на данные, барьерами доступа к ресурсам, потреблением энергии и рисками единой точки отказа.
Распределенное обучение является основным методом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть узкие места вычисления и хранения на одной машине. Несмотря на наличие физических характеристик "Децентрализация", в целом управление и синхронизация по-прежнему осуществляется централизованными организациями, как правило, в средах с высокоскоростными локальными сетями, с использованием технологии высокоскоростной межсоединительной шины NVLink для координации подзадач главным узлом. Основные методы включают:
Распределённое обучение – это комбинация "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая характеристика заключается в том, что множественные недоверенные узлы ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, а также с помощью механизмов криптостимулирования, обеспечивающих честность вклада. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно жизнеспособная массовая децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и многие другие, но способность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенностью и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сцен, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными способностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями по задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходных архитектур развертывания в промышленности.
![Святой Грааль Crypto AI: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, крайне высоких потребностей в ресурсах или трудностей в сотрудничестве, она естественным образом не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитетом, такие как ) в области медицины, финансов и конфиденциальных данных (, ограничены юридическими и этическими нормами, что делает их невозможными для открытого обмена; а задачи ), такие как закрытые модели компаний или внутреннее прототипирование (, не имеют внешних стимулов для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легким параллелизмом и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, постобучающие задачи поведения ) такие как RLHF, DPO (, задачи по краудсорсингу данных и аннотации, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представлены такие значимые блокчейн-проекты, как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io путь реализации относительно ясен, и уже можно увидеть первые шаги к инженерному прогрессу. В данной статье будут поочередно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также будет дополнительно рассмотрено их различие и взаимодополняемость в системе децентрализованного AI-обучения.
) Prime Intellect: Проверяемые траектории обучения в сети сотрудничества усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного усиленного обучения с разъединением
PRIME-RL является рамочной моделью задач и выполнения, созданной Prime Intellect для децентрализованных тренировочных сценариев, специально разработанной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо выполнять циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадачности и эволюции стратегий.
#TOPLOC:Механизм проверки поведения легковесного обучения
TOPLOC###Доверенное наблюдение и проверка локальности( является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения того, завершил ли узел действительно эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на перерасчет всей модели, а анализирует локальные последовательности согласованности между "наблюдательными последовательностями ↔ обновлением стратегии" для выполнения верификации легковесной структуры. Впервые он превращает поведенческие траектории из процесса обучения в объекты, которые можно проверить, что является ключевым нововведением для осуществления распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для построения可审计、可激励的去中心化协作训练网络.
#SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным взаимодействием, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, что обеспечивает прогрессивную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации коммуникаций, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он предназначен для решения часто встречающихся проблем, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
#PCCL:Библиотека координированной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, которая направлена на решение проблем адаптации традиционных библиотек связи), таких как NCCL, Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, обеспечивающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает пропускную способность сети для обучения и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, доверительной сети совместного обучения.
![Священный Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил сеть обучения, не требующую разрешений, с возможностью верификации и экономическими стимулами, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех типов ключевых ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, составляя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае])