Завдяки використанню потужності алгоритмів, обчислювальної потужності та даних прогрес технології штучного інтелекту переопределяет межі обробки даних і інтелектуального прийняття рішень. У той же час DePIN являє собою зміну парадигми від централізованої інфраструктури до децентралізованих мереж на основі блокчейну.

Оскільки світ прискорює темпи цифрової трансформації, ШІ та DePIN (децентралізована фізична інфраструктура) стали основоположними технологіями, що сприяють трансформації в різних галузях. Поєднання штучного інтелекту та DePIN не тільки сприяє швидкій технологічній ітерації та широкому застосуванню, але й відкриває більш безпечну, прозору та ефективну модель обслуговування, вносячи глибокі зміни в глобальну економіку.

DePIN: Децентралізація переходить від віртуальності до реальності, опори цифрової економіки

DePIN — це абревіатура від Decentralized Physical Infrastructure. У вузькому значенні DePIN в основному відноситься до розподіленої мережі традиційної фізичної інфраструктури, що підтримується технологією розподіленого реєстру, наприклад мережі живлення, мережі зв’язку, мережі позиціонування тощо. У широкому сенсі всі розподілені мережі, що підтримуються фізичними пристроями, можна назвати DePIN, такі як мережі зберігання та обчислювальні мережі.

Джерело зображення: Messari

Якщо Crypto спричинив децентралізовані зміни на фінансовому рівні, то DePIN є децентралізованим рішенням у реальній економіці. Можна сказати, що машина для майнінгу PoW є свого роду DePIN. Отже, DePIN був основою Web3 з першого дня.

Три елементи ШІ — алгоритм, обчислювальна потужність і дані. DePIN має лише два

Вважається, що розвиток штучного інтелекту спирається на три ключові елементи: алгоритми, обчислювальну потужність і дані. Алгоритми відносяться до математичних моделей і програмної логіки, які керують системами ШІ, обчислювальна потужність відноситься до обчислювальних ресурсів, необхідних для виконання цих алгоритмів, а дані є основою для навчання та оптимізації моделей ШІ.

Який із трьох елементів найважливіший? До появи chatGPT люди зазвичай сприймали його як алгоритм, інакше наукові конференції та журнальні статті не були б наповнені тонким налаштуванням алгоритму один за одним. Але коли було представлено chatGPT і велику мовну модель LLM, яка підтримує його інтелект, люди почали усвідомлювати важливість двох останніх. Велика обчислювальна потужність є необхідною умовою для народження моделей. Якість і різноманітність даних мають вирішальне значення для створення надійної та ефективної системи ШІ. Для порівняння, вимоги до алгоритмів уже не такі високі, як раніше.

В епоху великих моделей штучний інтелект перейшов від тонкої настройки до грубої сили із зростаючим попитом на обчислювальну потужність і дані. DePIN може це надати. Стимулювання токенів сприятиме розвитку ринку з довгим хвостом, де величезна обчислювальна потужність і сховище споживчого класу стануть найкращою їжею для великих моделей.

Децентралізація штучного інтелекту – це не варіант, а необхідність

Звичайно, хтось може запитати, навіщо вибирати DePIN замість централізованих послуг, коли і обчислювальна потужність, і дані доступні в центрах обробки даних AWS, і, крім того, AWS перевершує DePIN з точки зору стабільності та взаємодії з користувачем?

Це твердження, природно, має своє обґрунтування. Зрештою, дивлячись на нинішню ситуацію, майже всі великі моделі розробляються прямо чи опосередковано великими інтернет-компаніями. За chatGPT стоїть Microsoft, а за Gemini – Google. У Китаї майже кожна велика інтернет-компанія має велику модель. Чому так? Це тому, що лише великі інтернет-компанії мають обчислювальну потужність, яка підтримується високоякісними даними та потужними фінансовими ресурсами. Але це не правильно. Люди більше не хочуть, щоб ними маніпулювали інтернет-гіганти.

З одного боку, централізований штучний інтелект несе ризики конфіденційності та безпеки даних і може піддаватися цензурі та контролю. З іншого боку, ШІ, створений інтернет-гігантами, ще більше посилить залежність людей, призведе до концентрації ринку та посилить бар’єри для інновацій.

з: https://www.gensyn.ai/

Людству більше не потрібен Мартін Лютер в епоху ШІ. Люди повинні мати право говорити безпосередньо з Богом.

DePIN з точки зору бізнесу: зниження витрат і підвищення ефективності є ключовими

Навіть якщо відкинути дебати між цінностями децентралізації та централізації, з точки зору бізнесу все одно є переваги використання DePIN для ШІ.

По-перше, важливо визнати, що хоча інтернет-гіганти контролюють велику кількість ресурсів відеокарт високого класу, комбінація відеокарт споживчого класу в руках окремих людей все ще може сформувати значну обчислювальну потужність мережі, відому як довгий хвіст. ефект обчислювальної потужності. Ці графічні карти споживчого рівня часто мають високі показники простою. Поки стимули, які надає DePIN, перевищують вартість електроенергії, користувачі мають мотивацію додавати свою обчислювальну потужність до мережі. Крім того, оскільки користувачі самостійно керують фізичною інфраструктурою, мережа DePIN не несе операційних витрат, яких не можуть уникнути централізовані постачальники, і може зосередитися виключно на розробці протоколу.

Для даних мережа DePIN може розкрити потенційну зручність використання даних і зменшити витрати на передачу за допомогою периферійних обчислень та інших методів. Крім того, більшість розподілених мереж зберігання мають можливості автоматичної дедуплікації, що зменшує потребу в значному очищенні даних під час навчання ШІ.

Нарешті, криптоекономіка, яку привносить DePIN, підвищує відмовостійкість системи та має потенціал для досягнення безпрограшної ситуації для постачальників, споживачів і платформ.

Зображення з: UCLA

Якщо ви не вірите, останнє дослідження Каліфорнійського університету в Лос-Анджелесі показує, що використання децентралізованих обчислень дозволяє досягти в 2,75 разів кращої продуктивності, ніж традиційні кластери графічних процесорів за ті ж витрати. Зокрема, це в 1,22 рази швидше і в 4,83 рази дешевше.

Попереду важкий шлях: з якими проблемами зіткнеться AIxDePIN?

Ми вирішили відправитися на Місяць і робити інші речі в цьому десятилітті не тому, що це легко, а тому, що це важко. — Джон Фіцджеральд Кеннеді

Використання розподіленого сховища та розподілених обчислень DePIN для створення моделей штучного інтелекту без довіри все ще створює багато проблем.

Перевірка роботи

По суті, як обчислення моделі глибокого навчання, так і PoW-майнінг є формами загального обчислення зі змінами основного сигналу між схемами воріт. На макрорівні PoW-майнінг — це «марні обчислення», які намагаються знайти хеш-значення з префіксом із n нулів за допомогою незліченних генерацій випадкових чисел і обчислень хеш-функції. З іншого боку, обчислення глибокого навчання — це «корисне обчислення», яке обчислює значення параметрів кожного рівня глибокого навчання за допомогою прямого та зворотного розповсюдження, створюючи таким чином ефективну модель ШІ.

Справа в тому, що «марні обчислення», такі як майнінг PoW, використовують хеш-функції. Легко обчислити зображення з вихідного зображення, але важко обчислити вихідне зображення із зображення, тому будь-хто може легко та швидко перевірити правильність розрахунку; Для розрахунку моделі глибокого навчання через ієрархічну структуру вихід кожного рівня використовується як вхід наступного рівня. Таким чином, перевірка правильності розрахунку вимагає виконання всієї попередньої роботи, і не може бути перевірена просто та ефективно.

Зображення з: AWS

Перевірка роботи дуже важлива, інакше постачальник розрахунків не міг би взагалі виконати обчислення та надіслати випадково згенерований результат.

Одна ідея полягає в тому, щоб різні сервери виконували однакові обчислювальні завдання та перевіряли ефективність роботи, повторюючи виконання та перевіряючи, чи воно однакове. Однак переважна більшість модельних розрахунків є недетермінованими, і однакові результати не можуть бути відтворені навіть у тому самому обчислювальному середовищі, і можуть бути подібними лише в статистичному сенсі. Крім того, подвійний підрахунок призведе до стрімкого зростання витрат, що не узгоджується з основною метою ДеПІН щодо зниження витрат і підвищення ефективності.

Іншою категорією ідей є оптимістичний механізм, який оптимістично припускає, що результат обчислено правильно, і дозволяє будь-кому перевірити результат обчислення. У разі виявлення будь-яких помилок можна подати докази шахрайства. Протокол карає шахрая та винагороджує викривача.

Розпаралелювання

Як згадувалося раніше, DePIN в основному використовує ринок споживчої обчислювальної потужності з довгим хвостом, що означає, що обчислювальна потужність, яку забезпечує один пристрій, відносно обмежена. Для великих моделей штучного інтелекту навчання на одному пристрої займе дуже багато часу, і розпаралелювання потрібно використовувати, щоб скоротити час навчання.

Основна складність розпаралелювання глибокого навчання полягає в залежності між попередніми та наступними завданнями, що ускладнює розпаралелювання.

В даний час розпаралелювання навчання глибокого навчання в основному поділяється на паралелізм даних і паралелізм моделі.

Паралелізм даних означає розподіл даних між кількома машинами. Кожна машина зберігає всі параметри моделі, використовує локальні дані для навчання та, нарешті, агрегує параметри кожної машини. Паралелізм даних добре працює, коли обсяг даних великий, але вимагає синхронного зв’язку для агрегування параметрів.

Паралелізм моделі означає, що коли розмір моделі занадто великий, щоб поміститися в одну машину, модель можна розділити на кілька машин, і кожна машина зберігає частину параметрів моделі. Для прямого та зворотного розповсюдження потрібне спілкування між різними машинами. Паралелізм моделі має переваги, коли модель велика, але накладні витрати на зв’язок під час прямого та зворотного розповсюдження великі.

Інформацію про градієнт між різними шарами можна розділити на синхронне та асинхронне оновлення. Синхронне оновлення є простим і прямим, але воно збільшить час очікування; алгоритм асинхронного оновлення має короткий час очікування, але створює проблеми зі стабільністю.

Зображення: Стенфордський університет, паралельне та розподілене глибоке навчання

Конфіденційність

Глобальна тенденція захисту конфіденційності особи зростає, і уряди в усьому світі посилюють захист конфіденційності персональних даних. Незважаючи на те, що штучний інтелект широко використовує загальнодоступні набори даних, те, що справді відрізняє різні моделі штучного інтелекту, — це власні дані користувачів кожного підприємства.

Як отримати переваги конфіденційних даних під час навчання, не розкриваючи конфіденційності? Як переконатися, що параметри побудованої моделі ШІ не витікають?

Це два аспекти конфіденційності: конфіденційність даних і конфіденційність моделі. Конфіденційність даних захищає користувачів, тоді як конфіденційність моделі захищає організацію, яка створює модель. У поточному сценарії конфіденційність даних набагато важливіша, ніж конфіденційність моделі.

Для вирішення проблеми конфіденційності намагаються знайти різні рішення. Інтегроване навчання забезпечує конфіденційність даних шляхом навчання на джерелі даних, збереження даних локально та передачі параметрів моделі; і доказ нульового знання може стати висхідною зіркою.

Кейс-аналіз: які якісні проекти є на ринку?

Gensyn

Gensyn — це розподілена обчислювальна мережа, розроблена для навчання моделей ШІ. Мережа використовує блокчейн першого рівня на основі Polkadot для перевірки належного виконання завдань глибокого навчання та ініціювання платежів за допомогою команд. Заснована в 2020 році, у червні 2023 року вона оприлюднила раунд фінансування серії A у розмірі 43 мільйонів доларів США, причому a16z очолював інвестиції.

Gensyn використовує метадані процесу оптимізації на основі градієнта для побудови сертифікатів виконаної роботи, яка послідовно виконується за допомогою протоколу точності на основі багатогранних графів і засобу перехресної оцінки, щоб дозволити повторне виконання завдань перевірки та порівняння на узгодженість, і зрештою ланцюжком Підтвердьте це самостійно, щоб переконатися в дійсності розрахунку. Щоб ще більше підвищити надійність перевірки роботи, Gensyn запроваджує стейкинг для створення стимулів.

У системі є чотири типи учасників: подавачі, вирішувачі, верифікатори та викривачі.

• Подавачі є кінцевими користувачами системи, які надають завдання для обчислення та отримують оплату за одиниці виконаної роботи.
• Розв’язувач є основним працівником системи, який виконує навчання моделі та генерує докази для перевірки верифікатором.
• Валідатор є ключовим для зв’язку недетермінованого процесу навчання з детермінованим лінійним обчисленням, копіювання часткових доказів розв’язувача та порівняння відстаней із очікуваними пороговими значеннями.
• Викривач є останньою лінією захисту, перевіряє роботу верифікатора та ставить виклики та отримує винагороду після проходження виклику.

Розв’язувач повинен дати заставу, а викривач перевіряє роботу розв’язувача. Якщо він виявить зло, він оскаржить це. Після того, як виклик пройдено, на токени, поставлені розв’язувачем, буде накладено штраф, а викривач отримає винагороду.

Згідно з прогнозами Gensyn, очікується, що це рішення зменшить витрати на навчання до 1/5 від витрат централізованих провайдерів.

Джерело: Gensyn

FedML

FedML — це децентралізована платформа машинного навчання для децентралізованого та спільного штучного інтелекту будь-де та в будь-якому масштабі. Зокрема, FedML надає екосистему MLOps, яка навчає, розгортає, контролює та постійно вдосконалює моделі машинного навчання, водночас співпрацюючи над об’єднаними даними, моделями та обчислювальними ресурсами, зберігаючи конфіденційність. Заснована у 2022 році компанія FedML оголосила про початковий раунд у розмірі 6 мільйонів доларів у березні 2023 року.

FedML складається з двох ключових компонентів: FedML-API та FedML-core, які представляють API високого рівня та API низького рівня відповідно.

FedML-core включає два незалежних модуля: розподілене спілкування та навчання моделям. Комунікаційний модуль відповідає за основний зв’язок між різними працівниками/клієнтами та базується на MPI; навчальний модуль моделі заснований на PyTorch.

FedML-API побудовано на FedML-ядрі. За допомогою FedML-ядра можна легко реалізувати нові розподілені алгоритми, застосувавши клієнт-орієнтовані інтерфейси програмування.

Остання робота команди FedML демонструє, що використання FedML Nexus AI для визначення моделі штучного інтелекту на споживчому GPU RTX 4090 у 20 разів дешевше та в 1,88 раза швидше, ніж використання A100.

з: FedML

Перспективи на майбутнє: DePIN приносить демократизацію ШІ

Одного разу штучний інтелект перетвориться на AGI, а обчислювальна потужність стане де-факто універсальною валютою. DePIN здійснить цей процес заздалегідь.

Перетин і співпраця ШІ та DePIN відкрили абсолютно нову точку технологічного зростання, надаючи величезні можливості для розвитку штучного інтелекту. DePIN надає штучному інтелекту величезну розподілену обчислювальну потужність і дані, що допомагає тренувати більш масштабні моделі та досягати потужнішого інтелекту. У той же час DePIN також дозволяє штучному інтелекту розвиватися у більш відкритому, безпечному та надійному напрямку, зменшуючи залежність від єдиної централізованої інфраструктури.

У майбутньому AI і DePIN продовжуватимуть розвиватися спільно. Розподілені мережі забезпечать міцну основу для навчання надвеликих моделей, які відіграватимуть важливу роль у додатках DePIN. Захищаючи конфіденційність і безпеку, AI також сприятиме оптимізації мережевих протоколів і алгоритмів DePIN. Ми з нетерпінням чекаємо, коли штучний інтелект і DePIN створять більш ефективний, справедливий і надійний цифровий світ.

Відмова від відповідальності:

1. Ця стаття передрукована з []. Усі авторські права належать оригінальному автору [**]. Якщо є заперечення щодо цього передруку, будь ласка, зв’яжіться з командою Gate Learn , і вони негайно розглянуть це.
2. Відмова від відповідальності: Th
   Погляди та думки, висловлені в цій статті, належать виключно автору та не є інвестиційною порадою.
3. Переклади статті на інші мови виконує команда Gate Learn. Якщо не зазначено вище, копіювання, розповсюдження або плагіат перекладених статей заборонено.