Святий Грааль Crypto AI: передові дослідження децентралізованого навчання

У повній ціновій ланці ШІ, навчання моделей є найбільш ресурсомістким і має найвищий технічний поріг етапом, який безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. У порівнянні зі стадією висновку, яка є легковаговою, процес навчання потребує постійного масштабного обчислювального ресурсу, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" для побудови системи ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Концентраційне навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де всі етапи навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчальної рамки, координуються єдиною системою контролю. Ця архітектура глибокої координації забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з високою ефективністю та контрольованими ресурсами, але одночасно існують проблеми з монополією даних, бар'єрами ресурсів, споживанням енергії та ризиками єдиних точок.

Розподілене навчання є основним способом навчання великих моделей, його суть полягає в тому, щоб розділити завдання навчання моделі та розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча фізично воно має "дистрибутивні" характеристики, але в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі з високошвидкісною локальною мережею, використовуючи технологію швидкісної міжмережевої шини NVLink, де головний вузол координує всі підзавдання. Основні методи включають:

• Дані паралельно: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
• Модельна паралельність: розміщення різних частин моделі на різних вузлах, що забезпечує високу масштабованість
• Паралелізм трубопроводів: поетапне послідовне виконання, підвищення пропускної спроможності
• Тензорне паралельне виконання: детальне розділення матричних обчислень, підвищення паралельної гранулярності

Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос дистанційно керує співробітниками з кількох "офісів", які співпрацюють для виконання завдання. Наразі майже всі основні великі моделі навчання реалізуються саме таким чином.

Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основними характеристиками є: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які співпрацюють для виконання завдань з навчання без централізованого координатора, зазвичай через протокол для розподілу завдань і співпраці, і за допомогою механізму крипто-стимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:

• Гетерогенність пристроїв та складнощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Проблема з ефективністю зв'язку: нестабільний мережевий зв'язок, явні проблеми з синхронізацією градієнтів
• Відсутність довіреного виконання: відсутність довіреного середовища виконання ускладнює перевірку того, чи дійсно вузол бере участь у розрахунках.
• Відсутність єдиного координаційного центру: немає центрального диспетчера, розподіл завдань та механізм скасування помилок складні

Децентралізоване навчання можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне масштабне децентралізоване навчання" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, проте чи можливо "спільно ефективно + стимулювати чесність + отримати правильний результат" поки що перебуває на ранній стадії прототипування.

Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює збереження даних на місці та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та здатність до локальної кооперації, водночас має переваги розподілених даних у Децентралізації, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях конфіденційності, що є відносно поміркованими у завданнях навчання, структурі довіри та механізмах комунікації, що більше підходить для промислових перехідних архітектур.

![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентралізація тренування: межі, можливості та реальні шляхи

З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритій мережі; завдання з сильними обмеженнями щодо конфіденційності даних і суверенітету обмежені юридичними нормами та етичними обмеженнями, що унеможливлює відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, позбавлені зовнішнього стимулу для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.

Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань, які є легкими за структурою, легко масштабуються та можуть бути стимульованими, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: налаштування LoRA, післянавчальні завдання, орієнтовані на поведінку, такі як RLHF, DPO), завдання з краудсорсингу даних та маркування, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв’язність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші засоби.

Децентралізація тренування класичних проектів аналіз

Наразі в передових сферах децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували більше оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє собою передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно ясними, і вже можна побачити попередній прогрес у інженерному втіленні. У цій статті буде поетапно розглянуто основні технології та інженерну архітектуру цих п’яти проектів, а також буде детально обговорено їх відмінності та взаємодоповнюючі відносини в системі децентралізованого навчання штучного інтелекту.

( Prime Intellect: тренувальні траєкторії, що підлягають верифікації, мережі співпраці в навчанні з підсиленням

Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається через три основні модулі PRIME-RL + TOPLOC + SHARDCAST побудувати систему децентралізованого навчання ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання.

)# 01, Структура протоколу Prime Intellect та цінність ключових модулів

![Святий Грааль Crypto AI: Децентралізація тренувань на передовій експлорації]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

(# 02, Детальний аналіз ключових механізмів тренування Prime Intellect

PRIME-RL: архітектура завдань асинхронного підкріплювального навчання з розділенням

PRIME-RL є рамкою моделювання завдань та їх виконання, спеціально розробленою Prime Intellect для децентралізованих навчальних сценаріїв, призначеною для гетерогенних мереж та асинхронних учасників. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами перевірки та агрегації. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого управління, що знижує складність системи та закладає основу для підтримки паралельного виконання багатьох завдань і еволюції стратегій.

TOPLOC: легкий механізм верифікації поведінки навчання

TOPLOC є основним механізмом тренування верифікації, запропонованим Prime Intellect, який використовується для визначення того, чи справді вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всього моделі, а замість цього через аналіз локальних узгоджених траєкторій між "послідовністю спостережень ↔ оновленням стратегії" завершує верифікацію легкоструктурних. Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу навчальних винагород без необхідності довіри, і забезпечує реальний шлях для створення аудиторських, стимулюючих децентралізованих навчальних мереж.

SHARDCAST: Асинхронна агрегація ваг та протокол поширення

SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для реальних мережевих середовищ з асинхронним зв'язком, обмеженою пропускною здатністю та змінними станами вузлів. Він поєднує механізм поширення gossip та локальну синхронізацію, дозволяючи кільком вузлам безперервно подавати часткові оновлення в умовах нестабільного стану, забезпечуючи поступову конвергенцію ваг та багатоверсійність еволюції. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво покращує масштабованість та відмовостійкість децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.

OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк

OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленої для вирішення таких проблем, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто виникають при децентралізованому навчанні. Його архітектура базується на паралелізмі даних і за допомогою побудови розріджених топологічних структур, таких як кільце, розширювач, малий світ, уникнула високих витрат на зв'язок, пов'язаних з глобальною синхронізацією, і для здійснення спільного навчання моделі покладається лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, суттєво підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови мережі децентралізованого навчання.

PCCL:Бібліотека кооперативного зв'язку

PCCL є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних бібліотек зв’язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" зв'язку для побудови справжньої відкритої, бездоверчої мережі спільного навчання.

![Святий Грааль Crypto AI: Децентралізація тренування на передовій])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###

(# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect побудував мережу навчання, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:

• Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
• Тренувальний вузол: виконати локальне навчання, подати оновлення ваг та спостереження траєкторії
• Вузли перевірки: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участі в розрахунках винагороди та агрегації стратегій.

Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, що утворює стимулююче замкнене коло навколо "реальної навчальної поведінки".

![Святий Грааль Crypto AI: Децентралізація навчання на передовій])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp###

(# 04, INTELLECT-2: перше перевірене рішення для децентралізованого навчання моделей.

Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель великого навчання, що базується на асинхронній, без довіри, децентралізованій співпраці вузлів для навчання підкріпленням, з параметрами обсягом 32B. Модель INTELLECT-2 була завершена за допомогою кооперативного навчання більше 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, тривалість навчання.