Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої кооперації в технологічній революції

У всьому ланцюжку створення цінності штучного інтелекту навчання моделей є сполучною ланкою з найбільшим споживанням ресурсів і найвищим технічним порогом, який безпосередньо визначає верхню межу можливостей моделі та ефекту практичного застосування. У порівнянні з легким викликом на етапі логічного висновку, процес навчання вимагає безперервних великомасштабних інвестицій обчислювальної потужності, складних процесів обробки даних і підтримки алгоритмів оптимізації високої інтенсивності, що є справжньою «важкою індустрією» для побудови систем штучного інтелекту. З точки зору парадигми архітектури, методи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, на чому зосереджена ця робота.

Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному високопродуктивному кластері, що охоплює всі етапи навчання: від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчального фреймворку, які координуються єдиною системою управління. Така глибока співпраця архітектури забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, з перевагами у вигляді високої ефективності та контрольованих ресурсів, але водночас має проблеми, пов'язані з монополією на дані, бар'єрами ресурсів, споживанням енергії та ризиками єдиної точки.

Розподілене навчання є основним способом тренування великих моделей, його суть полягає в тому, щоб розділити завдання навчання моделі, а потім розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча в фізичному плані це має "дистрибутивні" характеристики, загалом все ще контролюється централізованими установами, які регулюють розклад і синхронізацію, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології NVLink для високошвидкісного з'єднання, головний вузол координує всі підзавдання. Основні методи включають:

• Паралельність даних: кожен вузол навчає різні дані, параметри діляться, потрібно узгодити ваги моделі
• Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості;
• Паралельні канали: поетапне послідовне виконання, підвищення пропускної здатності;
• Тензорне паралельне виконання: уточнене розподілення матричних обчислень, підвищення паралельності.

Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками в кількох "офісах", які співпрацюють для виконання завдання. На сьогодні майже всі основні великі моделі навчаються саме цим способом.

Децентралізоване навчання представляє собою більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька взаємно недовірливих вузлів (можливо, домашні комп'ютери, хмарні GPU або крайові пристрої) спільно виконують навчальні завдання без центрального координатора, зазвичай за допомогою протоколів для розподілу завдань та співпраці, а також завдяки механізмам крипто-стимулювання, які забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:

• Гетерогенність пристроїв та труднощі сегментації: висока складність координації гетерогенних пристроїв, низька ефективність сегментації завдань;
• Вузьке місце ефективності зв'язку: нестабільний мережевий зв'язок, помітне вузьке місце в синхронізації градієнтів;
• Відсутність довірчого виконання: нестача довірчого середовища виконання, важко перевірити, чи дійсно вузол бере участь у обчисленнях;
• Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм відкату помилок є складними.

Децентралізація тренування може бути зрозуміла як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійснене масштабне децентралізоване тренування" все ще є системною інженерною задачею, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але питання "співпраця ефективна + стимулювання чесності + правильність результату" все ще перебуває на ранній стадії прототипування.

Федеративне навчання як перехідна форма між розподіленим і Децентралізація акцентує на локальному збереженні даних та централізованій агрегації параметрів моделі, підходить для сценаріїв, що акцентують на дотриманні конфіденційності (наприклад, охорона здоров'я, фінанси). Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, водночас має переваги розподілених даних, притаманних децентралізованому навчанню, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях, що акцентують на дотриманні конфіденційності, де завдання навчання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш підходящим для промислових перехідних архітектур.

Децентралізація тренування: межі, можливості та реальні шляхи

З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, дуже високі вимоги до ресурсів або великі труднощі в співпраці, воно природним чином не підходить для ефективного завершення між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритій мережі; завдання з сильною конфіденційністю даних та обмеженнями суверенітету (такі як медицина, фінанси, конфіденційні дані) обмежені юридичними вимогами та етичними обмеженнями, тому їх не можна відкрито ділити; а завдання, що не мають основи для співпраці (такі як закриті моделі підприємств або внутрішнє навчання прототипів), не мають зовнішніх стимулів для участі. Ці межі разом складають реальні обмеження поточного децентралізованого навчання.

Але це не означає, що децентралізоване навчання є нісенітницею. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: мікронастройка LoRA, завдання пост-тренування для вирівнювання поведінки (такі як RLHF, DPO), завдання навчання та маркування з краудсорсингу даних, навчання малих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність та здатність витримувати гетерогенну обчислювальну потужність, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.

Децентралізація тренування класичних проєктів аналіз

На сьогодні у передових областях децентралізованого навчання та федеративного навчання представницькими проектами блокчейн є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічних інновацій та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io є відносно зрозумілими, вже можна спостерігати перші інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерні архітектури п'яти проектів, а також буде досліджено їх відмінності та взаємодоповнюючі зв'язки у системі децентралізованого AI-навчання.

Prime Intellect: попередник навчальної траєкторії, що може бути перевірена, мережі кооперативного навчання

Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, що дозволяє будь-кому брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану навчальну систему ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.

Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель зміцнення навчання, створена завдяки асинхронній, бездоверчій Децентралізації узгодженого навчання вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була завершена завдяки спільному навчальному процесу понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, та використовує повністю асинхронну архітектуру, тривалість навчання перевищила 400 годин, що демонструє життєздатність і стабільність асинхронної коопераційної мережі. Ця модель не тільки є проривом у продуктивності, але й є першою системною реалізацією парадигми "навчання — це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL (асинхронна навчальна структура), TOPLOC (перевірка навчальної поведінки) та SHARDCAST (асинхронна агрегація ваги), що знаменує перший випадок, коли децентралізована навчальна мережа реалізувала відкритість, перевірність та економічний замкнутий цикл у процесі навчання.

У плані продуктивності, INTELLECT-2 базується на QwQ-32B, що пройшов спеціалізоване RL навчання в коді та математиці, знаходячись на передовій лінії сучасних відкритих RL моделей доопрацювання. Хоча він ще не перевершив закриті моделі, такі як GPT-4 або Gemini, його справжнє значення полягає в тому, що це перший у світі повністю повторюваний, перевіряємий та підлягаючий аудиту експеримент з децентралізованими моделями. Prime Intellect не лише відкрив модель, але й, що важливіше, відкрив сам процес навчання - дані для навчання, траєкторії оновлення стратегій, процеси валідації та логіка агрегації є прозорими та доступними для перевірки, створюючи прототип децентралізованої навчальної мережі, в якій кожен може брати участь, довіряти один одному та ділитися прибутком.

Prime Intellect завершила раунд первинного фінансування на суму 15 мільйонів доларів у лютому 2025 року, який очолив Founders Fund, а також взяли участь багато лідерів галузі, включаючи Menlo Ventures, Andrej Karpathy, Clem Delangue, Dylan Patel, Balaji Srinivasan, Emad Mostaque, Sandeep Nailwal. Раніше, у квітні 2024 року, проект завершив раунд раннього фінансування на суму 5,5 мільйона доларів, який спільно очолили CoinFund і Distributed Global, а також участь взяли такі організації, як Compound VC, Collab + Currency, Protocol Labs. Станом на сьогодні, загальна сума залучених інвестицій Prime Intellect перевищила 20 мільйонів доларів.

Співзасновниками Prime Intellect є Вінсент Вайсер і Йоганнес Хагеманн, команда складається з фахівців з галузей AI та Web3, основні учасники походять з Meta AI, Google Research, OpenAI, Flashbots, Stability AI та Фонду Ethereum, мають глибокі знання в проєктуванні системної архітектури та реалізації розподілених інженерних рішень, є однією з небагатьох успішних виконавчих команд, яка завершила справжнє навчання децентралізованих великих моделей.

Pluralis：Дослідник парадигми асинхронного моделювання, паралельного навчання та структурного стиснення

Pluralis є Web3 AI проектом, зосередженим на "надійній кооперативній тренувальній мережі", його основною метою є просування моделі навчання, яка є децентралізованою, має відкриту участь і довгостроковий механізм стимулювання. На відміну від поточних основних централізованих або закритих шляхів навчання, Pluralis пропонує нову концепцію під назвою Protocol Learning (протокольне навчання): "протоколізація" процесу навчання моделей, створення відкритої тренувальної системи з внутрішнім механізмом стимулювання, через верифіковані кооперативні механізми та відображення власності на моделі.

Protocol Learning, запропонований Pluralis, містить три основні стовпи:

• Не можна отримати модель (Unmaterializable Models): Модель розподілена у вигляді фрагментів між кількома вузлами, жоден окремий вузол не може відновити повну вагу, підтримуючи закритий вихідний код. Такий дизайн робить модель природно "активом у межах протоколу", що дозволяє реалізувати контроль доступу, захист від витоків та прив'язку доходів.
• Модельно-паралельне навчання через Інтернет (Model-parallel Training over Internet): Завдяки асинхронному механізму паралельного навчання Pipeline (архітектура SWARM), різні вузли мають лише частину ваг, співпрацюючи через мережу з низькою пропускною здатністю для завершення навчання або висновку.
• Розподіл прав власності за моделлю внесків (Часткова власність для стимулів): усі учасники вузлів отримують часткову власність на модель відповідно до свого внеску в навчання, що дозволяє їм користуватися частками майбутніх доходів та правом управління протоколом.

Pluralis чітко визначає "асинхронну модель паралелізму" як основний напрямок, підкреслюючи її переваги в порівнянні з даними паралелізму:

• Підтримка низькошвидкісних мереж та неузгоджених вузлів;
• Адаптація до гетерогенних пристроїв, дозволяє залучати споживчі GPU;
• Природна здатність до еластичного планування, підтримує часте підключення/відключення вузлів;
• Три основні突破点: стиснення структури + асинхронне оновлення + невитягуваність ваг.

Наразі відповідно до шести технічних блогів, опублікованих на офіційному сайті, логічна структура інтегрована у такі три основні лінії:

• Філософія та бачення: «A Third Path: Protocol Learning» «Чому важливе децентралізоване навчання»
• Технічні механізми деталі:《SWARM Parallel》《Beyond Top-K》《Asynchronous Updates》
• Інноваційні дослідження системи: «Unmaterializable Models» «Partial Ownership Protocols»

Наразі Pluralis ще не запустив продукти, тестову мережу або відкритий код, причини полягають у тому, що обраний ним технологічний шлях є надзвичайно складним: спочатку потрібно вирішити системні проблеми, такі як архітектура базової системи, комунікаційний протокол, неможливість експорту ваги та інші системні труднощі, лише після цього можна буде створити продуктові послуги.

У новій статті, опублікованій Pluralis Research у червні 2025 року, буде представлено їхній Децентралізація навчальний фреймворк з попереднього навчання моделі.