AI訓練範式演進：從集中控制到去中心化協同的技術革命

在AI的全價值鏈中，模型訓練是資源消耗最大、技術門檻最高的環節，直接決定了模型的能力上限與實際應用效果。相比推理階段的輕量級調用，訓練過程需要持續的大規模算力投入、復雜的數據處理流程和高強度的優化算法支持，是AI系統構建的真正"重工業"。從架構範式來看，訓練方式可劃分爲四類：集中化訓練、分布式訓練、聯邦學習以及本文重點討論的去中心化訓練。

集中化訓練是最常見的傳統方式，由單一機構在本地高性能集羣內完成全部訓練流程，從硬件、底層軟件、集羣調度系統，到訓練框架所有組件都由統一的控制系統協調運行。這種深度協同的體系結構使得內存共享、梯度同步和容錯機制的效率達到最佳，非常適合GPT、Gemini等大規模模型的訓練，具有效率高、資源可控的優勢，但同時存在數據壟斷、資源壁壘、能源消耗和單點風險等問題。

分布式訓練是當前大模型訓練的主流方式，其核心是將模型訓練任務拆解後，分發至多臺機器協同執行，以突破單機計算與存儲瓶頸。盡管在物理上具備"分布式"特徵，但整體仍由中心化機構控制調度與同步，常運行於高速局域網環境中，通過NVLink高速互聯總線技術，由主節點統一協調各子任務。主流方法包括：

• 數據並行：每個節點訓練不同數據參數共享，需匹配模型權重
• 模型並行：將模型不同部分部署在不同節點，實現強擴展性；
• 管道並行：分階段串行執行，提高吞吐率；
• 張量並行：精細化分割矩陣計算，提升並行粒度。

分布式訓練是"集中控制 + 分布式執行"的組合，類比同一老板遠程指揮多個"辦公室"員工協作完成任務。目前幾乎所有主流大模型都是通過此方式完成訓練。

去中心化訓練則代表更具開放性與抗審查特性的未來路徑。其核心特徵在於：多個互不信任的節點（可能是家用電腦、雲端GPU或邊緣設備）在沒有中心協調器的情況下協同完成訓練任務，通常通過協議驅動任務分發與協作，並借助加密激勵機制確保貢獻的誠實性。該模式面臨的主要挑戰包括：

• 設備異構與切分困難：異構設備協調難度高，任務切分效率低；
• 通信效率瓶頸：網路通信不穩定，梯度同步瓶頸明顯；
• 可信執行缺失：缺乏可信執行環境，難以驗證節點是否真正參與計算；
• 缺乏統一協調：無中央調度器，任務分發、異常回滾機制復雜。

去中心化訓練可以理解爲：一羣全球的志願者，各自貢獻算力協同訓練模型，但"真正可行的大規模去中心化訓練"仍是一項系統性的工程挑戰，涉及系統架構、通信協議、密碼安全、經濟機制、模型驗證等多個層面，但能否"協同有效 + 激勵誠實 + 結果正確"尚處於早期原型探索階段。

聯邦學習作爲分布式與去中心化之間的過渡形態，強調數據本地保留、模型參數集中聚合，適用於注重隱私合規的場景（如醫療、金融）。聯邦學習具有分布式訓練的工程結構和局部協同能力，同時兼具去中心化訓練的數據分散優勢，但仍依賴可信協調方，並不具備完全開放與抗審查的特性。可以看作是在隱私合規場景下的一種"受控去中心化"方案，在訓練任務、信任結構與通信機制上均相對溫和，更適合作爲工業界過渡性部署架構。

去中心化訓練的邊界、機會與現實路徑

從訓練範式來看，去中心化訓練並不適用於所有任務類型。在某些場景中，由於任務結構復雜、資源需求極高或協作難度大，其天然不適合在異構、去信任的節點之間高效完成。例如大模型訓練往往依賴高顯存、低延遲與高速帶寬，難以在開放網路中有效切分與同步；數據隱私與主權限制強的任務（如醫療、金融、涉密數據）受限於法律合規與倫理約束，無法開放共享；而缺乏協作激勵基礎的任務（如企業閉源模型或內部原型訓練）則缺少外部參與動力。這些邊界共同構成了當前去中心化訓練的現實限制。

但這並不意味着去中心化訓練是僞命題。事實上，在結構輕量、易並行、可激勵的任務類型中，去中心化訓練展現出明確的應用前景。包括但不限於：LoRA微調、行爲對齊類後訓練任務（如RLHF、DPO）、數據衆包訓練與標注任務、資源可控的小型基礎模型訓練，以及邊緣設備參與的協同訓練場景。這些任務普遍具備高並行性、低耦合性和容忍異構算力的特徵，非常適合通過P2P網路、Swarm協議、分布式優化器等方式進行協作式訓練。

去中心化訓練經典項目解析

目前在去中心化訓練與聯邦學習前沿領域中，具有代表性的區塊鏈項目主要包括Prime Intellect、Pluralis.ai、Gensyn、Nous Research與Flock.io。從技術創新性與工程實現難度來看，Prime Intellect、Nous Research和Pluralis.ai在系統架構與算法設計上提出了較多原創性探索，代表了當前理論研究的前沿方向；而Gensyn與Flock.io的實現路徑相對清晰，已能看到初步的工程化進展。本文將依次解析這五個項目背後的核心技術與工程架構路，並進一步探討其在去中心化AI訓練體系中的差異與互補關係。

Prime Intellect：訓練軌跡可驗證的強化學習協同網路先行者

Prime Intellect致力於構建一個無需信任的AI訓練網路，讓任何人都能參與訓練，並對其計算貢獻獲得可信的獎勵。Prime Intellect希望通過PRIME-RL + TOPLOC + SHARDCAST三大模塊，構建一個具有可驗證性、開放性、激勵機制完備的AI去中心化訓練系統。

Prime Intellect於2025年5月發布了INTELLECT-2，這是全球首個由異步、無需信任的去中心化節點協作訓練而成的強化學習大模型，參數規模達32B。INTELLECT-2模型由遍布三大洲的100+ GPU異構節點協同訓練完成，使用完全異步架構，訓練時長超400小時，展示出異步協作網路的可行性與穩定性。這一模型不僅是一次性能上的突破，更是Prime Intellect所提出"訓練即共識"範式的首次系統落地。INTELLECT-2集成了PRIME-RL（異步訓練結構）、TOPLOC（訓練行爲驗證）與SHARDCAST（異步權重聚合）等核心協議模塊，標志着去中心化訓練網路首次實現了訓練過程的開放化、驗證性與經濟激勵閉環。

在性能方面，INTELLECT-2基於QwQ-32B訓練並在代碼和數學上做了專門的RL訓練，處於當前開源RL微調模型的前沿水準。盡管尚未超越GPT-4或Gemini等閉源模型，但其真正的意義在於：它是全球首個完整訓練過程可復現、可驗證、可審計的去中心化模型實驗。Prime Intellect不僅開源了模型，更重要的是開源了訓練過程本身 - 訓練數據、策略更新軌跡、驗證流程與聚合邏輯均透明可查，構建了一個人人可參與、可信協作、共享收益的去中心化訓練網路原型。

Prime Intellect於2025年2月完成1500萬美元種子輪融資，由Founders Fund領投，Menlo Ventures、Andrej Karpathy、Clem Delangue、Dylan Patel、Balaji Srinivasan、Emad Mostaque、Sandeep Nailwal等多位行業領袖參投。此前，項目於2024年4月完成550萬美元早期輪融資，由CoinFund和Distributed Global共同領投，Compound VC、Collab + Currency、Protocol Labs等機構亦有參與。截至目前，Prime Intellect累計融資已超過2000萬美元。

Prime Intellect的聯合創始人是Vincent Weisser和Johannes Hagemann，團隊成員背景橫跨AI與Web3領域，核心成員來自Meta AI、Google Research、OpenAI、Flashbots、Stability AI及以太坊基金會，具備系統架構設計與分布式工程落地的深厚能力，是當前極少數成功完成真實去中心化大模型訓練的執行型團隊之一。

Pluralis：異步模型並行與結構壓縮協同訓練的範式探索者

Pluralis是一個專注於"可信協同訓練網路"的Web3 AI項目，其核心目標是推動一種去中心化、開放式參與、並具備長期激勵機制的模型訓練範式。與當前主流集中式或封閉式訓練路徑不同，Pluralis提出了一種名爲Protocol Learning（協議學習）的全新理念：將模型訓練過程"協議化"，通過可驗證協作機制和模型所有權映射，構建一個具備內生激勵閉環的開放訓練系統。

Pluralis提出的Protocol Learning包含三大關鍵支柱：

• 不可提取模型 (Unmaterializable Models)：模型以碎片形式分布在多個節點之間，任何單一節點無法還原完整權重保持閉源。這種設計使模型天然成爲"協議內資產"，可實現訪問憑證控制、外泄防護與收益歸屬綁定。
• 基於互聯網的模型並行訓練 (Model-parallel Training over Internet)：通過異步Pipeline模型並行機制（SWARM架構），不同節點僅持有部分權重，通過低帶寬網路協作完成訓練或推理。
• 按貢獻分配模型所有權 (Partial Ownership for Incentives)：所有參與節點根據其訓練貢獻獲得模型部分所有權，從而享有未來收益分成及協議治理權。

Pluralis明確以"異步模型並行"爲核心方向，強調其相較於數據並行具備以下優勢：

• 支持低帶寬網路與非一致性節點；
• 適配設備異構，允許消費級GPU參與；
• 天然具備彈性調度能力，支持節點頻繁上線/離線；
• 以結構壓縮 + 異步更新 + 權重不可提取性爲三大突破點。

目前根據官方網站公布的六篇技術博客文檔，邏輯結構整合爲以下三個主線：

• 哲學與願景：《A Third Path: Protocol Learning》《Why Decentralized Training Matters》
• 技術機制細節：《SWARM Parallel》《Beyond Top-K》《Asynchronous Updates》
• 制度創新探索：《Unmaterializable Models》《Partial Ownership Protocols》

目前Pluralis尚未上線產品、測試網或代碼開源，原因在於其所選擇的技術路徑極具挑戰：需先解決底層系統架構、通信協議、權重不可導出等系統級難題，才可能向上封裝產品服務。

在2025年6月Pluralis Research發布的新論文中，將其去中心化訓練框架從模型預訓練