Evolusi Paradigma Pelatihan AI: Dari Kontrol Terpusat ke Revolusi Teknologi Kolaborasi Desentralisasi

Dalam seluruh rantai nilai AI, pelatihan model adalah tahap yang paling mengkonsumsi sumber daya dan memiliki ambang teknologi tertinggi, yang secara langsung menentukan batas kemampuan model dan efektivitas aplikasi nyata. Dibandingkan dengan pemanggilan ringan di tahap inferensi, proses pelatihan memerlukan investasi daya komputasi besar-besaran secara terus-menerus, proses pengolahan data yang kompleks, dan dukungan algoritma optimasi yang intensif, yang merupakan "industri berat" sejati dalam pembangunan sistem AI. Dari sudut pandang paradigma arsitektur, metode pelatihan dapat dibagi menjadi empat kategori: pelatihan terpusat, pelatihan terdistribusi, pembelajaran federasi, serta pelatihan desentralisasi yang menjadi fokus pembahasan dalam artikel ini.

Pelatihan terpusat adalah cara tradisional yang paling umum, di mana seluruh proses pelatihan diselesaikan oleh satu lembaga di dalam kluster kinerja tinggi lokal, dari perangkat keras, perangkat lunak dasar, sistem penjadwalan kluster, hingga semua komponen kerangka pelatihan yang dikoordinasikan oleh sistem kontrol yang seragam. Arsitektur kolaboratif yang mendalam ini memungkinkan berbagi memori, sinkronisasi gradien, dan mekanisme toleransi kesalahan beroperasi dengan efisiensi terbaik, sangat cocok untuk pelatihan model skala besar seperti GPT, Gemini, dan memiliki keuntungan efisiensi tinggi serta sumber daya yang dapat dikendalikan, tetapi pada saat yang sama menghadapi masalah monopoli data, hambatan sumber daya, konsumsi energi, dan risiko titik tunggal.

Pelatihan terdistribusi adalah cara utama untuk melatih model besar saat ini, inti dari metode ini adalah membagi tugas pelatihan model dan mendistribusikannya ke beberapa mesin untuk dieksekusi secara kolaboratif, guna mengatasi batasan komputasi dan penyimpanan pada satu mesin. Meskipun secara fisik memiliki karakteristik "terdistribusi", keseluruhan masih dikendalikan dan dijadwalkan oleh lembaga terpusat, biasanya berjalan di lingkungan jaringan lokal berkecepatan tinggi, terhubung melalui teknologi bus interkoneksi NVLink, dengan node utama yang mengoordinasikan sub-tugas. Metode utama termasuk:

• Paralelisme data: setiap node melatih parameter data yang berbeda dengan berbagi, perlu mencocokkan bobot model
• Pararel model: Mengdeploy bagian-bagian berbeda dari model di node yang berbeda, mencapai skalabilitas yang kuat;
• Pipa paralel: Eksekusi serial bertahap untuk meningkatkan throughput;
• Paralel Tensor: Pemisahan halus perhitungan matriks, meningkatkan granularitas paralel.

Pelatihan terdistribusi adalah kombinasi dari "pengendalian terpusat + pelaksanaan terdistribusi", yang dapat dianalogikan dengan satu bos yang memimpin beberapa karyawan "kantor" untuk bekerja sama menyelesaikan tugas. Saat ini, hampir semua model besar yang mainstream dilatih dengan cara ini.

Desentralisasi latihan menunjukkan jalur masa depan yang lebih terbuka dan tahan terhadap sensor. Ciri utama dari ini adalah: beberapa node yang saling tidak mempercayai (mungkin komputer rumah, GPU cloud, atau perangkat edge) berkolaborasi untuk menyelesaikan tugas pelatihan tanpa koordinator pusat, biasanya melalui protokol yang menggerakkan distribusi dan kolaborasi tugas, serta menggunakan mekanisme insentif kriptografi untuk memastikan kejujuran kontribusi. Tantangan utama yang dihadapi oleh model ini meliputi:

• Kesulitan perangkat heterogen dan pemisahan: Koordinasi perangkat heterogen sulit, efisiensi pemisahan tugas rendah;
• Bottleneck efisiensi komunikasi: komunikasi jaringan tidak stabil, bottleneck sinkronisasi gradien jelas;
• Eksekusi terpercaya hilang: Kurangnya lingkungan eksekusi yang terpercaya, sulit untuk memverifikasi apakah node benar-benar berpartisipasi dalam perhitungan;
• Kurangnya koordinasi yang terintegrasi: Tidak ada pengatur pusat, distribusi tugas, dan mekanisme pemulihan dari kesalahan yang kompleks.

Desentralisasi pelatihan dapat dipahami sebagai: sekelompok relawan global yang masing-masing menyumbangkan daya komputasi untuk melatih model secara kolaboratif, tetapi "pelatihan desentralisasi skala besar yang benar-benar dapat dilaksanakan" masih merupakan tantangan rekayasa sistemik, yang melibatkan arsitektur sistem, protokol komunikasi, keamanan kriptografi, mekanisme ekonomi, validasi model, dan banyak aspek lainnya, tetapi apakah "kolaborasi efektif + insentif jujur + hasil yang benar" masih berada pada tahap eksplorasi prototipe awal.

Pembelajaran federasi sebagai bentuk transisi antara terdistribusi dan Desentralisasi, menekankan pada penyimpanan data secara lokal dan penggabungan parameter model secara terpusat, cocok untuk skenario yang mementingkan kepatuhan privasi (seperti kesehatan, keuangan). Pembelajaran federasi memiliki struktur rekayasa pelatihan terdistribusi dan kemampuan kolaborasi lokal, sambil tetap memiliki keuntungan penyebaran data dari pelatihan Desentralisasi, tetapi masih bergantung pada pihak koordinator yang tepercaya, dan tidak memiliki karakteristik sepenuhnya terbuka dan tahan sensor. Dapat dianggap sebagai salah satu solusi "Desentralisasi terkontrol" dalam skenario kepatuhan privasi, yang relatif lebih moderat dalam tugas pelatihan, struktur kepercayaan, dan mekanisme komunikasi, sehingga lebih cocok sebagai arsitektur implementasi transisi di industri.

Desentralisasi latihan batas, peluang, dan jalur realitas

Dari sudut pandang paradigma pelatihan, pelatihan desentralisasi tidak cocok untuk semua jenis tugas. Dalam beberapa skenario, karena struktur tugas yang kompleks, kebutuhan sumber daya yang sangat tinggi, atau kesulitan kolaborasi, secara alami tidak cocok untuk diselesaikan secara efisien di antara node heterogen yang tidak saling percaya. Misalnya, pelatihan model besar seringkali bergantung pada memori yang besar, latensi rendah, dan bandwidth tinggi, sehingga sulit untuk membagi dan menyinkronkan secara efektif di jaringan terbuka; tugas yang memiliki privasi data dan batasan kedaulatan yang kuat (seperti medis, keuangan, data sensitif) dibatasi oleh kepatuhan hukum dan etika, sehingga tidak dapat dibagikan secara terbuka; sementara tugas yang kurang memiliki dasar insentif kolaborasi (seperti model sumber tertutup perusahaan atau pelatihan prototipe internal) kekurangan motivasi partisipasi eksternal. Batasan-batasan ini bersama-sama membentuk batasan nyata dari pelatihan desentralisasi saat ini.

Namun, ini tidak berarti bahwa pelatihan desentralisasi adalah proposisi yang tidak valid. Faktanya, dalam jenis tugas yang ringan, mudah diparalelkan, dan dapat memotivasi, pelatihan desentralisasi menunjukkan prospek aplikasi yang jelas. Termasuk tetapi tidak terbatas pada: penyetelan LoRA, tugas pelatihan lanjutan yang terkait dengan perilaku (seperti RLHF, DPO), pelatihan dan penandaan data crowdsourcing, pelatihan model dasar kecil yang dapat dikontrol sumber daya, serta skenario pelatihan kolaboratif yang melibatkan perangkat tepi. Tugas-tugas ini umumnya memiliki karakteristik paralelisme tinggi, keterkaitan rendah, dan toleransi terhadap kekuatan komputasi yang heterogen, sangat cocok untuk pelatihan kolaboratif melalui jaringan P2P, protokol Swarm, pengoptimal terdistribusi, dan cara lainnya.

Desentralisasi pelatihan proyek klasik analisis

Saat ini, di bidang pelatihan desentralisasi dan pembelajaran federasi, proyek blockchain yang paling representatif meliputi Prime Intellect, Pluralis.ai, Gensyn, Nous Research, dan Flock.io. Dari segi inovasi teknologi dan tingkat kesulitan implementasi rekayasa, Prime Intellect, Nous Research, dan Pluralis.ai telah melakukan banyak eksplorasi orisinal dalam desain arsitektur sistem dan algoritma, yang mewakili arah penelitian teori saat ini; sementara jalur implementasi Gensyn dan Flock.io relatif jelas, dan kemajuan rekayasa awal sudah mulai terlihat. Artikel ini akan menguraikan secara bertahap teknologi inti dan arsitektur rekayasa di balik lima proyek ini, serta membahas lebih lanjut perbedaan dan hubungan saling melengkapi dalam sistem pelatihan AI desentralisasi.

Prime Intellect: Pelopor jaringan kolaboratif pembelajaran penguatan yang dapat diverifikasi oleh lintasan pelatihan

Prime Intellect berkomitmen untuk membangun jaringan pelatihan AI yang tidak memerlukan kepercayaan, yang memungkinkan siapa saja untuk berpartisipasi dalam pelatihan dan mendapatkan imbalan yang dapat dipercaya atas kontribusi komputasi mereka. Prime Intellect berharap dapat membangun sistem pelatihan AI desentralisasi yang memiliki verifikasi, keterbukaan, dan mekanisme insentif yang lengkap melalui tiga modul utama: PRIME-RL + TOPLOC + SHARDCAST.

Prime Intellect meluncurkan INTELLECT-2 pada Mei 2025, yang merupakan model besar pembelajaran penguatan pertama di dunia yang dilatih melalui kolaborasi node desentralisasi yang asinkron dan tanpa kepercayaan, dengan skala parameter mencapai 32B. Model INTELLECT-2 dilatih secara kolaboratif oleh lebih dari 100 node GPU heterogen yang tersebar di tiga benua, menggunakan arsitektur sepenuhnya asinkron, dengan durasi pelatihan lebih dari 400 jam, menunjukkan kelayakan dan stabilitas jaringan kolaborasi asinkron. Model ini tidak hanya merupakan terobosan dalam kinerja, tetapi juga merupakan penerapan sistematis pertama dari paradigma "pelatihan adalah konsensus" yang diajukan oleh Prime Intellect. INTELLECT-2 mengintegrasikan modul inti protokol seperti PRIME-RL (struktur pelatihan asinkron), TOPLOC (verifikasi perilaku pelatihan), dan SHARDCAST (agregasi bobot asinkron), menandai bahwa jaringan pelatihan desentralisasi telah berhasil mewujudkan proses pelatihan yang terbuka, verifikasi, dan lingkaran insentif ekonomi.

Dalam hal performa, INTELLECT-2 dilatih berdasarkan QwQ-32B dan telah melakukan pelatihan RL khusus dalam kode dan matematika, berada di garis depan model fine-tuning RL sumber terbuka saat ini. Meskipun belum melampaui model tertutup seperti GPT-4 atau Gemini, makna sebenarnya adalah: ini adalah eksperimen model desentralisasi pertama di dunia yang proses pelatihannya sepenuhnya dapat direproduksi, diverifikasi, dan diaudit. Prime Intellect tidak hanya membuka sumber model, tetapi yang lebih penting adalah membuka proses pelatihannya sendiri - data pelatihan, jejak pembaruan strategi, proses verifikasi, dan logika agregasi semuanya transparan dan dapat diperiksa, membangun prototipe jaringan pelatihan desentralisasi yang dapat diikuti oleh semua orang, dapat dipercaya untuk berkolaborasi, dan berbagi keuntungan.

Prime Intellect menyelesaikan pendanaan putaran benih sebesar 15 juta dolar AS pada Februari 2025, dipimpin oleh Founders Fund, dengan partisipasi dari Menlo Ventures, Andrej Karpathy, Clem Delangue, Dylan Patel, Balaji Srinivasan, Emad Mostaque, Sandeep Nailwal, dan banyak pemimpin industri lainnya. Sebelumnya, proyek ini menyelesaikan pendanaan putaran awal sebesar 5,5 juta dolar AS pada April 2024, yang dipimpin bersama oleh CoinFund dan Distributed Global, dengan partisipasi dari Compound VC, Collab + Currency, Protocol Labs, dan lembaga lainnya. Hingga saat ini, Prime Intellect telah mengumpulkan lebih dari 20 juta dolar AS dalam pendanaan.

Kohak Pendiri Prime Intellect adalah Vincent Weisser dan Johannes Hagemann, anggota tim memiliki latar belakang yang mencakup bidang AI dan Web3, anggota inti berasal dari Meta AI, Google Research, OpenAI, Flashbots, Stability AI, dan Ethereum Foundation, yang memiliki kemampuan mendalam dalam desain arsitektur sistem dan implementasi rekayasa terdistribusi, merupakan salah satu dari sedikit tim eksekusi yang berhasil menyelesaikan pelatihan model besar yang benar-benar terdesentralisasi.

Pluralis：Penjelajahan paradigma pelatihan kolaboratif antara model asinkron dan kompresi struktur

Pluralis adalah sebuah proyek Web3 AI yang fokus pada "jaringan pelatihan kolaboratif yang dapat dipercaya", dengan tujuan inti untuk mendorong sebuah paradigma pelatihan model yang desentralisasi, partisipasi terbuka, dan memiliki mekanisme insentif jangka panjang. Berbeda dengan jalur pelatihan terpusat atau tertutup yang saat ini dominan, Pluralis mengajukan sebuah konsep baru yang disebut Protocol Learning: memprotokol proses pelatihan model, melalui mekanisme kolaborasi yang dapat diverifikasi dan pemetaan kepemilikan model, membangun sebuah sistem pelatihan terbuka yang memiliki siklus insentif internal.

Protocol Learning yang diajukan oleh Pluralis mencakup tiga pilar kunci:

• Model Tidak Dapat Diekstrak (Model yang Tidak Dapat Dimaterialisasi): Model tersebar dalam bentuk fragmen di antara beberapa node, tidak ada satu node pun yang dapat memulihkan bobot lengkap dan tetap tertutup. Desain ini menjadikan model secara alami sebagai "aset dalam protokol", memungkinkan kontrol bukti akses, perlindungan terhadap kebocoran, dan pengikatan hak atas pendapatan.
• Pelatihan paralel model berbasis internet (Model-parallel Training over Internet): Melalui mekanisme paralel model Pipeline asinkron (arsitektur SWARM), node yang berbeda hanya memiliki sebagian bobot, dan berkolaborasi melalui jaringan bandwidth rendah untuk menyelesaikan pelatihan atau inferensi.
• Pembagian kepemilikan model berdasarkan kontribusi (Kepemilikan Parsial untuk Insentif): Semua node yang berpartisipasi mendapatkan sebagian kepemilikan model berdasarkan kontribusi pelatihan mereka, sehingga menikmati pembagian hasil di masa depan dan hak pengelolaan protokol.

Pluralis secara jelas menetapkan "model asinkron paralel" sebagai arah inti, menekankan keuntungan berikut dibandingkan dengan paralel data:

• Mendukung jaringan bandwidth rendah dan node non-konsisten;
• Menyesuaikan perangkat heterogen, memungkinkan GPU konsumen untuk berpartisipasi;
• Secara alami memiliki kemampuan penjadwalan elastis, mendukung node untuk sering online/offline;
• Tiga titik terobosan utama adalah kompresi struktural + pembaruan asinkron + ketidak-ekstrakan bobot.

Saat ini, berdasarkan enam dokumen blog teknis yang dipublikasikan di situs resmi, struktur logis terintegrasi menjadi tiga garis besar berikut:

• Filosofi dan Visi: 《A Third Path: Protocol Learning》《Why Decentralized Training Matters》
• Detail mekanisme teknis: 《SWARM Parallel》《Beyond Top-K》《Asynchronous Updates》
• Eksplorasi Inovasi Sistem: 《Unmaterializable Models》《Partial Ownership Protocols》

Saat ini Pluralis belum meluncurkan produk, jaringan uji, atau kode sumber terbuka, alasannya adalah jalan teknologi yang dipilih sangat menantang: perlu terlebih dahulu menyelesaikan tantangan sistem tingkat, seperti arsitektur sistem dasar, protokol komunikasi, dan masalah sistem lainnya seperti bobot yang tidak dapat diekspor, baru kemudian dapat membungkus layanan produk.

Dalam makalah baru yang dirilis oleh Pluralis Research pada Juni 2025, kerangka pelatihan Desentralisasi mereka dari pra-pelatihan model.