تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النموذج هو الحلقة الأكثر استهلاكًا للموارد وأعلى مستوى من التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقاته العملية. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستنتاج، تتطلب عملية التدريب استثمارات مستمرة من قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء نظام الذكاء الاصطناعي. من حيث أنماط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.

تعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث تقوم مؤسسة واحدة بإتمام جميع عمليات التدريب داخل مجموعة عالية الأداء محليًا، من الأجهزة، وبرامج التشغيل الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية العميقة المتكاملة تجعل من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء تصل إلى ذروتها، وهي مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، وتتمتع بمزايا الكفاءة العالية، والتحكم في الموارد، لكن في الوقت نفسه تواجه مشكلات الاحتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا لتدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للعمل بشكل متعاون، مما يتجاوز قيود الحساب والتخزين على آلة واحدة. على الرغم من وجود خصائص "موزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والمزامنة، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق الرئيسية ما يلي:

• البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، يجب مطابقة أوزان النموذج
• التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية؛
• التوازي في الأنابيب: تنفيذ متسلسل على مراحل، لزيادة معدل نقل البيانات؛
• توازي الموتر: تقسيم دقيق لحساب المصفوفات، مما يعزز دقة التوازي.

يُعتبر التدريب الموزع مزيجًا من "التحكم المركزي + التنفيذ الموزع"، مشابهاً لتوجيه نفس المدير عن بُعد لعدة موظفين في "مكاتب" مختلفة للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب تقريبًا جميع النماذج الكبيرة الرائجة بهذه الطريقة.

تمثل التدريب اللامركزي مسارًا مستقبليًا يتمتع بقدر أكبر من الانفتاح وخصائص مقاومة الرقابة. تتمثل السمات الأساسية في: عدة عقد غير موثوقة (قد تكون أجهزة كمبيوتر منزلية أو GPU سحابية أو أجهزة طرفية) تتعاون لإكمال مهام التدريب بدون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستخدم آليات تحفيز تشفير لضمان صدق المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:

• صعوبة تباين الأجهزة وتقسيم المهام: صعوبة تنسيق الأجهزة المتباينة، وكفاءة تقسيم المهام منخفضة؛
• عائق كفاءة الاتصال: عدم استقرار الاتصال الشبكي، ووضوح عائق تزامن التدرج؛
• نقص التنفيذ الموثوق: نقص بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك حقًا في الحساب؛
• نقص التنسيق الموحد: لا توجد وحدة مركزية، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة.

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن بنية النظام وبروتوكولات الاتصال وأمان التشفير والآليات الاقتصادية والتحقق من النموذج على مستويات متعددة، ولكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الأمانة + الحصول على نتائج صحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.

التعلم الفيدرالي كونه شكل انتقالي بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، ويصلح للمشاهد التي تركز على الامتثال للخصوصية (مثل الرعاية الصحية، والمالية). يمتلك التعلم الفيدرالي بنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا البيانات الموزعة للتدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره حلًا "لامركزيًا خاضعًا للرقابة" في سياقات الامتثال للخصوصية، حيث يكون في المهام التدريبية، وهيكل الثقة وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والواقع المسار

من حيث نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعة الحال غير مناسب لإكماله بكفاءة بين العقد غير الموثوقة والمتنوعة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة فيديو عالية، وزمن استجابة منخفض، وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة (مثل البيانات الطبية، والمالية، والبيانات السرية) مقيدة بالامتثال القانوني والاعتبارات الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى حوافز التعاون (مثل نماذج الشركات المغلقة أو تدريب النماذج الداخلية) تفتقر إلى الدوافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام التدريب اللاحقة المحاذاة السلوكية (مثل RLHF، DPO)، تدريب وتسمية البيانات المجمعة، تدريب نماذج الأساس الصغيرة القابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام عمومًا تتميز بارتفاع التوازي، وانخفاض الترابط، وتسامح القوة الحسابية المتباينة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات P2P، بروتوكول Swarm، ومحسنات موزعة.

اللامركزية تدريب الكلاسيكيات مشروع تحليل

في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستناقش أيضًا الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: رائد الشبكات التعاونية المعززة القابلة للتحقق من مسارات التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI غير معتمدة على الثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة على مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.

أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد غير مركزية، غير موثوقة، ومتزامنة. يتجاوز حجم المعلمات 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، وبلغت مدة التدريب أكثر من 400 ساعة، مما يظهر قابلية الشبكة التعاونية غير المتزامنة واستقرارها. هذا النموذج ليس فقط突破ًا في الأداء، بل هو أيضًا أول تطبيق منهجي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات رئيسية مثل PRIME-RL (بنية التدريب غير المتزامنة)، TOPLOC (تحقق سلوك التدريب) وSHARDCAST (تجميع الوزن غير المتزامن)، مما يشير إلى أن شبكة التدريب غير المركزية قد حققت لأول مرة انفتاحًا، والتحقق، ودائرة تحفيز اقتصادية في عملية التدريب.

فيما يتعلق بالأداء، يعتمد INTELLECT-2 على QwQ-32B وقد تم تدريبه بشكل خاص على RL في الكود والرياضيات، مما يجعله في طليعة نماذج RL مفتوحة المصدر الحالية. على الرغم من أنه لم يتجاوز بعد النماذج المغلقة مثل GPT-4 أو Gemini، فإن معناه الحقيقي يكمن في: إنه أول تجربة نموذج لامركزية في العالم يمكن إعادة إنتاجها والتحقق منها والتدقيق فيها بالكامل. لم تقم Prime Intellect بفتح مصدر النموذج فحسب، بل الأهم من ذلك أنها فتحت مصدر عملية التدريب نفسها - بيانات التدريب، مسارات تحديث الاستراتيجيات، إجراءات التحقق ومنطق التجميع كلها شفافة وقابلة للتدقيق، مما أنشأ نموذج شبكة تدريب لامركزية يمكن للجميع المشاركة فيها والتعاون بشكل موثوق ومشاركة العوائد.

أكملت Prime Intellect جولة التمويل الأولي بمبلغ 15 مليون دولار في فبراير 2025، بقيادة Founders Fund، بمشاركة العديد من قادة الصناعة مثل Menlo Ventures وAndrej Karpathy وClem Delangue وDylan Patel وBalaji Srinivasan وEmad Mostaque وSandeep Nailwal. كان المشروع قد أكمل جولة تمويل مبكرة بمبلغ 5.5 مليون دولار في أبريل 2024، بقيادة CoinFund وDistributed Global، مع مشاركة مؤسسات مثل Compound VC وCollab + Currency وProtocol Labs. حتى الآن، تجاوز إجمالي تمويل Prime Intellect 20 مليون دولار.

المؤسسان المشاركان لـ Prime Intellect هما Vincent Weisser و Johannes Hagemann، حيث يمتد خلفية أعضاء الفريق عبر مجالات الذكاء الاصطناعي وWeb3، ويأتي الأعضاء الرئيسيون من Meta AI و Google Research و OpenAI و Flashbots و Stability AI ومؤسسة Ethereum، ولديهم قدرات عميقة في تصميم بنية النظام وتنفيذ الهندسة الموزعة، ويعتبرون من بين الفريق التنفيذي القليل الناجح الذي أكمل تدريب نموذج كبير اللامركزية الحقيقي.

Pluralis: مستكشف نماذج التدريب المتزامن بين النماذج غير المتزامنة وضغط الهيكل

بلوريس هو مشروع ويب 3 للذكاء الاصطناعي يركز على "شبكة التدريب التعاوني الموثوق بها"، وهدفه الأساسي هو دفع نموذج تدريب يتمتع باللامركزية، والمشاركة المفتوحة، وآلية تحفيز طويلة الأمد. على عكس مسارات التدريب المركزية أو المغلقة السائدة حاليًا، تقدم بلوريس مفهومًا جديدًا يسمى التعلم البروتوكولي: "بروتوكلة" عملية تدريب النموذج، من خلال آلية تعاون قابلة للتحقق ورسم ملكية النموذج، لبناء نظام تدريب مفتوح يمتلك حلقة تحفيز داخلية.

تتضمن Protocol Learning التي قدمتها Pluralis ثلاثة أعمدة رئيسية:

• نماذج غير قابلة للاستخراج (Unmaterializable Models): يتم توزيع النماذج على شكل شظايا بين عدة عقد، ولا يمكن لأي عقدة واحدة استعادة الوزن الكامل مع الحفاظ على إغلاق المصدر. تجعل هذه التصميمات النماذج بطبيعتها "أصول داخل البروتوكول"، مما يتيح التحكم في شهادات الوصول، وحماية من التسرب، وارتباط العوائد.
• تدريب متوازي للنماذج عبر الإنترنت (Model-parallel Training over Internet): من خلال آلية تدريب متوازي لنموذج Pipeline غير المتزامن (بنية SWARM)، تمتلك العقد المختلفة جزءًا فقط من الأوزان، وتتعاون عبر شبكة ذات عرض نطاق منخفض لإكمال التدريب أو الاستدلال.
• توزيع ملكية النموذج حسب المساهمة (الملكية الجزئية للحوافز): يحصل جميع العقد المشاركة على ملكية جزئية للنموذج بناءً على مساهمتهم في التدريب، وبالتالي يتمتعون بحصة من الأرباح المستقبلية وحقوق إدارة البروتوكول.

تؤكد Pluralis على "النموذج غير المتزامن المتوازي" كوجهة رئيسية، مشددة على مزاياه مقارنةً بالتوازي القائم على البيانات كما يلي:

• يدعم الشبكات ذات النطاق الترددي المنخفض والعقد غير المتسقة؛
• التوافق مع الأجهزة المتنوعة، يسمح بمشاركة GPU من الفئة الاستهلاكية؛
• يتمتع بقدرة مرنة على الجدولة الطبيعية، ويدعم تشغيل/إيقاف تشغيل العقد بشكل متكرر؛
• ثلاثة نقاط突破 رئيسية: ضغط الهيكل + التحديث غير المتزامن + عدم قابلية استخراج الوزن.

حاليًا، وفقًا للوثائق الست التي نشرتها الموقع الرسمي، تم دمج الهيكل المنطقي في ثلاثة خطوط رئيسية كما يلي:

• الفلسفة والرؤية: "مسار ثالث: تعلم البروتوكول" "لماذا تعتبر التدريب اللامركزي مهمًا"
• التفاصيل الفنية: "SWARM Parallel" ، "Beyond Top-K" ، "التحديثات غير المتزامنة"
• استكشاف الابتكار المؤسسي: "النماذج غير القابلة للتجسيد" و "بروتوكولات الملكية الجزئية"

حتى الآن، لم يطلق Pluralis منتجًا أو شبكة اختبار أو شفرة مفتوحة المصدر، ويرجع ذلك إلى أن المسار التكنولوجي الذي اختاروه يمثل تحديًا كبيرًا: يجب حل مشاكل نظامية مثل بنية النظام الأساسية، وبروتوكولات الاتصال، وعدم قابلية تصدير الأوزان، قبل أن يكون من الممكن تغليف خدمات المنتج.

في ورقة جديدة نشرتها Pluralis Research في يونيو 2025، تم نقل إطار تدريبها اللامركزي من إعداد نموذج مسبق.