الكأس المقدسة لـ Crypto AI: استكشاف الحدود للتدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النموذج هو المرحلة الأكثر استهلاكاً للموارد والأعلى من حيث العوائق التقنية، حيث تحدد مباشرة حدود قدرة النموذج والنتائج التطبيقية الفعلية. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاء خفيف، تتطلب عملية التدريب استثماراً مستمراً في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج العمارة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، و التدريب اللامركزي الذي يتم مناقشته في هذه المقالة.

التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية المعمارية المتكاملة تعزز كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التكرار، مما يجعلها مثالية لتدريب نماذج كبيرة مثل GPT وGemini، ولها مزايا الكفاءة العالية، والموارد القابلة للتحكم، لكنها في الوقت نفسه تعاني من مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.

التدريب الموزع هو الأسلوب السائد في تدريب النماذج الكبيرة الحالية، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود حساب وتخزين الآلات الفردية. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال تحت سيطرة الوكالات المركزية، وغالبًا ما تعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الأساليب السائدة:

• البيانات الموازية: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة الوزن النموذجي، يجب مطابقة أوزان النموذج
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
• التجميع المتوازي: تنفيذ متسلسل على مراحل، لزيادة معدل الإنتاج.
• تقسيم المصفوفة بالتوازي: تقسيم دقيق لحسابات المصفوفة، وزيادة درجة التوازي

التدريب الموزع هو عبارة عن "تحكم مركزي + تنفيذ موزع"، وهو يشبه كيفية توجيه نفس المدير عن بعد لعدة موظفين في "مكاتب" مختلفة للتعاون في إتمام المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا مثل (GPT-4، وGemini، وLLaMA، وما إلى ذلك ) باستخدام هذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومةً للرقابة. تتمثل ميزتها الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية أو وحدات معالجة رسومية سحابية أو أجهزة حافة ) تتعاون لإكمال مهام التدريب دون وجود منسق مركزي، وعادةً ما يتم ذلك من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز التشفيرية في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:

• صعوبة في التنسيق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة التنسيق بين الأجهزة اللامركزية وكفاءة منخفضة في تقسيم المهام
• عنق الزجاجة في كفاءة الاتصال: الاتصالات الشبكية غير مستقرة، وعقدة مزامنة التدرج واضحة.
• نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، كل منهم يساهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، ويتعلق بعدة جوانب مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، آليات الاقتصاد، والتحقق من النموذج، ولكن هل يمكن تحقيق "التعاون الفعال + الحوافز الصادقة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.

تعتبر التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، حيث تركز على الاحتفاظ بالبيانات محليًا وتجمع معلمات النموذج مركزيًا، مما يجعلها مناسبة للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع التعلم الفيدرالي بهيكلة هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتبارها نوعًا من "اللامركزية الخاضعة للتحكم" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب وبنية الثقة وآليات الاتصال أكثر اعتدالًا، مما يجعلها أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من منظور نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه من الطبيعي أنه ليس مناسبًا لإكماله بكفاءة بين العقد غير الموثوقة والغير متجانسة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة فيديو عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات وقيود السيادة ( مثل الرعاية الصحية، والمالية، وبيانات سرية ) مقيدة بالقوانين والامتثال والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي لا توجد فيها حوافز للتعاون ( مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الخفيفة الهيكلية، سهلة التوازي، القابلة للتحفيز. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك مثل RLHF، DPO(، تدريب وتعليم البيانات الجماعي، تدريب نماذج الأساس الصغيرة القابلة للتحكم في الموارد، وسيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام عمومًا تتمتع بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية تحمل القوة الحوسبية غير المتجانسة، مما يجعلها مناسبة للغاية للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسّنات الموزعة.

![كأس المقدس لـ Crypto AI: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

تحليل المشاريع الكلاسيكية للتدريب اللامركزي

حاليًا في مقدمة مجالات التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في مجال البلوكشين بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai الكثير من الاستكشافات الأصلية في تصميم الأنظمة والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات تنفيذ Gensyn و Flock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروق والعلاقات التكميلية بينها في نظام التدريب اللامركزي للذكاء الاصطناعي.

) Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب

يكرس Prime Intellect جهوده لبناء شبكة تدريب AI لا تحتاج إلى ثقة، مما يسمح لأي شخص بالمشاركة في التدريب وكسب مكافآت موثوقة مقابل مساهمته الحسابية. يأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI لامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.

01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية

![كأس مقدس للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect

#PRIME-RL:هيكل مهمة التعلم المعزز غير المتزامن المنفصل

PRIME-RL هو إطار عمل لنمذجة المهام وتنفيذها تم تخصيصه بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكيفي رئيسي، ويفصل هيكليًا عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم المراقب التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويؤسس أيضًا لدعم المهام المتعددة بشكل متوازٍ وتطور الاستراتيجيات.

#TOPLOC:آلية التحقق من سلوك التدريب الخفيف الوزن

TOPLOC###مراقبة موثوقة & فحص محلية السياسة( هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم سياسة فعالة استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب نموذج كامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتوافق بين "تسلسل الملاحظة ↔ تحديث السياسة". إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يُعد ابتكارًا رئيسيًا لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، ويوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره

SHARDCAST هو بروتوكول نشر وتجمع الوزن صممه Prime Intellect، مصمم خصيصًا لبيئات الشبكة الحقيقية غير المتزامنة، والمقيدة بالنطاق، والمتغيرة حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة عدم التزامن، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.

#OpenDiLoCo: إطار الاتصال المتناثر غير المتزامن

OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وقد تم تصميمه خصيصًا لمواجهة التحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد هيكليته على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصال العالية الناتجة عن التزامن العالمي، ويعتمد فقط على جيران العقد المحلية لإكمال تدريب النموذج بشكل متعاون. من خلال الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يسمح OpenDiLoCo لوحدات معالجة الرسوميات من الفئة الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

#PCCL: مكتبة الاتصالات التعاونية

PCCL)Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن صممتها Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل مشكلات التكيف في مكتبات الاتصالات التقليدية ) مثل NCCL و Gloo( في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي المكون الأساسي الذي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عززت بشكل ملحوظ تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، وفتحت "آخر كيلومتر" من الأساسيات الاتصالية لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

![كأس القدر للعملات المشفرة: استكشاف الحدود للمدارس اللامركزية])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(

)# 03، Prime Intellect شبكة التحفيز وتقسيم الأدوار

بنت Prime Intellect شبكة تدريبية قابلة للتحقق، بدون إذن، وذات آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعتمد تشغيل البروتوكول على ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الأوزان ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST( وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

![كأس القدر للذكاء الاصطناعي في العملات الرقمية: استكشاف متقدم للتدريب اللامركزي])