اقترحت ستانفورد وباركلي نموذج LLM كمُحقق، مع تحديث مراكز الصدارة في لوحتي Terminal-Bench وSWE-Bench

أخبار ME، في 14 أبريل (بتوقيت UTC+8)، وفقًا لمراقبة 1M AI News، عند معالجة وكيل البرمجة بالذكاء الاصطناعي لمهمة واحدة، فإن تشغيله عدة مرات غالبًا ما يؤدي إلى حلول مختلفة، وقد يكون بعضها خاطئًا. إذا أمكن اختيار الأفضل تلقائيًا، فإن معدل النجاح الإجمالي يمكن أن يتجاوز التشغيل مرة واحدة. المشكلة هي كيفية الاختيار: أن يجعل نموذج آخر الحكم كحكم (أي LLM-as-a-Judge) هو النهج السائد حاليًا، لكن دقة التقييم تكون عامة جدًا، وغالبًا ما يمنح حلولًا مختلفة نفس الدرجة، مما يصعب التمييز بين الأفضل والأقل. اقترحت مختبرات ستانفورد للذكاء الاصطناعي ومختبر سكاي كومبيوتينج بجامعة بيركلي بالتعاون مع شركة نيفيديا نظام LLM-as-a-Verifier، الذي يحسن عملية الاختيار هذه. لم يعد يعتمد فقط على الدرجة النهائية التي يمنحها الحكم، بل يقرأ توزيع الاحتمالات لكل مستوى تقييم، ويحسب منه قيمة مكافأة مستمرة. كما يكرر الحكم عدة مرات ويأخذ المتوسط لإزالة الانحياز العشوائي، ويقسم التقييم الكلي إلى ثلاثة أبعاد مستقلة (هل يلبي متطلبات المهمة، هل تنسيق الإخراج صحيح، هل هناك إشارات خطأ) للتحقق منها بشكل منفصل. في التجارب، استخدموا Gemini 2.5 Flash كمحقق، وكانت دقة التحقق مرة واحدة 74.7%، مقابل 57.0% للحكم التقليدي؛ بعد تكرار 16 مرة، وصل Verifier إلى 77.4%، مقابل 70.2% للحكم. كان لدى الحكم التقليدي نسبة 26.5% من الحالات التي انتهت بالتعادل، بينما كانت نسبة التعادل في جميع إعدادات Verifier صفرًا. النتائج الفعلية: على منصة Terminal-Bench 2، عند تشغيل GPT-5.4 خمس مرات لنفس المهمة، كانت نسبة النجاح عند اختيار عشوائي 81.8%، وترقية إلى 86.4% بعد الاختيار باستخدام Verifier. على منصة SWE-Bench Verified، من خلال اختيار حل واحد من Claude Opus 4.5، وClaude Opus 4.6، وGemini 3 Flash (مجموع 3 حلول)، زادت نسبة النجاح من 76.1% إلى 77.8%. حتى إصدار 9 أبريل، كانت كلا النتيجتين في المركز الأول. الإطار مفتوح المصدر. (المصدر: BlockBeats)