Tether تطلق إطار عمل BitNet LoRA متعدد المنصات، نماذج المليارات المعاملات يمكن إجراء الضبط الدقيق عليها على الأجهزة الاستهلاكية

Techub News أخبار، أعلنت Tether عن إطلاق إطار عمل LoRA لتخصيص BitNet عبر منصة QVAC Fabric، والذي يهدف إلى تحسين التدريب والاستدلال لنموذج Microsoft BitNet (1-bit LLM). يقلل هذا الإطار بشكل كبير من متطلبات الحوسبة والذاكرة، مما يتيح تدريب وتخصيص نماذج ذات مئات المليارات من المعاملات على أجهزة الكمبيوتر المحمولة، وحدات معالجة الرسومات الاستهلاكية، والهواتف الذكية. لأول مرة، تم تحقيق تخصيص نموذج BitNet على وحدات معالجة الرسومات المحمولة (بما في ذلك Adreno وMali وApple Bionic)، وأظهرت الاختبارات أن نموذج 125M معاملة يمكن تخصيصه في حوالي 10 دقائق، ونموذج 1B في حوالي ساعة، وحتى يمكن توسيعه ليشمل نماذج تصل إلى 13B معاملة على الهواتف الذكية. يدعم هذا الإطار أيضًا الأجهزة غير NVIDIA مثل Intel وAMD وApple Silicon، ويحقق لأول مرة تخصيص LoRA لنموذج 1-bit LLM على أجهزة غير NVIDIA. من حيث الأداء، فإن سرعة استدلال نموذج BitNet على وحدات معالجة الرسومات المحمولة تزيد بمقدار 2 إلى 11 مرة مقارنة بالـ CPU، مع تقليل استهلاك الذاكرة بنسبة تصل إلى 77.8% مقارنة بالنماذج التقليدية ذات 16-bit. تشير Tether إلى أن هذه التقنية قد تساهم في كسر الاعتماد على الحوسبة عالية الأداء والبنية التحتية السحابية، وتعزيز تطوير التدريب اللامركزي والمحلي للذكاء الاصطناعي، وتوفير أساس لتطبيقات جديدة مثل التعلم الفيدرالي.