Gensyn Testnet ออนไลน์แล้ว จะทำอย่างไรให้การฝึก AI มีประสิทธิภาพมากขึ้นและการกระจายอำนาจมากขึ้น?

Gensyn Testnet ออนไลน์แล้ว ทำอย่างไรให้การฝึก AI มีประสิทธิภาพมากขึ้นและการกระจายอำนาจมากขึ้น?

AI เป็นหนึ่งในกลุ่มตลาดที่ได้รับความสนใจมากที่สุดในอุตสาหกรรมคริปโตในปัจจุบัน โดยเฉพาะอย่างยิ่ง Gensyn ซึ่งเป็นเครือข่ายการคำนวณ AI แบบกระจายอำนาจที่ได้รับการลงทุนโดย a16z และมีขนาดการระดมทุนรวมถึง 50 ล้านดอลลาร์สหรัฐ ซึ่งแน่นอนว่าเป็นโครงการที่มีการแข่งขันสูง เมื่อเร็ว ๆ นี้ Gensyn ได้เปิดตัวอย่างเป็นทางการบน Testnet แม้ว่าจะล่าช้ากว่ากำหนดเดิมมากกว่าหนึ่งปี แต่การเปิดตัวบน Testnet ในที่สุดก็เข้าสู่ขั้นตอนใหม่.

ในฐานะที่เป็น Ethereum Rollup ที่ปรับแต่งสำหรับการเรียนรู้ของเครื่อง Gensyn Testnet ได้รวมการดำเนินการนอกเชน การตรวจสอบ และกรอบการสื่อสาร ซึ่งมีจุดมุ่งหมายเพื่อมอบฟังก์ชันสำคัญ เช่น การระบุตัวตนถาวร การติดตามการเข้าร่วม การรักษาสิทธิ การชำระเงิน การประสานงานการดำเนินการระยะไกล การตรวจสอบที่ไม่ต้องเชื่อถือ การบันทึกกระบวนการฝึกอบรม และการระดมทุนสำหรับงานฝึกอบรมขนาดใหญ่ สำหรับระบบ AI ที่กระจายอำนาจ.

ในขั้นตอนแรกของ Testnet จะเน้นที่การติดตามการมีส่วนร่วมภายใน RL Swarm RL Swarm เป็นแอปพลิเคชันสำหรับการฝึกอบรมหลังการเรียนรู้เชิงเสริมแบบร่วมมือ ซึ่งโหนดสามารถเชื่อมโยงกับตัวตนบนบล็อกเชน เพื่อให้แน่ใจว่าการมีส่วนร่วมของโหนดแต่ละตัวได้รับการบันทึกอย่างแม่นยำ.

RL Swarm:ฟังก์ชั่นหลักและการฝึกอบรมร่วมกัน

ใน Gensyn Testnet RL Swarm ซึ่งเป็นแอปพลิเคชันหลัก เป็นระบบการฝึกอบรมแบบร่วมมือของโมเดลที่สร้างขึ้นบนเครือข่ายการกระจายอำนาจ แตกต่างจากการฝึกอบรมโมเดลเดียวแบบดั้งเดิม RL Swarm ช่วยให้โมเดลหลายตัวสามารถสื่อสาร วิจารณ์ และปรับปรุงซึ่งกันและกันในเครือข่าย เพื่อพัฒนาประสิทธิภาพโดยรวมร่วมกัน แนวคิดหลักคือ "ปัญญารวม" ซึ่งหมายถึงการทำงานร่วมกันและการตอบรับระหว่างโมเดลของแต่ละโหนด เพื่อให้ได้ผลการฝึกอบรมที่มีประสิทธิภาพมากขึ้น.

สามารถเข้าใจได้ง่ายว่า ในระหว่างการฝึกการอนุมาน โมเดลเช่น DeepSeek-R1 สามารถปรับปรุงประสิทธิภาพการอนุมานได้ผ่านการวิจารณ์ตนเอง ในขณะที่ RL Swarm ได้นำกลไกนี้ไปขยายในกลุ่มโมเดลหลายตัว ทำให้เกิดผลลัพธ์แบบ "หลายคนช่วยกันทำให้ไฟแรงขึ้น".

ระบบ RL Swarm ขึ้นอยู่กับการย้อนกลับของตนเอง ไม่เพียงแต่ยังสังเกตและประเมินผลการทำงานของโมเดลอื่น ๆ เพื่อระบุจุดอ่อนของตนเองและทำการปรับปรุง โมเดลแต่ละตัวที่เข้าร่วม Swarm จะมีส่วนร่วมในกระบวนการสามขั้นตอน: เริ่มต้นด้วยการแก้ปัญหาแบบอิสระและส่งออกแนวคิดและคำตอบ จากนั้นตรวจสอบคำตอบของโมเดลอื่น ๆ และให้ข้อเสนอแนะแก่กัน สุดท้าย โมเดลจะลงคะแนนเสียงเลือกทางออกที่ดีที่สุดและปรับแก้ผลลัพธ์ของตนตามนั้น กลไกการทำงานร่วมกันนี้ไม่เพียงแต่เพิ่มประสิทธิภาพของแต่ละโมเดล แต่ยังช่วยสนับสนุนการพัฒนาของโมเดลกลุ่มโดยรวม โมเดลที่เข้าร่วม Swarm ยังคงสามารถเก็บน้ำหนักท้องถิ่นที่ได้รับการปรับปรุงไว้หลังจากออกจากกลุ่ม และได้รับประโยชน์จริง.

Gensyn Testnet ออนไลน์แล้ว, จะทำให้การฝึก AI มีประสิทธิภาพมากขึ้นและการกระจายอำนาจมากขึ้นได้อย่างไร?

นอกจากนี้ Gensyn ได้เปิดซอร์สโค้ดของ RL Swarm ทุกคนสามารถเรียกใช้โหนด เริ่มต้นหรือเข้าร่วม Swarm ที่มีอยู่ได้โดยไม่ต้องขออนุญาต การสื่อสารพื้นฐานของ Swarm ใช้โปรโตคอล gossip ที่จัดเตรียมโดย Hivemind สนับสนุนการส่งข้อความแบบกระจายไปยังโมเดลต่างๆ และการแชร์สัญญาณการเรียนรู้ ไม่ว่าจะเป็นโน้ตบุ๊กที่ใช้ในบ้านหรือบน GPU ในคลาวด์ก็สามารถเข้าร่วมการฝึกอบรมร่วมกันได้โดยการเข้าร่วมโหนด RL Swarm.

โครงสร้างพื้นฐาน สามเสาหลัก: การดำเนินการ, การสื่อสาร และการตรวจสอบ

ปัจจุบัน RL Swarm ยังคงเป็นเพียงการสาธิตเชิงทดลอง ซึ่งแสดงให้เห็นถึงวิธีการเรียนรู้ของเครื่องที่มีขนาดใหญ่และสามารถขยายได้ ไม่ใช่รูปแบบผลิตภัณฑ์ขั้นสุดท้าย ในช่วงสี่ปีที่ผ่านมา งานหลักของ Gensyn จริงๆ คือการสร้างโครงสร้างพื้นฐานที่อยู่เบื้องหลัง และได้เข้าสู่ขั้นตอน v0.1 หลังจากเปิดตัว Testnet ซึ่งสามารถทำงานได้จริง ตามข้อมูลอย่างเป็นทางการ สถาปัตยกรรมโดยรวมของ Gensyn แบ่งออกเป็นสามส่วนคือ การดำเนินการ การสื่อสาร และการตรวจสอบ.

การดำเนินการ (Execution): ความสอดคล้องและการคำนวณแบบกระจาย

Gensyn เชื่อว่าอนาคตของการเรียนรู้ของเครื่องจะไม่จำกัดอยู่ที่โมเดลเดี่ยวแบบดั้งเดิมอีกต่อไป แต่จะประกอบด้วยพารามิเตอร์ที่กระจายอยู่ในอุปกรณ์ต่างๆ ทั่วโลก เพื่อให้บรรลุเป้าหมายนี้ ทีมงาน Gensyn ได้พัฒนาสถาปัตยกรรมการดำเนินการพื้นฐานที่สามารถรับประกันความสอดคล้องข้ามอุปกรณ์ เทคโนโลยีหลักที่รวมอยู่ ได้แก่:

  • การจัดเก็บและฝึกอบรมพารามิเตอร์แบบกระจาย: โดยการแบ่งโมเดลขนาดใหญ่เป็นหลายบล็อกพารามิเตอร์และกระจายไปยังอุปกรณ์ต่างๆ Gensyn จึงสามารถทำการปรับใช้โมเดลแบบแตกชิ้น ซึ่งช่วยลดความต้องการหน่วยความจำของโหนดเดียว
  • การฝึกอบรมหลังการเรียนรู้แบบเสริม (RL Post-Training): การวิจัยแสดงให้เห็นว่าเมื่อโมเดลฝึกอบรมร่วมกันในลักษณะของกลุ่ม สื่อสารกันและวิจารณ์คำตอบของกันและกัน ประสิทธิภาพการเรียนรู้โดยรวมจะเพิ่มขึ้นอย่างมีนัยสำคัญ Gensyn ใช้ RL Swarm แสดงแนวคิดนี้ ทำให้โมเดลพัฒนาขึ้นอย่างรวดเร็วในการอภิปรายกลุ่ม และยืนยันความมีประสิทธิภาพของการดำเนินการแบบกระจาย.
  • Reproducible Operators (RepOps): เพื่อให้แน่ใจว่าฮาร์ดแวร์ที่แตกต่างกัน (เช่น Nvidia A100 และ H100) สามารถสร้างผลการคํานวณที่เหมือนกันทุกประการ Gensyn ได้พัฒนาไลบรารี RepOps เพื่อให้เกิดการทําสําเนาแบบบิตต่อบิตข้ามแพลตฟอร์มโดยการแก้ไขลําดับการดําเนินการของเลขคณิตแบบจุดลอยตัว

การสื่อสาร (Communication): การแลกเปลี่ยนข้อมูลที่มีประสิทธิภาพ

ในสถานการณ์การฝึกอบรมแบบกระจายขนาดใหญ่ การสื่อสารที่มีประสิทธิภาพระหว่างโหนดต่างๆ นั้นมีความสำคัญอย่างยิ่ง วิธีการแบ่งข้อมูลแบบดั้งเดิมแม้ว่าจะสามารถลดค่าใช้จ่ายในการสื่อสารได้ในระดับหนึ่ง แต่เนื่องจากต้องการให้แต่ละโหนดจัดเก็บโมเดลทั้งหมด ความสามารถในการขยายตัวจึงถูกจำกัดด้วยหน่วยความจำ เพื่อเหตุนี้ Gensyn จึงได้เสนอทางออกใหม่ที่เป็นนวัตกรรม:

  • SkipPipe – ท่อกระโดดแบบไดนามิกขนาน: เทคโนโลยี SkipPipe ช่วยลดเวลารอคอยที่ไม่จำเป็นโดยการข้ามบางช่วงในสายการผลิตแบบดั้งเดิมผ่านการเลือกไมโครบีทช์ (microbatch) ที่ผ่านการคำนวณแบบไดนามิก อัลกอริธึมการจัดตารางที่เป็นนวัตกรรมสามารถประเมินความพร้อมใช้งานของเส้นทางต่าง ๆ ได้แบบเรียลไทม์ ซึ่งลดเวลาที่โหนดว่างและทำให้ระยะเวลาในการฝึกอบรมโดยรวมสั้นลงอย่างมาก ข้อมูลการทดสอบแสดงให้เห็นว่าในสภาพแวดล้อมการกระจายอำนาจ SkipPipe สามารถลดระยะเวลาในการฝึกอบรมได้ประมาณ 55% และในกรณีที่โหนดบางส่วนล้มเหลว ประสิทธิภาพของโมเดลจะลดลงเพียงประมาณ 7% เท่านั้น.
  • มาตรฐานการสื่อสารและการทำงานร่วมกันระหว่างโหนด Gensyn ได้สร้างโปรโตคอลการสื่อสารที่คล้ายกับ TCP/IP ทำให้ผู้เข้าร่วมจากทั่วโลกไม่ว่าจะใช้อุปกรณ์ประเภทใดสามารถส่งข้อมูลและแลกเปลี่ยนข้อมูลได้อย่างมีประสิทธิภาพและไร้รอยต่อ มาตรฐานแบบเปิดนี้ได้จัดเตรียมพื้นฐานเครือข่ายที่มั่นคงสำหรับการฝึกฝนร่วมกันแบบกระจาย.

การยืนยัน ####: รับรองความไว้วางใจและความปลอดภัย

ในเครือข่ายแบบกระจายอำนาจที่ไม่ต้องไว้วางใจ การยืนยันว่าผลลัพธ์การคำนวณที่ผู้เข้าร่วมส่งมานั้นถูกต้องและแท้จริง เป็นความท้าทายอย่างมาก Gensyn จึงได้นำเสนอโปรโตคอลการตรวจสอบเฉพาะทาง เพื่อให้แน่ใจว่าผู้ให้บริการพลังการคำนวณทั้งหมดจะส่งมอบผลลัพธ์การทำงานที่ถูกต้องด้วยกลไกที่มีต้นทุนต่ำและมีประสิทธิภาพ:

  • โปรโตคอลการตรวจสอบ Verde: Verde เป็นระบบการตรวจสอบแรกที่ออกแบบมาโดยเฉพาะสำหรับการเรียนรู้ของเครื่องสมัยใหม่ จุดศูนย์กลางคือการใช้กลไกการแก้ไขข้อพิพาทที่เบาเพื่อระบุขั้นตอนที่เกิดความไม่ตรงกันระหว่างโมเดลกับผู้ตรวจสอบในระหว่างกระบวนการฝึกอบรมอย่างรวดเร็ว แตกต่างจากวิธีการตรวจสอบแบบดั้งเดิมที่ต้องเรียกใช้ภารกิจทั้งหมดใหม่ Verde เพียงแค่ต้องคำนวณใหม่เฉพาะการดำเนินการที่มีข้อพิพาท ซึ่งช่วยลดค่าใช้จ่ายในการตรวจสอบอย่างมาก.
  • การมอบหมายที่มีการอ้างอิง(裁决式委托):เมื่อใช้วิธีนี้ หากผลลัพธ์ของผู้ให้บริการรายใดรายหนึ่งมีปัญหา ผู้ตรวจสอบสามารถใช้เกมการแก้ไขข้อพิพาทที่มีประสิทธิภาพในการโน้มน้าวผู้กลางที่เป็นกลาง เพื่อให้แน่ใจว่ามีโหนดที่ซื่อสัตย์อย่างน้อยหนึ่งโหนดอยู่ ซึ่งจะรับประกันความถูกต้องของผลลัพธ์ทั้งหมด.
  • การเก็บข้อมูลและแฮชสถานะระหว่าง: เพื่อสนับสนุนกระบวนการตรวจสอบที่กล่าวถึงข้างต้น ผู้เข้าร่วมเพียงต้องเก็บและแฮชจุดตรวจสอบการฝึกอบรมระหว่างบางส่วน แทนที่จะเป็นข้อมูลทั้งหมด ซึ่งช่วยลดการใช้ทรัพยากรและเพิ่มความสามารถในการขยายตัวและความทันเวลาของระบบ.
ดูต้นฉบับ
เนื้อหานี้มีสำหรับการอ้างอิงเท่านั้น ไม่ใช่การชักชวนหรือข้อเสนอ ไม่มีคำแนะนำด้านการลงทุน ภาษี หรือกฎหมาย ดูข้อจำกัดความรับผิดชอบสำหรับการเปิดเผยความเสี่ยงเพิ่มเติม
  • รางวัล
  • แสดงความคิดเห็น
  • แชร์
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น
  • ปักหมุด