เหตุใดเมื่อใช้ผลิตภัณฑ์สองตัวที่ใช้ GPT-4 หรือ Claude เหมือนกัน AI ถึงมีผลงานต่างกันราวฟ้ากับดิน? นักพัฒนา AI อย่าง Akshay Pachaar ได้นำเสนอกรอบคิด “Agent Harness Engineering” บน X โดยใช้คำอุปมาอย่างแม่นยำเพื่ออธิบายว่า: LLM ที่เปลือยเปล่าเหมือนกับ CPU ที่ไม่มีระบบปฏิบัติการ—สิ่งที่เป็นตัวกำหนดสมรรถนะของผลิตภัณฑ์ AI อย่างแท้จริงไม่ใช่โมเดลพื้นฐานเอง แต่เป็นโครงสร้างวงรอบการจัดตาราง การรวมเครื่องมือ และสถาปัตยกรรมการจัดการหน่วยความจำที่สร้างขึ้นรอบโมเดล
CPU ต้องมีระบบปฏิบัติการ ส่วน LLM ต้องมี Agent Harness
Pachaar ได้สร้างชุดการเปรียบเทียบแบบครบถ้วน: LLM คือ CPU, Context Window คือ RAM, Vector DB คือฮาร์ดดิสก์, Tools คือไดรเวอร์อุปกรณ์ และ Agent Harness ก็คือระบบปฏิบัติการ ในกรอบนี้อธิบายปรากฏการณ์ที่อุตสาหกรรมสังเกตมานาน—ในตารางจัดอันดับของ LangChain TerminalBench ผลต่างด้านประสิทธิภาพระหว่างผลิตภัณฑ์ต่างๆ ที่ใช้โมเดลพื้นฐานเดียวกันสามารถมหาศาลได้
ข้อมูลเชิงลึกที่สำคัญอยู่ที่: ความสามารถของโมเดลเป็นเงื่อนไขที่จำเป็น แต่คุณภาพเชิงวิศวกรรมของ harness เป็นเงื่อนไขที่เพียงพอ Agent Harness ที่ออกแบบอย่างประณีตสามารถทำให้โมเดลระดับกลางทำผลงานได้เหนือคู่แข่งที่ใช้โมเดลระดับท็อปแต่ harness หยาบๆ
สี่องค์ประกอบหลักของ Agent Harness
ตามกรอบคิดของ Pachaar Agent Harness แบบครบชุดประกอบด้วยสี่มิติสำคัญ ประการแรกคือตรรกะการจัดตาราง (Scheduling Loop) ซึ่งกำหนดว่า agent ควรคิดเมื่อใด ควรลงมือเมื่อใด และควรเรียกใช้เครื่องมือเมื่อใด ต่อมาคือระบบนิเวศของเครื่องมือ (Tool Ecosystem) ซึ่งกำหนดว่า agent สามารถทำงานร่วมกับระบบภายนอกใดได้บ้าง ประการที่สามคือการจัดการหน่วยความจำ (Memory Management) ซึ่งจัดการทั้งหน่วยความจำการสนทนาแบบสั้นและการค้นคืนความรู้แบบระยะยาว สุดท้ายคือการจัดการบริบท (Context Management) ซึ่งกำหนดว่าใน context window ที่มีขีดจำกัดควรใส่ข้อมูลอะไรบ้าง
การแลกเปลี่ยนการออกแบบของทั้งสี่องค์ประกอบนี้เป็นสิ่งที่กำหนดรูปแบบพฤติกรรมที่แตกต่างกันอย่างสิ้นเชิงของโมเดลเดียวกันในผลิตภัณฑ์ที่แตกต่างกัน นี่เองคือเหตุผลว่าทำไม ChatGPT ของ OpenAI, Claude ของ Anthropic และผลิตภัณฑ์ AI จากบุคคลที่สามต่างๆ แม้ความสามารถของโมเดลพื้นฐานจะใกล้เคียงกัน แต่ประสบการณ์การใช้งานกลับแตกต่างกันอย่างอย่างมาก
ข้อโต้แย้ง: โมเดลที่แข็งแกร่งพอจะสามารถฝังความสามารถของ Harness ได้หรือไม่?
กรอบนี้ก็ยังเผชิญความท้าทายเช่นกัน นักวิจัยบางส่วนเห็นว่า เมื่อโมเดลพื้นฐานพัฒนาต่อเนื่อง—โดยเฉพาะอย่างยิ่งด้วยการก้าวกระโดดเชิงรุ่นของความสามารถด้านการให้เหตุผล—ในที่สุดโมเดลที่แข็งแกร่งเพียงพออาจสามารถฝังฟังก์ชันของ harness ได้ในส่วนใหญ่ เหมือนกับที่ CPU ในยุคปัจจุบันค่อยๆ รวมเอาหน้าที่ที่ครั้งหนึ่งต้องใช้ชิปแยกต่างหากเข้าไป ในกรณีที่แนวโน้มนี้เป็นจริง ความสำคัญของ harness engineering อาจลดลงตามเวลา
อย่างไรก็ตาม จากมุมมองด้านการปฏิบัติในปัจจุบัน แม้แต่โมเดลที่แข็งแกร่งที่สุดยังคงพึ่งพาเครื่องมือภายนอกและตรรกะการจัดตารางที่ออกแบบมาอย่างพิถีพิถันอยู่ในระดับสูง Harness engineering ในอนาคตอันใกล้ที่มองเห็นได้ ยังจะเป็นสนามหลักในการสร้างความแตกต่างของผลิตภัณฑ์ AI
ข้อคิดสำหรับการพัฒนาผลิตภัณฑ์ AI
กรอบคิดของ Pachaar ให้มุมมองในการประเมินและรายงานผลิตภัณฑ์ AI ที่แม่นยำกว่าเดิม: แทนที่จะเปรียบเทียบเพียงว่า “ใครใช้โมเดลตัวไหน” ควรเจาะลึกการวิเคราะห์การตัดสินใจเชิงวิศวกรรมในชั้น harness เช่น โครงสร้างการจัดตาราง ระบบนิเวศของเครื่องมือ กลไกหน่วยความจำ ฯลฯ สำหรับทีมพัฒนาจากไต้หวันที่กำลังสร้างผลิตภัณฑ์ AI นี่หมายความว่าหลังจากเลือกโมเดลพื้นฐานแล้ว การแข่งขันที่แท้จริงเพิ่งเริ่มต้นขึ้น—คุณภาพเชิงวิศวกรรมของ harness นั่นแหละคือปัจจัยสำคัญที่ตัดสินความสำเร็จหรือความล้มเหลวของผลิตภัณฑ์
บทความนี้ Agent Harness นี่แหละคือกุญแจสำคัญ: เหตุใดโมเดล AI เดียวกันถึงมีผลลัพธ์ต่างกันราวฟ้ากับดินในผลิตภัณฑ์ที่แตกต่างกัน ปรากฏครั้งแรกที่ Chain News ABMedia。
