ชุมชนปัญญาประดิษฐ์กำลังต่อสู้กับคำถามพื้นฐานเกี่ยวกับวิธีที่ระบบ AI ควรจัดเก็บและจัดระเบียบความรู้ในขณะที่หน้าต่างบริบทขยายตัวอย่างมาก การพัฒนาล่าสุดได้จุดประกายการถกเถียงเกี่ยวกับสถาปัตยกรรมหน่วยความจำแบบดั้งเดิมจะกลายเป็นสิ่งล้าสมัยหรือยังคงมีความจำเป็นสำหรับการสร้างระบบ AI ที่มีความสอดคล้อง
การอภิปรายมีจุดศูนย์กลางอยู่ที่ความท้าทายหลัก ความรู้ทั้งหมดมีอยู่ภายในกรอบอ้างอิงเฉพาะที่กำหนดความถูกต้องของมัน ข้อเท็จจริงง่ายๆ เช่น Berlin เป็นเมืองหลวงของ Germany กลายเป็นเรื่องซับซ้อนเมื่อพิจารณาช่วงเวลาต่างๆ จักรวาลแฟนตาซี หรือประวัติศาสตร์ทางเลือก ความซับซ้อนนี้ได้ขับเคลื่อนความจำเป็นในการใช้ระบบหน่วยความจำที่ซับซ้อนใน AI มาโดยตลอด
หน้าต่างบริบทขนาดใหญ่ท้าทายแนวทางหน่วยความจำแบบดั้งเดิม
ภูมิทัศน์ได้เปลี่ยนแปลงอย่างมากกับโมเดล AI สมัยใหม่ที่รองรับหน้าต่างบริบทเกิน 128,000 token โดยโมเดลระดับแนวหน้าสามารถเข้าถึงหลายล้าน token การขยายตัวนี้ทำให้นิยายสั้นทั้งเล่มหรือชุดเอกสารสามารถใส่ลงในหน้าต่างบริบทเดียวได้ ซึ่งเปลี่ยนแปลงวิธีที่ระบบ AI สามารถเข้าถึงข้อมูลอย่างพื้นฐาน
แม้แต่โมเดลแบบเปิดหลายตัวตอนนี้ก็เสนอ >128k token ซึ่งทำให้สามารถใส่นิยายสั้นทั้งเล่มในหน้าต่างบริบทได้... ฉันรู้สึกว่าปัญหาที่เกี่ยวข้องกับหน่วยความจำส่วนใหญ่จะหายไปเพียงแค่เพราะความยาวบริบทที่เพิ่มขึ้น
การพัฒนานี้บ่งชี้ว่าระบบการดึงข้อมูลหน่วยความจำที่ซับซ้อนอาจมีความสำคัญน้อยลงเมื่อพลังการคำนวณดิบช่วยให้โมเดลสามารถรักษาข้อมูลจำนวนมหาศาลไว้ให้เข้าถึงได้โดยตรง
หน้าต่างบริบท: ปริมาณข้อความที่โมเดล AI สามารถประมวลผลและจดจำได้ในครั้งเดียว วัดเป็น token (ประมาณเท่ากับคำหรือส่วนของคำ)
การเปรียบเทียบ Context Window
- โมเดลแบบดั้งเดิม: น้อยกว่า 10,000 โทเค็น
- โมเดลเปิดสมัยใหม่: มากกว่า 128,000 โทเค็น
- โมเดลชั้นนำ: หลายล้านโทเค็น
- ความจุในทางปฏิบัติ: 128,000 โทเค็น ≈ 100,000 คำ ≈ ข้อความภาษาอังกฤษ 300 หน้า
ระบบ Identity แบบ Graph เกิดขึ้นเป็นทางเลือก
ในขณะที่ผู้เชี่ยวชาญบางคนเชื่อว่าการขยายหน้าต่างบริบทจะแก้ไขความท้าทายด้านหน่วยความจำ คนอื่นๆ กลับโต้แย้งเพื่อแนวทางที่ซับซ้อนมากขึ้น ชุมชนกำลังสำรวจระบบแบบ graph ที่แสดงหน่วยความจำเป็นเครือข่ายที่เชื่อมโยงกันแทนที่จะเป็นที่เก็บข้อมูลธรรมดา
ระบบเหล่านี้มุ่งเน้นไปที่การก่อตัวของ identity แทนที่จะเป็นการจัดเก็บข้อเท็จจริงเพียงอย่างเดียว โดยจัดระเบียบสัญลักษณ์ ความทรงจำ และความสัมพันธ์เชิงสาเหตุเพื่อสร้างเอนทิตีที่มีความสอดคล้อง แนวทางนี้ตระหนักว่าหน่วยความจำ AI ที่มีประสิทธิภาพต้องจับภาพไม่เพียงแค่ข้อมูล แต่ยังรวมถึงความสัมพันธ์ที่ซับซ้อนระหว่างชิ้นส่วนความรู้ต่างๆ
แนวทางระบบหน่วยความจำ
- Raw Scaling: การขยายหน้าต่างบริบทเพื่อเก็บข้อมูลได้มากขึ้นโดยตรง
- Graph-Based: การแสดงความรู้ในรูปแบบเครือข่ายที่เชื่อมโยงความสัมพันธ์ระหว่างกัน
- Reference Frames: การจัดระเบียบข้อมูลตามความถูกต้องเชิงเวลา พื้นที่ หรือบริบท
- Attention Mechanisms: การใช้สถาปัตยกรรม transformer ที่มีอยู่สำหรับการเชื่อมโยงเอกสาร
กลไก Attention แสดงความคล้ายคลึงที่ไม่คาดคิด
ข้อสังเกตที่น่าสนใจเกิดขึ้นจากการอภิปรายของชุมชนเกี่ยวกับกลยุทธ์การเชื่อมต่อเอกสาร เมื่อตรวจสอบวิธีการเชื่อมโยงเอกสารที่เกี่ยวข้องและการทำนายการเชื่อมต่อที่มีประโยชน์ นักพัฒนาค้นพบว่าพวกเขากำลังสร้างกลไก attention ขึ้นมาใหม่ ซึ่งเป็นเทคโนโลยีหลักที่ขับเคลื่อนโมเดล transformer อยู่แล้ว
การตระหนักรู้นี้เน้นย้ำว่าความท้าทายด้านหน่วยความจำพื้นฐานใน AI มักจะกลับมาที่โซลูชันสถาปัตยกรรมที่พิสูจน์แล้ว แม้จะเข้าหาจากมุมที่แตกต่างกัน
บทสรุป
ชุมชน AI ยังคงแบ่งแยกเกี่ยวกับการขยายหน้าต่างบริบทแบบ brute-force หรือสถาปัตยกรรมหน่วยความจำที่ซับซ้อนจะเป็นฝ่ายชนะในที่สุด ในขณะที่ความสามารถบริบทที่ขยายตัวเสนอประโยชน์ทางปฏิบัติในทันที ความท้าทายพื้นฐานของการจัดระเบียบความรู้ภายในกรอบอ้างอิงที่เหมาะสมยังคงอยู่ โซลูชันอาจไม่ได้อยู่ที่การเลือกแนวทางใดแนวทางหนึ่ง แต่อยู่ที่การหาสมดุลที่เหมาะสมระหว่างพลังการคำนวณดิบและการจัดระเบียบข้อมูลอย่างชาญฉลาด
อ้างอิง: Reference frames