คลื่นล่าสุดของสถาปัตยกรรมโมเดลภาษาขนาดใหญ่ได้ดึงดูดความสนใจจากนักพัฒนาและนักวิจัย โดยโมเดลอย่าง DeepSeek V3 และ GLM-2 ได้นำเสนอการปรับปรุงประสิทธิภาพที่ก้าวล้ำ อย่างไรก็ตาม การอภิปรายในชุมชนเผยให้เห็นความกังวลที่เพิ่มขึ้นว่าความก้าวหน้าทางสถาปัตยกรรมเหล่านี้ แม้จะน่าประทับใจ แต่ยังไม่ได้แก้ไขความท้าทายพื้นฐานเรื่องความแม่นยำของข้อเท็จจริงในเนื้อหาที่ AI สร้างขึ้น
ความก้าวหน้าทางสถาปัตยกรรมขับเคลื่อนการเพิ่มประสิทธิภาพ
โมเดลล่าสุดได้ก้าวไปข้างหน้าอย่างมีนัยสำคัญในด้านประสิทธิภาพการคำนวณผ่านตัวเลือกการออกแบบที่เป็นนวัตกรรม โมเดล V3 ของ DeepSeek ผสมผสานสถาปัตยกรรม Mixture-of-Experts (MoE) เข้ากับ Multi-Head Latent Attention (MLA) เพื่อลดต้นทุนการคำนวณจากความซับซ้อนแบบกำลังสองเป็นเชิงเส้น วิธีการนี้ช่วยให้เฉพาะผู้เชี่ยวชาญบางส่วนของโมเดลเท่านั้นที่จะทำงานสำหรับแต่ละ input token ซึ่งช่วยลดความต้องการในการประมวลผลอย่างมากในขณะที่ยังคงรักษาคุณภาพของประสิทธิภาพ ในทำนองเดียวกัน GLM-2 ใช้ sliding window attention และการวางตำแหน่ง normalization layer อย่างกลยุทธ์เพื่อให้บรรลุการลู่เข้าที่เร็วขึ้นและการฝึกอบรมที่เสถียรมากขึ้น
Multi-Head Latent Attention (MLA): ตัวแปรของ transformer ที่ใช้ตัวแปรแฝงเพื่อประมาณ attention matrices ลดความซับซ้อนในการคำนวณในขณะที่ยังคงรักษาคุณภาพของ attention
Mixture-of-Experts (MoE): สถาปัตยกรรมที่มีโมเดลย่อยเฉพาะทาง (ผู้เชี่ยวชาญ) หลายตัวจัดการกับแง่มุมต่างๆ ของ input โดยมีเฉพาะผู้เชี่ยวชาญที่เกี่ยวข้องเท่านั้นที่จะทำงานสำหรับแต่ละ token
ส่วนประกอบสถาปัตยกรรม DeepSeek V3:
- Router: นำทางโทเค็นอินพุตไปยังผู้เชี่ยวชาญที่เหมาะสม
- Expert weights: กำหนดความน่าจะเป็นในการเลือกผู้เชี่ยวชาญ
- Gate Controller: เพิ่มประสิทธิภาพการเลือกผู้เชี่ยวชาญเพื่อความมีประสิทธิภาพ
- Multi-Head Latent Attention (MLA): ลดความซับซ้อนจากกำลังสองเป็นเชิงเส้น
- Mixture-of-Experts (MoE): พารามิเตอร์ 236B พร้อมการเปิดใช้งานแบบเลือกสรร
ความท้าทายของการสร้างข้อมูลเท็จยังคงไม่ได้รับการแก้ไข
แม้จะมีนวัตกรรมทางสถาปัตยกรรมเหล่านี้ ชุมชนยังคงแบ่งแยกความคิดเห็นว่าการปรับปรุงทางเทคนิคจะแก้ไขปัญหาหลักของความน่าเชื่อถือทางข้อเท็จจริงหรือไม่ ปัญหาพื้นฐานเกิดจากการฝึกโมเดลให้ทำนายรูปแบบข้อความมากกว่าการฝังความสามารถในการใช้เหตุผลเชิงตรรกะที่แข็งแกร่ง ข้อจำกัดนี้เห็นได้ชัดเจนเป็นพิเศษเมื่อโมเดลสร้างข้อมูลที่ฟังดูน่าเชื่อถือแต่ไม่ถูกต้องอย่างมั่นใจ
โมเดลไม่สามารถบอกได้ว่าเมื่อไหร่ที่พวกมันไม่ควรขยายความและเพียงแค่ต้องการข้อมูลเพิ่มเติม กฎไหนที่สามารถนำไปใช้ทั่วไปได้และกฎไหนที่ไม่สามารถทำได้
การอภิปรายเน้นย้ำว่าแนวทางการฝึกอบรมปัจจุบันอาจส่งเสริมการสร้างข้อมูลเท็จโดยไม่ตั้งใจด้วยการบังคับให้โมเดลให้คำตอบแม้ในขณะที่ข้อมูลที่มีอยู่ไม่เพียงพอ สมาชิกในชุมชนบางคนโต้แย้งว่าแนวทางการทำนายข้อความนั้นเองอาจเป็นคอขวด ในขณะที่คนอื่นๆ แนะนำว่าการเปลี่ยนแปลงทางสถาปัตยกรรมเพียงอย่างเดียวได้แสดงการปรับปรุงที่วัดได้ในความแม่นยำของข้อเท็จจริง
ความท้าทายในการบูรณาการสำหรับโซลูชันที่มีอยู่
ในขณะที่ Retrieval Augmented Generation (RAG) และเทคนิคที่คล้ายกันช่วยบรรเทาปัญหาการสร้างข้อมูลเท็จ ชุมชนตั้งคำถามว่าทำไมโซลูชันเหล่านี้จึงยังไม่ได้รับการบูรณาการโดยตรงเข้ากับโมเดลพื้นฐาน การถกเถียงมุ่งเน้นไปที่ว่าลักษณะภายนอกของ RAG เป็นข้อจำกัดพื้นฐานหรือเป็นทางเลือกเชิงปฏิบัติ บางคนโต้แย้งว่าการรวมความสามารถในการรับเอกสารและการปรับแต่งชั่วคราวโดยตรงเข้ากับโมเดลที่ปรับใช้อาจขจัดความจำเป็นในการใช้ RAG แยกต่างหาก
การอภิปรายยังสัมผัสถึงความซับซ้อนของการดึงข้อมูลในโลกแห่งความเป็นจริง ซึ่งข้อมูลที่เกี่ยวข้องมักกระจายอยู่ในหลายเอกสารและต้องการความเข้าใจเชิงบริบทที่เกินกว่าการจับคู่คำสำคัญแบบง่ายๆ ความซับซ้อนนี้ชี้ให้เห็นว่าการตรวจสอบข้อเท็จจริงและการสังเคราะห์ข้อมูลที่มีประสิทธิภาพอาจต้องการแนวทางที่ซับซ้อนกว่าที่สถาปัตยกรรมปัจจุบันให้
มองไปข้างหน้า
ความกระตือรือร้นของชุมชนต่อนวัตกรรมทางสถาปัตยกรรมถูกควบคุมด้วยความคาดหวังที่สมจริงเกี่ยวกับข้อจำกัดของพวกมัน แม้ว่าการปรับปรุงประสิทธิภาพและผลการทดสอบมาตรฐานจะเป็นความสำเร็จที่น่าสังเกต แต่ความท้าทายที่ยังคงมีอยู่ในการสร้างข้อมูลข้อเท็จจริงที่เชื่อถือได้ชี้ให้เห็นว่าความก้าวหน้าในอนาคตอาจต้องคิดใหม่อย่างพื้นฐานเกี่ยวกับวิธีที่โมเดลประมวลผลและตรวจสอบข้อมูลมากกว่าการเพิ่มประสิทธิภาพแนวทางที่มีอยู่เพียงอย่างเดียว
อ้างอิง: The Big LLM Architecture Comparison