ชุมชนนักวิจัย AI กำลังเต็มไปด้วยการถกเถียงหลังจาก Rich Sutton ผู้ได้รับรางวัล Turing Award และเสียงที่มีอิทธิพลในวงการปัญญาประดิษฐ์ ได้ประกาศอย่างเปิดเผยว่าโมเดลภาษาขนาดใหญ่ (LLMs) ไม่ใช่เส้นทางที่เป็นไปได้ในการบรรลุปัญญาทั่วไปที่แท้จริง การเปลี่ยนแปลงจุดยืนที่น่าประหลาดใจของเขาได้ส่งผลกระทบไปทั่วโลกเทคโนโลยี โดยเฉพาะอย่างยิ่งเมื่อพิจารณาจากการสนับสนุนแนวทางการขยายขนาดในอดีตของเขาที่หลายคนเชื่อว่าสนับสนุนการพัฒนา LLM
ผู้เขียน The Bitter Lesson เปลี่ยนทิศทาง
คำวิจารณ์ของ Sutton มุ่งเน้นไปที่ข้อจำกัดพื้นฐานที่เขามองเห็นในเทคโนโลยี LLM ปัจจุบัน เขาโต้แย้งว่าระบบเหล่านี้ทำงานโดยการเลียนแบบพฤติกรรมของมนุษย์และทำนายโทเค็นข้อความเป็นหลัก แทนที่จะพัฒนาความเข้าใจที่แท้จริงเกี่ยวกับโลก ตาม Sutton แล้ว LLMs ขาดความสามารถในการสร้างโมเดลโลกที่แข็งแกร่ง ซึ่งเป็นการแสดงภายในของวิธีการทำงานของโลกกายภาพที่แท้จริง นอกเหนือจากการทำนายสิ่งที่มนุษย์อาจพูดเกี่ยวกับมัน
สิ่งนี้แสดงถึงการเบี่ยงเบนอย่างมีนัยสำคัญจากบทความชื่อดังของเขาในปี 2019 เรื่อง The Bitter Lesson ซึ่งเน้นย้ำว่าความก้าวหน้าของ AI มาจากการขยายการคำนวณอย่างสม่ำเสมอ แทนที่จะเป็นการออกแบบโซลูชันด้วยมือ ผู้สนับสนุน LLM หลายคนได้อ้างอิงงานนี้เป็นการยืนยันแนวทางของพวกเขาในการสร้างโมเดลภาษาที่ใหญ่ขึ้นเรื่อยๆ
ข้อโต้แย้งหลักต่อ LLMs แบบบริสุทธิ์:
- ขาดแบบจำลองโลกแท้จริงนอกเหนือจากการทำนายข้อความ
- ไม่สามารถ "ประหลาดใจ" ได้จากเหตุการณ์ในโลกจริง
- จำกัดอยู่ที่การเลียนแบบพฤติกรรมมนุษย์มากกว่าการเข้าใจ
- ประสิทธิภาพไม่ดีในงานการใช้เหตุผลและการวางแผน
- ความท้าทายกับสถานการณ์ใหม่ที่อยู่นอกเหนือข้อมูลการฝึก
ปฏิกิริยาของชุมชนแบ่งแยกเกี่ยวกับผลกระทบ
การตอบสนองของชุมชนเทคโนโลยีเผยให้เห็นความแตกแยกอย่างลึกซึ้งเกี่ยวกับความหมายของสิ่งนี้ต่อการพัฒนา AI ผู้สังเกตการณ์บางคนเน้นว่าการถกเถียงเกี่ยวข้องโดยเฉพาะกับเส้นทางสู่ปัญญาประดิษฐ์ทั่วไป (AGI) ไม่ใช่คุณค่าเชิงปฏิบัติของแอปพลิเคชัน LLM ปัจจุบัน ระบบเหล่านี้ยังคงแสดงความสามารถที่น่าทึ่งในงานเขียนโค้ด การเขียน และการแก้ปัญหาที่มีประโยชน์ชัดเจนต่อธุรกิจและสังคม
อย่างไรก็ตาม คนอื่นๆ ชี้ให้เห็นว่าระบบ AI สมัยใหม่ไม่ค่อยใช้ LLMs แบบบริสุทธิ์อีกต่อไป การใช้งานในปัจจุบันมักจะผสมผสานโมเดลภาษากับเครื่องมือเพิ่มเติม การเรียกใช้ฟังก์ชัน และระบบการใช้เหตุผลที่ขยายไปไกลเกินการทำนายข้อความธรรมดา แนวทางไฮบริดนี้อาจจะจัดการกับข้อกังวลบางประการของ Sutton ได้ในขณะที่ยังคงใช้ประโยชน์จากจุดแข็งหลักของการสร้างแบบจำลองภาษา
การเปลี่ยนแปลงที่กว้างขึ้นในหมู่ผู้นำ AI
Sutton เข้าร่วมกับนักวิจัย AI ที่มีชื่อเสียงคนอื่นๆ ที่แสดงความสงสัยเกี่ยวกับ LLMs ในฐานะเส้นทางเดียวสู่ AGI Yann LeCun ได้เปลี่ยนไปสำรวจสถาปัตยกรรมโมเดลโลก ในขณะที่ Demis Hassabis ของ DeepMind ก็ยอมรับข้อจำกัดในแนวทางปัจจุบันเช่นกัน ฉันทามติที่เพิ่มขึ้นในหมู่นักวิจัยชั้นนำนี้บ่งบอกว่าสาขานี้อาจกำลังเข้าสู่ช่วงใหม่ของการสำรวจนอกเหนือจากกลยุทธ์การขยายขนาดแบบบริสุทธิ์
การถกเถียงนี้เน้นความแตกต่างที่สำคัญระหว่างการสร้างเครื่องมือ AI ที่มีประโยชน์และการบรรลุปัญญาทั่วไปที่แท้จริง แม้ว่า LLMs จะเก่งในงานหลายอย่าง แต่นักวิจารณ์โต้แย้งว่าพวกมันขาดการเรียนรู้ที่อิงจากความประหลาดใจและพฤติกรรมที่มุ่งเป้าหมายซึ่งเป็นลักษณะของความเข้าใจที่แท้จริงโดยพื้นฐาน
สิ่งเดียวที่คุณไว้ใจได้คือข้อมูล และมันพิสูจน์ว่าเรายังไม่ได้ถึงจุดสูงสุดเมื่อพูดถึง LLMs
บุคคลสำคัญที่วิพากษ์วิจารณ์แนวทาง Pure LLM:
- Rich Sutton - ผู้ได้รับรางวัล Turing Award ผู้เขียน "The Bitter Lesson" (2019)
- Yann LeCun - เปลี่ยนโฟกัสไปที่สถาปัตยกรรม world model ในช่วงปลายปี 2022
- Demis Hassabis - ผู้ได้รับรางวัล Nobel และ CEO ของ Google DeepMind
- Gary Marcus - นักวิจารณ์ LLM มายาวนานตั้งแต่ปี 2019
มองไปข้างหน้า
ขณะที่ชุมชน AI กำลังต่อสู้กับคำถามพื้นฐานเหล่านี้ จุดสนใจกำลังเปลี่ยนไปสู่แนวทางไฮบริดที่ผสมผสาน LLMs กับเทคโนโลยีอื่นๆ ไม่ว่าจะผ่านการเรียนรู้เสริมแรง วิธีการนิวโรซิมโบลิก หรือสถาปัตยกรรมใหม่ทั้งหมด นักวิจัยกำลังสำรวจวิธีการจัดการกับข้อจำกัดที่ Sutton และคนอื่นๆ ได้ระบุไว้ในขณะที่สร้างบนความสำเร็จที่ปฏิเสธไม่ได้ของโมเดลภาषาปัจจุบัน
การถกเถียงนี้สะท้อนถึงความเป็นผู้ใหญ่ของสาขาในที่สุด ขณะที่นักวิจัยก้าวข้ามความตื่นเต้นเบื้องต้นของความสามารถ LLM ไปสู่การจัดการกับความท้าทายที่ลึกซึ้งยิ่งขึ้นในการสร้างระบบที่ฉลาดอย่างแท้จริง
Reference: Game over for pure LLMs. Even Turing Award Winner Rich Sutton has gotten off the bus.