ชุมชน AI กำลังมีส่วนร่วมในการถกเถียงอย่างเข้มข้นเกี่ยวกับว่าการใช้พลังคอมพิวเตอร์มากขึ้นกับปัญหาต่างๆ เป็นแนวทางที่ดีที่สุดเสมอหรือไม่ การอภิปรายนี้มีจุดศูนย์กลางอยู่ที่บทเรียนขมขื่นที่มีชื่อเสียงของ Rich Sutton - แนวคิดที่ว่าวิธีการทั่วไปที่ใช้การคำนวณจำนวนมากจะชนะเหนือโซลูชันที่มนุษย์ออกแบบในท้ายที่สุด แม้ว่าหลักการนี้ดูเหมือนจะอธิบายความก้าวหน้าล่าสุดของ AI ได้ แต่การพัฒนาใหม่ๆ กำลังทำให้นักวิจัยตั้งคำถามเกี่ยวกับการใช้ได้ในทุกสถานการณ์
 |
|---|
| ภาพนี้เน้นย้ำแนวคิดพื้นฐานของ "the bitter lesson" ใน AI โดยเป็นการปูทางสำหรับการอภิปรายในบทความ |
แนวทางที่ให้ความสำคัญกับการคำนวณเจอกำแพงในทางปฏิบัติ
บทเรียนขมขื่นทำงานได้ดีในสภาพแวดล้อมที่ควบคุมได้เช่น หมากรุกและ Go ซึ่งกฎเกณฑ์ชัดเจนและสามารถวัดชัยชนะได้ง่าย อย่างไรก็ตาม แอปพลิเคชันในโลกแห่งความเป็นจริงนำเสนอความท้าทายที่ยุ่งเหยิงกว่า องค์กรต่างๆ ต้องดิ้นรนกับกระบวนการที่ไม่ได้กำหนดไว้ คุณภาพข้อมูลที่ไม่ดี และวัตถุประสงค์ที่ต่อต้านการวัดแบบง่ายๆ ไม่เหมือนเกมหมากรุกที่มีกฎเกณฑ์ชัดเจน พลวัตในที่ทำงานเกี่ยวข้องกับขั้นตอนที่ไม่ได้เขียนไว้และปฏิสัมพันธ์ของมนุษย์ที่ซับซ้อนซึ่งยากต่อการจับในข้อมูล
ชุมชนได้สังเกตว่าหลายบริษัทไม่สามารถกำหนดเป้าหมายของตนเองได้อย่างชัดเจน ไม่ต้องพูดถึงการให้ข้อมูลคุณภาพสูงที่จำเป็นสำหรับแนวทางที่ใช้การคำนวณมากให้ทำงานได้อย่างมีประสิทธิภาพ สิ่งนี้สร้างปัญหาพื้นฐาน: หากไม่มีข้อมูลที่ดีและวัตถุประสงค์ที่ชัดเจน การเพิ่มพลังคอมพิวเตอร์มากขึ้นก็ไม่ช่วยอะไร
โมเดลที่มีประสิทธิภาพท้าทายเรื่องเล่าการขยายขนาด
การพัฒนาล่าสุดใน AI แสดงให้เห็นว่าความฉลาดมากกว่าความใหญ่อาจจะดีกว่า ในหมากรุก Stockfish ยังคงไม่เคยแพ้แม้จะใช้แนวทางแบบผสมที่รวมการเขียนโปรแกรมแบบดั้งเดิมกับเครือข่ายประสาทเทียมขนาดเล็ก แทนที่จะเป็น deep learning แบบบริสุทธิ์ มันสามารถทำงานบน iPhone ในขณะที่มีประสิทธิภาพเหนือทางเลือกที่ใช้การคำนวณมาก
ในทำนองเดียวกัน โมเดลใหม่ที่เรียกว่า Hierarchical Reasoning Model (HRM) ได้ผลลัพธ์ที่น่าประทับใจในเบนช์มาร์กการใช้เหตุผลของ AI โดยใช้เพียง 27 ล้านพารามิเตอร์ - ส่วนเล็กๆ เมื่อเทียบกับโมเดลที่มีพารามิเตอร์หลายพันล้าน ในขณะที่ OpenAI รายงานว่าใช้จ่าย 30,000 ดอลลาร์สหรัฐ ต่องานเพื่อให้ได้คะแนนสูง HRM สามารถบรรลุผลลัพธ์ที่คล้ายกันด้วยทรัพยากรการคำนวณที่น้อยกว่ามาก
โมเดลเช่น HRM น่าจะสามารถทำงานบนโทรศัพท์ของคุณได้ เหมือนกับ Stockfish เหล่านี้ไม่ใช่โปรแกรมที่ใช้ได้ทั่วไป และพวกมันไม่ได้เป็นเลิศด้วยการคำนวณจำนวนมาก
การเปรียบเทียบโมเดล:
- HRM (Hierarchical Reasoning Model): 27 ล้านพารามิเตอร์ เฉพาะเจาะจงสำหรับงานเฉพาะด้าน
- Standard LLMs: หลายพันล้านพารามิเตอร์ ใช้งานทั่วไป
- OpenAI o3: $30,000 USD ต่องานหนึ่งสำหรับคะแนนเบนช์มาร์กสูง
- Stockfish: แนวทางแบบผสม ทำงานบน iPhone ยังคงไม่เคยแพ้ในเกมหมากรุก
มุมมองตลอดอาชีพเทียบกับความต้องการเร่งด่วน
การอภิปรายเผยให้เห็นความแตกต่างที่สำคัญเกี่ยวกับขอบเขตเวลา สมาชิกชุมชนบางคนโต้แย้งว่าบทเรียนขมขื่นใช้กับกลยุทธ์การวิจัยตลอดอาชีพ โดยสมมติว่าฮาร์ดแวร์จะมีการปรับปรุงอย่างต่อเนื่องตลอดหลายทศวรรษ จากมุมมองนี้ การเดิมพันกับแนวทางการคำนวณทั่วไปสมเหตุสมผลสำหรับทิศทางการวิจัยระยะยาว
อย่างไรก็ตาม สำหรับแอปพลิเคชันที่ใช้งานจริงในทันที โซลูชันเฉพาะทางมักให้ผลลัพธ์ที่ดีกว่า บริษัทที่สร้างเครื่องมือ AI ในปัจจุบันต้องการโซลูชันที่ทำงานภายในข้อจำกัดปัจจุบัน ไม่ใช่ความสามารถในอนาคตเชิงทฤษฎี ความตึงเครียดระหว่างกลยุทธ์สำรวจเทียบกับใช้ประโยชน์กลายเป็นสิ่งสำคัญเมื่อตัดสินใจระหว่างการลงทุนในแนวทางทั่วไปที่ขยายได้หรือโซลูชันที่มีประสิทธิภาพเฉพาะเจาะจง
ต้นทุนการผลิต:
- โรงงานผลิตเวเฟอร์สมัยใหม่: 1-3 พันล้าน USD (ปัจจุบัน)
- โรงงานผลิตเวเฟอร์ในอนาคต: สูงถึง 20 พันล้าน USD (คาดการณ์)
- บริบททางประวัติศาสตร์: ประมาณปี 2000 ต้นทุนเช่นนี้จะไม่สามารถหาเงินทุนได้
ข้อจำกัดทางการเงินและเทคนิคกำหนดความเป็นจริง
ชุมชนได้ตั้งคำถามเกี่ยวกับว่าใครได้ประโยชน์จากการส่งเสริมแนวทางที่ใช้การคำนวณมาก มีความตระหนักที่เพิ่มขึ้นว่าการเน้นการขยายขนาดเมื่อเร็วๆ นี้อาจได้รับอิทธิพลจากผู้ที่ขายทรัพยากรการคำนวณหรือผู้ที่เข้าถึงงบประมาณการคำนวณขนาดใหญ่
ต้นทุนการผลิตสำหรับชิปขั้นสูงยังคงเพิ่มขึ้น โดยสิ่งอำนวยความสะดวกการผลิตสมัยใหม่มีค่าใช้จ่าย 1-20 พันล้านดอลลาร์สหรัฐ สิ่งนี้สร้างขีดจำกัดที่เป็นไปได้ในทางปฏิบัติเกี่ยวกับการคำนวณที่สามารถนำไปใช้กับปัญหาได้จริง โดยเฉพาะสำหรับองค์กรขนาดเล็กและนักวิจัย
การถกเถียงสะท้อนคำถามที่กว้างขึ้นเกี่ยวกับลำดับความสำคัญการพัฒนา AI แม้ว่าแนวทางการคำนวณทั่วไปอาจครอบงำในท้ายที่สุด ความต้องการเร่งด่วนสำหรับโซลูชันที่ใช้งานได้จริงและมีประสิทธิภาพซึ่งทำงานภายในข้อจำกัดของโลกแห่งความเป็นจริงยังคงเร่งด่วน บทเรียนขมขื่นอาจเป็นจริงในระยะยาว แต่มันไม่จำเป็นต้องเป็นแนวทางในการตัดสินใจที่ดีที่สุดสำหรับแอปพลิเคชัน AI ในปัจจุบัน
อ้างอิง: Does the Bitter Lesson Have Limits?