อุตสาหกรรมปัญญาประดิษฐ์กำลังเผชิญกับความท้าทายพื้นฐานที่อาจเปลี่ยนแปลงทั้งสาขานี้ หลังจากหลายปีของการเติบโตอย่างรวดเร็วที่ขับเคลื่อนด้วยชุดข้อมูลขนาดใหญ่ บริษัท AI กำลังขาดแคลนข้อมูลฝึกอบรมคุณภาพสูง การขาดแคลนนี้คุกคามแนวทางดั้งเดิมของการขยายโมเดลด้วยพลังการประมวลผลและชุดข้อมูลที่ใหญ่ขึ้นเพียงอย่างเดียว
จุดจบของการขยายแบบง่ายๆ
ปัญหานี้เกิดจากการเข้าใจผิดต่อบทความ Bitter Lesson ที่มีชื่อเสียงของ Rich Sutton แม้ว่าหลายคนจะตีความว่าเป็นการเรียกร้องให้จัดลำดับความสำคัญของพลังการประมวลผลเหนือสิ่งอื่นใด แต่ข้อจำกัดที่แท้จริงกลับกลายเป็นความพร้อมใช้งานของข้อมูล กฎการขยายในปัจจุบันแสดงให้เห็นว่าการเพิ่ม GPU เป็นสองเท่าต้องการข้อมูลฝึกอบรมมากขึ้นประมาณ 1.4 เท่าเพื่อรักษาประสิทธิภาพ อย่างไรก็ตาม บริษัทต่างๆ ได้ใช้เนื้อหาที่เป็นข้อความจากอินเทอร์เน็ตหมดแล้วสำหรับวัตถุประสงค์ในการฝึกอบรม
สิ่งนี้สร้างข้อจำกัดทางคณิตศาสตร์ที่เงินจำนวนเท่าไหร่ก็แก้ไขไม่ได้ ความสัมพันธ์ระหว่างงบประมาณการประมวลผล พารามิเตอร์ของโมเดล และข้อมูลฝึกอบรมเป็นไปตามอัตราส่วนที่เฉพาะเจาะจง เมื่อองค์ประกอบหนึ่งถึงขีดจำกัด แนวทางการขยายทั้งหมดก็จะล่มสลาย บริษัทต่างๆ ไม่สามารถเพียงแค่เพิ่มฮาร์ดแวร์มากขึ้นเพื่อแก้ปัญหาโดยไม่มีการเพิ่มขึ้นที่สอดคล้องกันในวัสดุฝึกอบรมคุณภาพ
ความสัมพันธ์ของกฎการขยายขนาด: งงบประมาณการคำนวณ C ~ 6N × D โดยที่ N = พารามิเตอร์ของโมเดล และ D = โทเค็นข้อมูลการฝึก การเพิ่มพลังการคำนวณเป็นสองเท่าต้องการข้อมูลมากขึ้น ~1.41 เท่าเพื่อรักษาประสิทธิภาพ
สองเส้นทางสำหรับการพัฒนา AI
อุตสาหกรรมเผชิญกับการเลือกที่สำคัญระหว่างสองแนวทางที่แตกต่างกัน เส้นทางแรกมุ่งเน้นไปที่การปรับปรุงสถาปัตยกรรม - การพัฒนาการออกแบบโมเดลที่มีประสิทธิภาพมากขึ้นซึ่งสามารถบรรลุประสิทธิภาพที่ดีขึ้นด้วยข้อมูลที่มีอยู่ ซึ่งรวมถึงนวัตกรรมอย่าง State Space Models และกรอบการใช้เหตุผลใหม่ที่สามารถให้ผลตอบแทนการปรับปรุงประสิทธิภาพอย่างต่อเนื่อง 20-30%
แนวทางที่สองเกี่ยวข้องกับการสร้างข้อมูลฝึกอบรมสังเคราะห์ผ่านสิ่งที่นักวิจัยเรียกว่าวิธีการเล่นแร่แปรธาตุ ซึ่งรวมถึงเทคนิคอย่างการเรียนรู้เสริมแรงจากข้อเสนอแนะของมนุษย์ สถานการณ์การเล่นด้วยตนเอง และระบบ AI ที่สร้างตัวอย่างการฝึกอบรมของตัวเอง แม้ว่าจะมีศักยภาพปฏิวัติ แต่เส้นทางนี้มีความเสี่ยงสูงและผลลัพธ์ที่ไม่แน่นอน
หากคุณสามารถหาวิธีผลิตรางวัลที่สามารถตรวจสอบได้เกี่ยวกับโลกเป้าหมาย คุณสามารถผลิตข้อมูลได้ไม่จำกัดและน่าจะขยายผ่านข้อจำกัดปัจจุบันได้
เส้นทางการปรับปรุงประสิทธิภาพ: การปรับปรุงสถาปัตยกรรมให้ผลตอบแทนที่มั่นคง 20-30% ในขณะที่แนวทางข้อมูลสังเคราะห์มีความแปรปรวนสูงกว่าแต่มีศักยภาพในการปรับปรุงได้ถึง 300%
การปฏิสัมพันธ์กับโลกแห่งความจริงเป็นชิ้นส่วนที่หายไป
นักวิจัยหลายคนเชื่อว่าทางออกอยู่ที่การเชื่อมต่อระบบ AI เข้ากับโลกทางกายภาพโดยตรงมากขึ้น โมเดลภาษาปัจจุบันได้รับการฝึกอบรมจากข้อความเป็นหลัก - ซึ่งเป็นเงาบนผนังของความรู้ของมนุษย์มากกว่าประสบการณ์โดยตรง มนุษย์เรียนรู้ผ่านการปฏิสัมพันธ์แบบหลายรูปแบบกับสภาพแวดล้อม ประมวลผลข้อมูลภาพ เสียง และการสัมผัสพร้อมกัน
ความร่ำรวยของข้อมูลจากการปฏิสัมพันธ์ในโลกแห่งความจริงเกินกว่าสิ่งที่จับได้ในข้อความที่เขียน ช่วงเวลาเดียวของประสบการณ์ของมนุษย์มีข้อมูลมากกว่าสิ่งที่สามารถถ่าทอดผ่านภาษาเพียงอย่างเดียวมาก สิ่งนี้บ่งชี้ว่าระบบ AI ต้องการการเข้าถึงสตรีมข้อมูลทางประสาทสัมผัส ข้อเสนอแนะจากหุ่นยนต์ และสภาพแวดล้อมแบบโต้ตอบเพื่อให้ก้าวหน้าต่อไป
ช่วงว่างในไทม์ไลน์การพัฒนา: โมเดล AI ด้านหุ่นยนต์คาดว่าจะล้าหลังโมเดลภาษาประมาณ 5 ปีในด้านความสามารถและความพร้อมใช้งานของข้อมูล
ผลกระทบต่ออุตสาหกรรมและแนวโน้มอนาคต
การขาดแคลนข้อมูลนี้มีผลกระทบอย่างลึกซึ้งต่อบริษัท AI และนักลงทุน คู่มือดั้งเดิมของการรักษาความปลอดภัยทรัพยากรการประมวลผลมากขึ้นและคาดหวังการปรับปรุงตามสัดส่วนไม่ได้ผลอีกต่อไป บริษัทต่างๆ ต้องพัฒนากลยุทธ์ข้อมูลที่ซับซ้อนควบคู่ไปกับแผนการประมวลผลของพวกเขา
ความท้าทายนี้รุนแรงเป็นพิเศษสำหรับการประยุกต์ใช้หุ่นยนต์ ซึ่งล้าหลังโมเดลภาษาประมาณห้าปีในการพัฒนา ข้อมูลโลกทางกายภาพมีทั้งราคาแพงกว่าในการรวบรวมและซับซ้อนกว่าในการประมวลผลเมื่อเทียบกับข้อมูลที่เป็นข้อความ อย่างไรก็ตาม มันอาจเป็นเส้นทางที่มีแนวโน้มมากที่สุดสู่ปัญญาประดิษฐ์ทั่วไปอย่างแท้จริง
อุตสาหกรรมยืนอยู่ที่ทางแยกที่วิศวกรรมที่ฉลาดและแนวทางใหม่มีความสำคัญมากกว่าพลังการประมวลผลดิบ ความสำเร็จน่าจะมาจากบริษัทที่สามารถปรับปรุงประสิทธิภาพข้อมูลอย่างมากหรือหาวิธีนวัตกรรมในการสร้างวัสดุฝึกอบรมสังเคราะห์คุณภาพสูง ยุคของการขยายแบบง่ายๆ อาจกำลังจะจบลง แต่ยุคของการพัฒนา AI ที่ซับซ้อนเพิ่งเริ่มต้น
อ้างอิง: The Bitter Lesson Is Misunderstood