บทความล่าสุดที่อ้างว่าการเข้าใจกลไกการทำงานของ AI attention เป็น Big-O ใหม่สำหรับการออกแบบ prompt ได้จุดประกายการถกเถียงอย่างร้อนแรงในหมู่นักพัฒนาและนักวิจัย AI บทความดังกล่าวโต้แย้งว่าการจัดโครงสร้าง prompt รอบๆ วิธีที่ Large Language Models (LLMs) ประมวลผล attention สามารถปรับปรุงผลลัพธ์ได้อย่างมาก แต่ชุมชนเทคโนโลยีกำลังต่อต้านอย่างแรงทั้งในด้านวิทยาศาสตร์และวิธีการ
ความแม่นยำทางเทคนิคถูกโจมตี
การวิพากษ์วิจารณ์ที่ดังที่สุดมุ่งเน้นไปที่ความเข้าใจผิดพื้นฐานเกี่ยวกับวิธีการทำงานของ LLMs จริงๆ นักพัฒนาหลายคนชี้ให้เห็นว่าบทความนั้นสับสนระหว่างกลไก attention ทางเทคนิคที่ใช้ในโมเดล transformer กับแนวคิด attention ทั่วไปของมนุษย์ ผู้แสดงความคิดเห็นคนหนึ่งสังเกตว่าระบบ AI สมัยใหม่ไม่ได้อ่าน token ทั้งหมดพร้อมกันตามที่อ้าง แต่ใช้กระบวนการที่ซับซ้อนที่เกี่ยวข้องกับ parallel prefill และ sequential decoding ที่มี causal masks
ชุมชนยังเน้นย้ำว่าสถาปัตยกรรม AI ปัจจุบันได้ก้าวไปไกลกว่ากลไก attention มาตรฐานแล้ว หลายระบบตอนนี้ใช้ทางเลือกอื่นเช่น Hyena หรือเทคนิคเช่น sliding window attention ทำให้หลักฐานหลักล้าสมัยก่อนการเผยแพร่
กลไก Attention: กระบวนการทางคณิตศาสตร์ที่ช่วยให้โมเดล AI มุ่งเน้นไปที่ส่วนที่เกี่ยวข้องของข้อความที่ป้อนเข้าเมื่อสร้างการตอบสนอง
ทางเลือกสถาปัตยกรรม AI สมัยใหม่แทนการใช้ Attention แบบมาตรฐาน:
- Hyena: กลไกการใช้ attention ทางเลือกเพื่อปรับปรุงประสิทธิภาพ
- Sliding Window Attention: ประมวลผลข้อความในส่วนที่ทับซ้อนกัน
- Causal Masks: ป้องกันไม่ให้โมเดลเห็น token ในอนาคตระหว่างการฝึกอบรม
หลักฐานที่ขาดหายไปและวิธีการที่น่าสงสัย
การวิพากษ์วิจารณ์ที่แข็งแกร่งที่สุดอาจเกี่ยวข้องกับการขาดหลักฐานเชิงประจักษ์ ผู้แสดงความคิดเห็นหลายคนเรียกร้องให้มีการเปรียบเทียบแบบเคียงข้างกัน มาตรฐาน หรือผลลัพธ์ที่วัดได้ บทความนำเสนอรูปแบบ prompt ที่แตกต่างกันสองแบบ แต่ไม่เคยแสดงผลลัพธ์จริงหรือตัวชี้วัดประสิทธิภาพเพื่อสนับสนุนข้อเรียกร้องของมัน
คุณไม่สามารถเรียกมันว่าเพิ่มประสิทธิภาพ attention ได้โดยไม่เปิดสมองของ LLM และประเมินสิ่งที่เกิดขึ้นในชั้น attention หมายถึงว่างานวิจัยที่อ้างถึงได้ทำบางส่วนของสิ่งนั้นหรือไม่? ฉันหมายถึงข้อเท็จจริงที่ว่าการเพิ่มประสิทธิภาพสำหรับ attention ทำให้ prompt ดีขึ้นเป็นสมมติฐานที่มั่นคง แต่ฉันไม่ได้อ่านหลักฐานที่นี่
ความรู้สึกนี้สะท้อนถึงความผิดหวังในวงกว้างในชุมชน AI เกี่ยวกับช่องว่างระหว่างข้อเรียกร้องที่กล้าหาญและความเข้มงวดทางวิทยาศาสตร์ในการอภิปรายเรื่องการออกแบบ prompt
ข้อวิพากษ์วิจารณ์หลักของการใช้พรอมต์แบบ "เพิ่มประสิทธิภาพความสนใจ":
- ผสมผสานกลไกความสนใจทางเทคนิคเข้ากับแนวคิดความสนใจทั่วไป
- ขาดหลักฐานเชิงประจักษ์และการเปรียบเทียบแบบเคียงข้างกัน
- ไม่มีการให้เกณฑ์มาตรฐานหรือตัวชี้วัดประสิทธิภาพที่วัดได้
- ความเข้าใจที่ล้าสมัยเกี่ยวกับสถาปัตยกรรม AI ปัจจุบัน
- ขาดความเข้มงวดทางวิทยาศาสตร์ในระเบียบวิธี
การถกเถียงเรื่องวิศวกรรมกลับมาอีกครั้ง
ความขัดแย้งได้จุดประกายความตึงเครียดที่มีมายาวนานเกี่ยวกับว่าการออกแบบ prompt สมควรได้รับป้ายวิศวกรรมหรือไม่ นักวิพากษ์วิจารณ์โต้แย้งว่าสาขานี้ขาดความสามารถในการคาดเดาและรากฐานทางวิทยาศาสตร์ของสาขาวิศวกรรมแบบดั้งเดิม บางคนแนะนำคำศัพท์ที่ซื่อสัตย์มากขึ้นเช่น คาถา หรือ พิธีกรรม เพื่ออธิบายลักษณะการลองผิดลองถูกของการเพิ่มประสิทธิภาพ prompt
ความขัดแย้งไม่หลงทางสำหรับผู้สังเกตการณ์ว่านักพัฒนาที่มักจะต่อต้านการเรียกการพัฒนาซอฟต์แวร์ว่าวิศวกรรมได้ยอมรับการออกแบบ prompt engineering อย่างรวดเร็วแม้จะมีรากฐานที่เข้มงวดน้อยกว่า
คุณค่าเชิงปฏิบัติท่ามกลางการวิพากษ์วิจารณ์
แม้จะมีการวิพากษ์วิจารณ์ทางเทคนิค สมาชิกชุมชนหลายคนยอมรับว่าการใช้ prompt ที่มีโครงสร้างมักจะให้ผลลัพธ์ที่ดีกว่า โดยไม่คำนึงถึงคำอธิบายพื้นฐาน คำแนะนำหลักเกี่ยวกับการจัดระเบียบ prompt อย่างชัดเจน การแบ่งงานที่ซับซ้อน และการให้บริบทที่เฉพาะเจาะจงสอดคล้องกับแนวปฏิบัติที่ดีที่สุดที่ได้รับการยอมรับในการสื่อสารของมนุษย์
นักพัฒนาบางคนแบ่งปันแนวทางเชิงปฏิบัติที่ทำงานได้ดี เช่น การให้โมเดล AI เพิ่มประสิทธิภาพ prompt ด้วยตนเอง หรือการใช้รูปแบบที่มีโครงสร้างเช่นเทมเพลต JSON เพื่อนำทางการตอบสนองของ AI ได้อย่างมีประสิทธิภาพมากขึ้น
มองไปข้างหน้า
การถกเถียงเน้นย้ำถึงความท้าทายที่สำคัญที่สาขา AI กำลังเผชิญ: การสร้างสมดุลระหว่างคำอธิบายที่เข้าถึงได้กับความแม่นยำทางเทคนิค ในขณะที่ชุมชนให้ความสำคัญกับคำแนะนำเชิงปฏิบัติสำหรับการทำงานกับระบบ AI มีความต้องการที่เพิ่มขึ้นสำหรับวิธีการประเมินที่เข้มงวดมากขึ้นและการยอมรับอย่างซื่อสัตย์ต่อสิ่งที่เรายังไม่เข้าใจเกี่ยวกับระบบที่ซับซ้อนเหล่านี้
ในขณะที่ความสามารถของ AI ยังคงก้าวหน้าอย่างรวดเร็ว แรงกดดันเพิ่มขึ้นสำหรับการออกแบบ prompt ให้พัฒนาจากรูปแบบศิลปะไปสู่สิ่งที่คล้ายกับวิศวกรรมจริงมากขึ้น - ด้วยผลลัพธ์ที่วัดได้ วิธีการที่ทำซ้ำได้ และการตรวจสอบทางวิทยาศาสตร์
อ้างอิง: Attention Is the New Big-O