ข้อเสนอล่าสุดที่จะเปลี่ยนจากการเลือกเครื่องมือด้วย LLM มาใช้เครือข่ายประสาทเทียม differentiable แทน ได้จุดประกายการถกเถียงอย่างรุนแรงในหมู่นักพัฒนาเกี่ยวกับอนาคตของสถาปัตยกรรม AI agent วิธีการนี้ใช้โมเดล PyTorch ขนาดเล็กในการกำหนดเส้นทางระหว่างเครื่องมือต่างๆ แทนที่จะพึ่งพาโมเดลภาษาขนาดใหญ่ โดยสัญญาว่าจะประหยัดต้นทุนได้อย่างมาก แต่ยังคงมีคำถามเกี่ยวกับประสิทธิผลในโลกแห่งความเป็นจริง
การอภิปรายมีจุดศูนย์กลางอยู่ที่ความตึงเครียดพื้นฐานในระบบ AI สมัยใหม่: ว่าควรใช้ LLM ที่แพงแต่มีความสามารถสำหรับการตัดสินใจทุกครั้ง หรือมอบหมายงานง่ายๆ ให้กับโมเดลเฉพาะทางที่ถูกกว่า ขั้นตอนการทำงานของ agent ปัจจุบันมักใช้ LLM เพื่อตัดสินใจว่าจะเรียกใช้เครื่องมือใด ดำเนินการเครื่องมือเหล่านั้น และตีความผลลัพธ์ - รูปแบบที่สามารถกลายเป็นค่าใช้จ่ายสูงได้อย่างรวดเร็วในระดับใหญ่
ตัวอย่างการเปรียบเทียบต้นทุน
- การจัดเส้นทาง LLM แบบดั้งเดิม: 3 การเรียกใช้ LLM ต่อคำสั่งหนึ่งครั้ง (การวางแผน + การดำเนินการเครื่องมือ + การตีความผลลัพธ์)
- ราคา GPT-4 : $15 USD ต่อ 1 ล้าน input tokens, $75 USD ต่อ 1 ล้าน output tokens
- การจัดเส้นทางแบบ Differentiable: ต้นทุนการฝึกอบรมครั้งเดียว เทียบกับ ต้นทุน LLM ต่อคำสั่ง
ความซับซ้อนของการเลือกเครื่องมือเทียบกับการใช้เครื่องมือ
ข้อเสนอแนะจากชุมชนเผยให้เห็นความแตกต่างที่สำคัญซึ่งท้าทายหลักฐานพื้นฐาน ในขณะที่วิธีการที่เสนอมุ่งเน้นไปที่การเพิ่มประสิทธิภาพการเลือกเครื่องมือ นักพัฒนาหลายคนโต้แย้งว่าการเลือกเครื่องมือที่จะใช้มักเป็นส่วนที่ง่าย ความซับซ้อนที่แท้จริงอยู่ที่การกำหนดอาร์กิวเมนต์ที่ถูกต้องให้กับแต่ละเครื่องมือและการจัดการปฏิสัมพันธ์ที่ละเอียดอ่อนระหว่างการเรียกใช้เครื่องมือหลายตัว
การหาว่าจะเรียกใช้เครื่องมือใดนั้นเป็นเรื่องเล็กน้อย การส่งอาร์กิวเมนต์ที่ถูกต้องต่างหากที่ยากและเสี่ยงต่อข้อผิดพลาด
ข้อมูลเชิงลึกนี้บ่งชี้ว่าแม้ว่า differentiable routing จะแก้ปัญหาการเลือกได้ แต่อาจจัดการได้เพียงส่วนเล็กๆ ของความท้าทายโดยรวม สำหรับขั้นตอนการทำงานที่ซับซ้อนซึ่งเกี่ยวข้องกับการเรียกใช้เครื่องมือหลายตัวที่พึ่งพาซึ่งกันและกัน ความสามารถในการให้เหตุผลของ LLM ยังคงมีความจำเป็นสำหรับการเข้าใจบริบทและการสร้างพารามิเตอร์ที่เหมาะสม
ข้อกังวลเรื่องการไม่ตรงกันของการกระจาย
ข้อกังวลทางเทคนิคที่สำคัญเกิดขึ้นเกี่ยวกับการกระจายข้อมูลการฝึก LLM สมัยใหม่ได้รับการฝึกอบรมเฉพาะเพื่อจัดการกับขั้นตอนการเรียกใช้เครื่องมือ ทำให้เหมาะสมกับงานเหล่านี้โดยธรรมชาติ ในทางตรงกันข้าม เครือข่ายประสาทเทียมที่กำหนดเองซึ่งฝึกด้วยข้อมูลสังเคราะห์อาจมีปัญหากับกรณีขอบหรือสถานการณ์ใหม่ที่อยู่นอกเหนือการกระจายการฝึก
อย่างไรก็ตาม นักพัฒนาบางคนเห็นทางออกที่เป็นไปได้ เช่น การสร้างประวัติการสนทนาสังเคราะห์ที่ทำให้การตัดสินใจกำหนดเส้นทางในท้องถิ่นดูเหมือนว่ามาจาก LLM เอง วิธีการนี้สามารถรักษาความเข้ากันได้กับเฟรมเวิร์กที่มีอยู่ในขณะที่ยังคงได้รับประโยชน์ด้านประสิทธิภาพ
การแลกเปลี่ยนระหว่างขนาดและความแม่นยำ
การถกเถียงยังเน้นคำถามพื้นฐานเกี่ยวกับการปรับขนาดโมเดล ดังที่นักพัฒนาคนหนึ่งกล่าวไว้ การปรับปรุงความแม่นยำของเครือข่ายกำหนดเส้นทางขนาดเล็กอาจต้องทำให้มันใหญ่ขึ้น ซึ่งอาจทำให้ข้อได้เปรียบด้านต้นทุนหมดไป ในบางจุด โมเดลกำหนดเส้นทางอาจต้องซับซ้อนมากจนการใช้โมเดลภาษาขนาดเล็กกลายเป็นเรื่องที่ปฏิบัติได้มากกว่า
สิ่งนี้ทำให้เกิดคำถามที่กว้างขึ้นเกี่ยวกับการลากเส้นแบ่งระหว่างโมเดลเฉพาะทางและ LLM อเนกประสงค์ ในขณะที่วิธีการนี้แสดงให้เห็นแนวโน้มที่ดีสำหรับขั้นตอนการทำงานที่เรียบง่ายและกำหนดไว้อย่างชัดเจน ประสิทธิผลสำหรับงาน agent ที่ซับซ้อนและหลายขั้นตอนยังคงไม่ได้รับการพิสูจน์
การเปรียบเทียบสถาปัตยกรรมทางเทคนิค
| แนวทาง | การดำเนินการ | ความแน่นอน | การเติบโตของบริบท | ต้องการการฝึกอบรม |
|---|---|---|---|---|
| การกำหนดเส้นทาง LLM | การเรียก API ภายนอก | แบบสุ่ม | แบบเลขชี้กำลัง | ไม่ต้องการ |
| การกำหนดเส้นทางแบบหาอนุพันธ์ได้ | การดำเนินการภายใน | แบบกำหนด | คงที่ | ต้องการ |
ช่องว่างในการใช้งานจริง
บางทีสิ่งที่บ่งบอกมากที่สุดคือสมาชิกชุมชนหลายคนเรียกร้องให้มีตัวอย่างที่เป็นรูปธรรมของวิธีการที่ใช้งานได้ในสภาพแวดล้อมการผลิต การขาดการเปรียบเทียบประสิทธิภาพโดยละเอียดหรือกรณีศึกษาในโลกแห่งความเป็นจริงบ่งชี้ว่าเทคนิคนี้ยังคงเป็นเพียงทฤษฎีเป็นส่วนใหญ่
การอภiปรายสะท้อนแนวโน้มที่กว้างขึ้นในการพัฒนา AI: การค้นหาอย่างต่อเนื่องสำหรับรูปแบบสถาปัตยกรรมที่สร้างสมดุลระหว่างความสามารถ ต้นทุน และความซับซ้อน ในขณะที่ differentiable tool routing เสนอทางเลือกที่น่าสนใจแทนขั้นตอนการทำงานที่หนัก LLM ความเป็นไปได้ในทางปฏิบัติจะขึ้นอยู่กับการแสดงให้เห็นข้อได้เปรียบที่ชัดเจนในแอปพลิเคชันจริงมากกว่าเกณฑ์มาตรฐานสังเคราะห์
การถกเถียงเน้นย้ำว่าสาขานี้พัฒนาไปอย่างรวดเร็วเพียงใด โดยนักพัฒนาค้นหาวิธีที่มีประสิทธิภาพมากขึ้นในการสร้างระบบ AI ที่มีความสามารถโดยไม่ทำให้ต้นทุนการอนุมานแตกหัก
อ้างอิง: Optimizing Tool Selection for LLM Workflows: Differentiable Programming with PyTorch and DSPy