ในโลกของปัญญาประดิษฐ์ที่พัฒนาอย่างรวดเร็ว วิธีการที่แบบจำลองภาษาขนาดใหญ่คิดได้กลายมาเป็นหนึ่งในพื้นที่วิจัยและพัฒนาที่น่าสนใจที่สุด การอภิปรายล่าสุดในหมู่นักพัฒนาและผู้ที่หลงใหลใน AI ต่างมุ่งเน้นไปที่ ANTML (Anthropic Markup Language) ซึ่งเป็นระบบพิเศษที่ใช้ XML เป็นพื้นฐานซึ่ง Anthropic ใช้เพื่อควบคุมกระบวนการให้เหตุผลของ Claude ภาษามาร์กอัปที่ซ่อนอยู่นี้เปิดเผยมากมายเกี่ยวกับวิธีที่ระบบ AI สมัยใหม่จัดโครงสร้างความคิดภายใน ก่อนที่จะส่งคำตอบที่ผ่านการขัดเกลาแล้วให้กับผู้ใช้
ความเป็นจริงทางเทคนิคเบื้องหลัง ANTML
ชุมชนนักพัฒนาได้ระบุอย่างรวดเร็วว่า ANTML ที่จริงแล้วไม่ใช่เทคโนโลยีใหม่ที่ปฏิวัติวงการ แต่เป็นการประยุกต์ใช้มาตรฐาน XML ที่มีอยู่แล้วอย่างเป็นรูปธรรมด้วยเนมสเปซเฉพาะทาง ดังที่ผู้แสดงความคิดเห็นหนึ่งระบุ วิธีการนี้ใช้ประโยชน์จากสิ่งที่เนมสเปซของ XML ถูกออกแบบมาให้ทำพอดี นั่นคือการป้องกันการชนกันของแท็ก ในขณะที่ยังคงรักษาโครงสร้างไว้ แท็กเช่น <thinking> และ <function_calls> ทำหน้าที่เป็นโทเค็นพิเศษที่โมเดลจดจำได้จากการฝึกฝน ทำให้ API ของ Anthropic สามารถแยกการให้เหตุผลภายในของ Claude ออกจากผลลัพธ์สุดท้ายที่ส่งให้ผู้ใช้ได้ การนำไปใช้ทางเทคนิคนี้แสดงให้เห็นว่าบริษัท AI ต่างๆ กำลังสร้างบนมาตรฐานเว็บที่มีอยู่แล้ว แทนที่จะประดิษฐ์ระบบใหม่ทั้งหมดตั้งแต่เริ่มต้น
โทเค็นเหล่านี้เป็นโทเค็นพิเศษที่โมเดลได้รับการฝึกฝนมา และเป็นส่วนหนึ่งของคำศัพท์ของโมเดล รันไทม์ของโมเดลจะจดจำโทเค็นเหล่านี้เป็นโทเค็นพิเศษ
แท็ก ANTML หลักที่ระบุในการอภิปรายของชุมชน:
<thinking>/</thinking>- ครอบคลุมกระบวนการให้เหตุผลของโมเดล<function_calls>- ทำเครื่องหมายการดำเนินการเรียกใช้ฟังก์ชัน- พารามิเตอร์การกำหนดค่าเช่น
thinking_modeและmax_thinking_length
การปฏิวัติการให้เหตุผลและข้อจำกัดของมัน
สิ่งที่ทำให้ ANTML น่าสนใจเป็นพิเศษสำหรับนักพัฒนาคือวิธีการที่มันเปิดใช้งานการคิดแบบขยายออกไปได้ นั่นคือความสามารถของ Claude ในการทำงานผ่านปัญหาที่ซับซ้อนทีละขั้นตอน ก่อนที่จะให้คำตอบ อย่างไรก็ตาม สมาชิกในชุมชนบางส่วนได้สังเกตเห็นสิ่งที่พวกเขาเรียกว่า เหตุผลบกพร่อง (reasoning mode collapse) ในโมเดลรุ่นใหม่ๆ รุ่นแรกเริ่มของโมเดลให้เหตุผลแสดงร่องรอยการคิดที่ดิบและโปร่งใสมากขึ้น ซึ่งนักพัฒนาพบว่ามีคุณค่าสำหรับการทำความเข้าใจพฤติกรรมของโมเดล เมื่อโมเดลมีวิวัฒนาการ การคิดนี้ได้กลายเป็นเรื่องที่มีโครงสร้างมากขึ้นและควบคุมได้น้อยลงผ่านการปรับแต่งพรอมต์ ชุมชนมองว่านี่เป็นการพัฒนาที่น่าขัน เนื่องจากผู้ให้บริการในเวลาเดียวกันกำลังทำให้การเข้าถึงร่องรอยการให้เหตุผลทำได้ยากขึ้นผ่าน API เพื่อป้องกันไม่ให้นำแบบจำลองไปทำให้บริสุทธิ์
ปัญหาการเรียกใช้เครื่องมือ
ประเด็นสำคัญของการอภิปรายเกี่ยวข้องกับวิธีที่โมเดล AI จัดการกับการเรียกใช้ฟังก์ชันและการใช้งานเครื่องมือ แนวทางปัจจุบันในการใช้แท็กมาร์กอัปพิเศษเช่น <function_calls> ได้กระตุ้นให้เกิดคำถามว่ามีวิธีการที่ดีกว่าหรือไม่ นักพัฒนาบางส่วนสงสัยว่าทำไมผู้ให้บริการโมเดลจึงยังไม่ก้าวข้ามไปกว่าการเพียงแค่สั่งให้โมเดลตอบสนองด้วย JSON พิเศษในพรอมต์ระบบ ทางเลือกอื่นๆ ที่ถูกกล่าวถึงรวมถึงไวยากรณ์ที่ปราศจากบริบท (context-free grammars) และเทคนิคการสุ่มตัวอย่างที่ซับซ้อนมากขึ้น แม้ว่าโดยพื้นฐานแล้วสิ่งเหล่านี้มักยังคงอธิบายโครงสร้าง JSON อยู่ การคงอยู่ของแนวทางที่คล้าย XML ชี้ให้เห็นว่าในขณะที่เทคโนโลยีอาจดูพื้นฐาน แต่มันยังคงมีประสิทธิภาพสำหรับงานที่ซับซ้อนในการจัดโครงสร้างการให้เหตุผลของ AI และการโต้ตอบกับเครื่องมือ
การเปรียบเทียบแนวทางการใช้งาน Reasoning:
- Anthropic's ANTML: XML namespaces พร้อม special tokens
- Llama.cpp/vLLM: ย้าย reasoning ไปยังฟิลด์
reasoning_contentแยกต่างหาก - Context-free grammars: แนวทางทางเลือกที่ยังคงส่งออกเป็น JSON บ่อยครั้ง
- Raw prompting: คำสั่งพื้นฐานแบบ "think step by step"
มองไปข้างหน้า: อนาคตของการให้เหตุผลของ AI
การอภิปรายที่กำลังดำเนินอยู่เกี่ยวกับ ANTML สะท้อนถึงคำถามที่กว้างขึ้นเกี่ยวกับว่าการให้เหตุผลของ AI ควรจะโปร่งใสเพียงใด และควรมีรูปแบบอย่างไร เมื่อโมเดลมีความสามารถมากขึ้น ความตึงเครียดระหว่างการให้ร่องรอยการให้เหตุผลที่มีประโยชน์กับการปกป้องเทคโนโลยีที่เป็นกรรมสิทธิ์ยังคงเติบโตขึ้น การทดลองของชุมชนด้วยแท็กและพารามิเตอร์การคิด แสดงให้เห็นถึงทั้งความอยากรู้อยากเห็นเกี่ยวกับวิธีการทำงานของระบบเหล่านี้ และความต้องการในทางปฏิบัติสำหรับการแก้จุดบกพร่องและการปรับปรุงแอปพลิเคชัน AI ในขณะที่ ANTML อาจไม่ได้แสดงถึงความก้าวหน้าพื้นฐานในภาษามาร์กอัป แต่มันทำหน้าที่เป็นหน้าต่างสำคัญที่ทำให้มองเห็นว่าบริษัท AI ชั้นนำกำลังจัดการกับความท้าทายในการทำให้การให้เหตุผลของ AI มีทั้งประสิทธิผลและสามารถควบคุมได้
การพัฒนาของ ANTML และระบบที่คล้ายกันหมายถึงขั้นตอนสำคัญในวิวัฒนาการของ AI ซึ่งกระบวนการภายในของแบบจำลองภาษาขนาดใหญ่กำลังกลายเป็นสิ่งที่มีโครงสร้าง จัดการได้ และมองเห็นได้ชัดเจนขึ้นสำหรับนักพัฒนา เมื่อเทคโนโลยีก้าวหน้าต่อไป ความสมดุลระหว่างความโปร่งใส ความสามารถในการใช้งาน และการปกป้องทรัพย์สินทางปัญญาจะยังคงเป็นหัวข้อหลักของการอภิปรายในชุมชนนักพัฒนา AI ต่อไป