งานวิจัยล่าสุดจาก DeepSeek ได้จุดประกายการอภิปรายที่น่าสนใจในชุมชน AI: การมองข้อความเป็นภาพจะทำให้โมเดลภาษามีประสิทธิภาพมากขึ้นได้หรือไม่? แนวคิดนี้ซึ่งรู้จักกันในชื่อ optical compression ชี้ให้เห็นว่าโทเค็นภาพอาจแสดงข้อความได้มีประสิทธิภาพกว่าโทเค็นข้อความแบบดั้งเดิม แนวคิดนี้สร้างการถกเถียงอย่างมีนัยสำคัญในหมู่นักพัฒนาและนักวิจัยเกี่ยวกับวิธีพื้นฐานที่เราควรป้อนข้อมูลให้กับระบบ AI
ความก้าวหน้าของ Optical Compression
ข้อมูลเชิงลึกหลักมาจากงานวิจัย OCR ของ DeepSeek ที่แสดงให้เห็นว่าโทเค็นภาพเดียวสามารถแสดงโทเค็นข้อความได้ประมาณสิบโทเค็นด้วยความแม่นยำเกือบสมบูรณ์ การเพิ่มประสิทธิภาพนี้เกิดจากความแตกต่างพื้นฐานระหว่างวิธีการประมวลผลข้อความเทียบกับภาพของโมเดล โทเค็นข้อความเป็นแบบไม่ต่อเนื่อง โดยแต่ละโทเค็นแสดงหนึ่งในประมาณ 50,000 ตัวเลือกที่เป็นไปได้ในคำศัพท์ของโมเดล ในทางตรงกันข้าม โทเค็นภาพเป็นแบบต่อเนื่อง ทำให้สามารถเข้ารหัสข้อมูลได้มากขึ้นในพื้นที่การคำนวณเดียวกัน สมาชิกในชุมชนได้เริ่มทดลองกับแนวทางนี้แล้ว โดยบางรายรายงานผลลัพธ์ที่แข็งแกร่งอย่างน่าประหลาดใจเมื่อป้อนเอกสารเป็นภาพให้กับโมเดล multimodal
ฉันใช้แนวทางนี้ค่อนข้างบ่อย ฉันไม่รู้จักเอกสารใดที่สร้างโดยมนุษย์สำหรับมนุษย์ที่ไม่มีรูปแบบการจัดรูปแบบ รูปแบบการจัดรูปแบบ ตำแหน่ง ฯลฯ มักจะเป็นส่วนสำคัญของเอกสาร
ประสิทธิภาพของโทเค็นข้อความเทียบกับโทเค็นภาพ
- โทเค็นข้อความ: เป็นแบบไม่ต่อเนื่อง จำกัดอยู่ที่ตัวเลือกคำศัพท์ประมาณ 50,000 คำ
- โทเค็นภาพ: เป็นแบบต่อเนื่อง สามารถแสดงข้อมูลได้มากกว่าในพื้นที่เดียวกัน
- งานวิจัยของ DeepSeek: 1 โทเค็นภาพ ≈ 10 โทเค็นข้อความ
- การใช้งานจริงในปัจจุบัน: แสดงให้เห็นประโยชน์ในทางปฏิบัติสำหรับการประมวลผลเอกสารแล้ว
ก้าวข้ามข้อจำกัดของ OCR แบบดั้งเดิม
การอภิปรายเปิดเผยว่าแนวทางนี้ให้ประโยชน์มากกว่าเพียงการบีบอัดแบบง่ายๆ OCR แบบดั้งเดิมประสบปัญหากับโครงร่างที่ซับซ้อน เช่น นิตยสารที่มีหลายคอลัมน์ แบบอักษรที่หลากหลาย และเนื้อหาสื่อผสม อย่างไรก็ตาม multimodal LLM แสดงความสามารถที่เหนือกว่าในการจัดการกับรูปแบบที่ท้าทายเหล่านี้ ผู้แสดงความคิดเห็นหลายคนตั้งข้อสังเกตว่าโมเดล multimodal ในปัจจุบันมีประสิทธิภาพเหนือกว่าระบบ OCR แบบดั้งเดิมอยู่แล้ว โดยเฉพาะเมื่อต้องจัดการกับการจัดรูปแบบที่ผิดปกติหรือโครงสร้างเอกสารที่ซับซ้อน สิ่งนี้ชี้ให้เห็นว่าการแสดงผลแบบภาพรักษาข้อมูลบริบทที่การดึงข้อความล้วนๆ อาจสูญเสียไป
การประยุกต์ใช้จริงและการทดลองของชุมชน
นักพัฒนากำลังนำแนวคิดนี้ไปใช้จริงแล้ว บางคนได้สร้างบริการและโครงการโอเพนซอร์ซเฉพาะสำหรับการแปลงข้อความเป็นภาพก่อนการประมวลผลโดย LLM แนวทางนี้ดูเหมือนจะมีประสิทธิภาพเป็นพิเศษสำหรับการวิเคราะห์เอกสาร โดยที่คำบอกเบาะทางการจัดรูปแบบภาพ เช่น หัวข้อ ข้อความตัวหนา และการแบ่งย่อหน้า ให้บริบทที่มีความหมาย ผู้แสดงความคิดเห็นรายหนึ่งกล่าวถึงการใช้วิธีนี้กับโมเดล embedding ด้วย แสดงให้เห็นว่าเทคนิคนี้อาจมีการประยุกต์ใช้ที่กว้างขึ้นในระบบ AI นอกเหนือจากโมเดลภาษาเพียงอย่างเดียว
กรณีการใช้งานที่รายงานโดยชุมชน
- การวิเคราะห์เอกสารที่มีการจัดรูปแบบที่ซับซ้อน
- การประมวลผล PDF และนิตยสารที่ OCR แบบดั้งเดิมไม่สามารถทำได้
- การสร้าง embedding สำหรับการค้นหาและการดึงข้อมูล
- บริการและโปรเจกต์โอเพนซอร์สโดยเฉพาะสำหรับการแปลงข้อความเป็นรูปภาพ
ความท้าทายทางเทคนิคและความสงสัย
แม้จะมีผลลัพธ์ที่ promises แต่ความท้าทายที่สำคัญยังคงอยู่ การฝึกโมเดลเฉพาะบนข้อความ-as-images จะต้องใช้แนวทางที่แตกต่างไปจากพื้นฐานอย่างวิธีการทำนายโทเค็นข้อความในปัจจุบัน สมาชิกในชุมชนบางส่วนแสดงความสงสัยว่าการแปลงเป็นโทเค็นภาพจะสามารถเหนือกว่าการแปลงโทเค็นข้อความที่ได้รับการปรับให้เหมาะสมได้อย่างแท้จริงหรือไม่ บางคนชี้ให้เห็นว่าในขณะที่เทคนิคนี้ใช้ได้ผลสำหรับการ inference ความซับซ้อนในการฝึกฝนอาจมีค่ามากกว่าผลประโยชน์ การอภิปรายได้เน้นย้ำว่าการนำไปใช้ในปัจจุบันนั้นโดยพื้นฐานแล้วกำลังใช้โมเดลในวิธีที่ไม่ได้ออกแบบมาโดยเฉพาะสำหรับมัน ชี้ให้เห็นว่ายังมีพื้นที่สำหรับการปรับปรุงหาก AI labs ทำการปรับให้เหมาะสมสำหรับ use case นี้อย่างจงใจ
ผลกระทบที่กว้างขึ้นสำหรับการพัฒนา AI
การสนทนาขยายไปไกลกว่าประสิทธิภาพการประมวลผลข้อความเพียงอย่างเดียว ผู้แสดงความคิดเห็นได้วาดเส้นขนานไปยังโดเมนอื่นๆ ที่การแปลงข้อมูลเป็นภาพได้พิสูจน์แล้วว่ามีประสิทธิภาพ เช่น การตรวจจับมัลแวร์โดยใช้การแปลง binary-to-image และการสร้างดนตรีโดยใช้สเปกโตรแกรม รูปแบบนี้ชี้ให้เห็นว่าการแสดงผลแบบภาพอาจปลดล็อกความสามารถใหม่ๆ ทั่วทั้งแอปพลิเคชัน AI ต่างๆ ความชอบของสมองมนุษย์สำหรับการประมวลผลข้อมูลภาพมักถูกอ้างถึงเป็นหลักฐานทางชีววิทยาที่สนับสนุนทิศทางนี้
การสำรวจอย่างต่อเนื่องของการประมวลผลข้อความ-as-image เป็นตัวแทนของแนวหน้าที่ยังตื่นเต้นในการพัฒนา AI ในขณะที่ยังมีอุปสรรคทางเทคนิคที่สำคัญเหลืออยู่ การทดลองและความสำเร็จในระยะแรกของชุมชนชี้ให้เห็นว่าแนวทางนี้อาจนำไปสู่ระบบ AI ที่มีประสิทธิภาพและความสามารถมากขึ้น เมื่อการวิจัยดำเนินต่อไป เราอาจเห็นการเปลี่ยนแปลงพื้นฐานในวิธีที่เราคิดเกี่ยวกับการแสดงข้อมูลสำหรับโมเดล machine learning