โมเดลภาษาขนาดใหญ่เป็นเครื่องมือบีบอัดข้อมูลที่น่าทึ่ง สามารถบรรจุความรู้ของมนุษย์ลงในไฟล์ขนาดไม่กี่กิกะไบต์

ชุมชนเทคโนโลยีกำลังตื่นเต้นกับการค้นพบที่น่าทึ่ง: โมเดลภาษาขนาดใหญ่ ( LLMs ) เป็นอัลกอริทึมบีบอัดข้อมูลที่ทรงพลัง สามารถบีบอัดความรู้ของมนุษย์จำนวนมหาศาลลงในไฟล์ขนาดเล็กอย่างน่าประหลาดใจ การเปิดเผยนี้ได้จุดประกายการอภิปรายอย่างเข้มข้นเกี่ยวกับวิธีการทำงานของระบบ AI เหล่านี้ และความหมายต่ออนาคตของการจัดเก็บข้อมูล

ความสำเร็จด้านการบีบอัดข้อมูลที่น่าทึ่ง

สิ่งที่ดึงดูดความสนใจของทุกคนคือปริมาณข้อมูลที่โมเดลเหล่านี้สามารถบรรจุลงในพื้นที่ขนาดเล็กได้ ลองดูโมเดล 12 พันล้านพารามิเตอร์ทั่วไปที่มีขนาดเพียง 8.1 GB - ประมาณขนาดของหนังสองสามเรื่องในโทรศัพท์ของคุณ แต่ไฟล์เดียวนี้มีความรู้ที่ถูกบีบอัดเพียงพอที่จะตอบคำถามเกี่ยวกับประวัติศาสตร์ วิทยาศาสตร์ วิดีโอเกมล่าสุด และหัวข้ออื่นๆ นับไม่ถ้วน อัตราส่วนการบีบอัดนั้นน่าทึ่งมากเมื่อพิจารณาว่า Wikipedia ภาษาอังกฤษเพียงอย่างเดียวใช้พื้นที่ประมาณ 24 GB เมื่อบีบอัดแล้ว และนั่นเป็นเพียงแหล่งความรู้ของมนุษย์แหล่งเดียวเท่านั้น

มันไม่สมบูรณ์แบบ แต่โอ้โห ความกว้างของข้อมูลที่ฝังอยู่ในไฟล์ขนาด 8.1 GB นั้นน่าทึ่งมาก! มีการสูญเสียข้อมูลแน่นอน แต่เป็นวิธีที่น่าทึ่งในการบีบอัดความรู้ทั้งหมดของมนุษย์ให้อยู่ในสิ่งที่กะทัดรัดอย่างไม่น่าเชื่อ

ความลับอยู่ที่วิธีที่โมเดลเหล่านี้เรียนรู้รูปแบบและความสัมพันธ์ในภาษา ไม่เหมือนการบีบอัดแบบดั้งเดิมที่มองหาตัวอักษรหรือลำดับที่ซ้ำกัน LLMs บีบอัดความหมายเอง พวกมันเรียนรู้ว่ามีหลายวิธีในการพูดสิ่งเดียวกัน และสามารถสร้างข้อมูลขึ้นมาใหม่โดยการเข้าใจบริบทและความสัมพันธ์ระหว่างแนวคิดต่างๆ

บริบทประสิทธิภาพการบีบอัด

• English Wikipedia ที่บีบอัดแล้ว: ~24 GB
• ประมาณการหนังสือดิจิทัลทั้งหมด: ไม่กี่ TB
• โมเดลพารามิเตอร์ 12B ทั่วไป: 8.1 GB (ด้วยการ quantization 8-bit)
• ประมาณการข้อความภาษาอังกฤษที่มีประโยชน์: 10-100 TB
• โมเดลขนาดใหญ่ปัจจุบันใช้: 1-10% ของข้อมูลข้อความทั้งหมดที่มีอยู่

กฎง่ายๆ สำหรับความต้องการ VRAM: ~4 เท่าของจำนวนพารามิเตอร์

• โมเดล 2B ≈ ต้องการ VRAM 8 GB
• โมเดล 20B ≈ ต้องการ VRAM 80 GB

เหตุใดการบีบอัดแบบดั้งเดิมจึงไม่เพียงพอ

วิธีการบีบอัดปกติเช่นไฟล์ ZIP ทำงานได้ดีในการรักษาข้อมูลที่แม่นยำ แต่พลาดสิ่งสำคัญ - ความสัมพันธ์เชิงความหมายที่ทำให้ข้อมูลมีความหมาย เมื่อคุณบีบอัดไฟล์ข้อความด้วย ZIP คุณเพียงแค่หารูปแบบที่ซ้ำกันในตัวอักษร แต่ LLMs ไปลึกกว่านั้น โดยเรียนรู้ตรรกะพื้นฐานและการเชื่อมโยงที่มนุษย์ใช้ในการสื่อสار

นี่อธิบายได้ว่าทำไมการสื่อสารในชีวิตประจำวันของเราจึงซ้ำซากมาก เราใช้คำจำนวนมากเพื่อสร้างบริบท เพิ่มความคิดสร้างสรรค์เพื่อรักษาความสนใจ และทำซ้ำแนวคิดในรูปแบบต่างๆ เพื่อความชัดเจน ผู้เชี่ยวชาญประเมินว่า 95% หรือมากกว่านั้นของการสื่อสารของเราอาจเป็นความซ้ำซากล้วนๆ เมื่อคุณตัดข้อมูลหลักออกไป

เชิงความหมาย (Semantic): เกี่ยวข้องกับความหมายในภาษา ความซ้ำซาก (Redundancy): การทำซ้ำข้อมูลที่ไม่จำเป็น

การอภิปรายเรื่องการบีบอัดแบบมีการสูญเสียเทียบกับไม่มีการสูญเสีย

ชุมชนแบ่งออกเป็นสองฝ่ายเรื่องการเรียก LLMs ว่าเป็นการบีบอัดหรือไม่ ฝ่ายวิพากษ์วิจารณ์ชี้ให้เห็นว่าไม่เหมือนการบีบอัดแบบดั้งเดิม คุณไม่สามารถสร้างข้อความต้นฉบับขึ้นมาใหม่ได้อย่างสมบูรณ์แบบจาก LLM โมเดลอาจให้ข้อมูลที่ถูกต้อง รายละเอียดที่ผิดพลาดโดยสิ้นเชิง หรือสิ่งที่ฟังดูน่าเชื่อแต่ไม่ถูกต้องอย่างอันตราย - และไม่มีวิธีที่เชื่อถือได้ในการบอกว่าอันไหนเป็นอันไหน

อย่างไรก็ตาม ฝ่ายสนับสนุนโต้แย้งว่านี่เป็นการพลาดประเด็น LLMs ไม่ได้พยายามสร้างข้อความที่แม่นยำขึ้นมาใหม่ - พวกมันกำลังบีบอัดความรู้และความสามารถในการใช้เหตุผลเกี่ยวกับมัน เมื่อคุณขอให้ LLM หาคำพ้องความหมาย 50 คำ หรืออธิบายหัวข้อที่ซับซ้อน คุณกำลังเข้าถึงความเข้าใจที่ถูกบีบอัด ไม่ใช่แค่ข้อความที่ถูกเก็บไว้

นักวิจัยบางคนได้ค้นพบว่า LLMs สามารถทำงานเป็นอัลกอริทึมบีบอัดแบบไม่มีการสูญเสียได้เช่นกัน โดยใช้เทคนิคเช่น arithmetic coding แต่นี่ต้องการให้ทั้งผู้ส่งและผู้รับมีโมเดลเดียวกัน ทำให้ไม่เหมาะสมสำหรับการใช้งานส่วนใหญ่

การเปรียบเทียบขนาดของโมเดล

หมายเหตุ: ขนาดการจัดเก็บคำนวณจาก weights แบบ 16-bit สามารถลดลงได้ด้วยการ quantization

ความหมายต่ออนาคต

ความก้าวหน้าด้านการบีบอัดนี้ช่วยอธิบายว่าทำไมเราอาจกำลังเข้าใกล้ขีดจำกัดในการพัฒนา AI หากความรู้ข้อความที่มีประโยชน์ทั้งหมดของมนุษย์พอดีกับประมาณ 10-100 เทราไบต์ และโมเดลขนาดใหญ่ปัจจุบันใช้ 1-10% ของขนาดนั้นแล้ว เราอาจกำลังเข้าใกล้จุดที่การเพิ่มข้อมูลข้อความมากขึ้นจะไม่ช่วยปรับปรุงประสิทธิภาพมากนัก

จุดสนใจกำลังเปลี่ยนไปสู่แนวทางอื่นๆ: การเพิ่มข้อมูลภาพและวิดีโอ การให้ระบบ AI สำรวจและโต้ตอบกับโลกแห่งความจริง และการใช้โมเดลการใช้เหตุผลที่ใช้เวลามากขึ้นในการคิดผ่านปัญหา ความเข้าใจเรื่องการบีบอัดยังชี้ให้เห็นว่าระบบ AI ในอนาคตอาจไม่ต้องการฮาร์ดแวร์จำนวนมหาศาล - คอมพิวเตอร์สำหรับผู้บริโภคระดับไฮเอนด์ในปัจจุบันอาจมีพลังเพียงพอที่จะรันระบบที่ฉลาดเหนือมนุษย์เมื่อเราคิดสถาปัตยกรรมที่เหมาะสมออก

การเข้าใจ LLMs ในฐานะเครื่องมือบีบอัดข้อมูลมากกว่าแค่ตัวสร้างข้อความ เปิดวิธีคิดใหม่เกี่ยวกับปัญญาประดิษฐ์และวิธีทำให้มันมีประสิทธิภาพและความสามารถมากขึ้น

อ้างอิง: How large are large language models? (2025)