การเปิดตัว Kimi K2 ของ Moonshot AI ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่มี 1 ล้านล้านพารามิเตอร์ ได้จุดประกายการอภิปรายในชุมชนเทคโนโลยีเกี่ยวกับสิ่งที่ถือว่าเป็นโมเดล AI ที่เข้าถึงได้จริง ๆ แม้ว่าบริษัทจะโฆษณาผลงานที่น่าประทับใจ แต่ผู้ใช้กำลังต่อสู้กับความเป็นจริงของการใช้งานระบบขนาดใหญ่เช่นนี้
ข้อมูลจำเพาะทางเทคนิคของ Kimi K2
- สถาปัตยกรรม: Mixture-of-Experts (MoE)
- พารามิเตอร์ทั้งหมด: 1 ล้านล้าน
- พารามิเตอร์ที่เปิดใช้งาน: 32 พันล้าน
- จำนวน Experts: 256
- Experts ที่เลือกต่อ Token: 8
- ความยาว Context: 16K tokens
- ขนาด Vocabulary: 147,825
 |
|---|
| ภาพหน้าจอนี้แสดงให้เห็น repository GitHub สำหรับ Kimi K2 โดยนำเสนอฟีเจอร์ของโปรเจกต์และการมีส่วนร่วมของชุมชน |
ความต้องการฮาร์ดแวร์สร้างอุปสรรคในการเข้าถึง
ขนาดที่ใหญ่มหาศาลของโมเดลได้กลายเป็นจุดสนทนาหลัก สมาชิกชุมชนประเมินว่าการใช้งาน Kimi K2 ด้วยความเร็วที่เหมาะสมต้องการการลงทุนฮาร์ดแวร์อย่างจริงจัง - ประมาณ 16 GPU H200 สำหรับประสิทธิภาพที่เหมาะสม หรือประมาณ 20,000 ดอลลาร์สหรัฐ สำหรับการตั้งค่าที่เรียบง่ายกว่าโดยใช้เวอร์ชัน quantized บนฮาร์ดแวร์ระดับผู้บริโภคชั้นสูง
ผู้ใช้บางคนได้พบวิธีแก้ปัญหาเชิงสร้างสรรค์ โดยแนะนำว่าเวอร์ชัน 4-bit quantized สามารถทำงานบน Mac Studios คู่ที่มี RAM 512GB แต่ละเครื่อง เชื่อมต่อผ่าน Thunderbolt อย่างไรก็ตาม วิธีการนี้มาพร้อมกับการประนีประนอมด้านความเร็วอย่างมาก อาจให้ความเร็วเพียง 1 โทเค็นต่อวินาที - อัตราที่หลายคนพบว่าไม่เหมาะสมสำหรับการใช้งานจริง
ชุมชนดูเหมือนจะแบ่งแยกเกี่ยวกับสิ่งที่ถือว่าเป็นประสิทธิภาพที่ใช้งานได้ ในขณะที่ผู้ใช้บางคนพอใจกับ 5 โทเค็นต่อวินาทีสำหรับแอปพลิเคชันแชททั่วไป คนอื่น ๆ ตั้งคำถามเกี่ยวกับความเป็นไปได้ของความเร็วที่ช้าเช่นนี้สำหรับงานที่ซับซ้อนเช่นการทำงานของ autonomous agent
ประมาณการความต้องการด้านฮาร์ดแวร์
- ประสิทธิภาพสูงสุด: ประมาณ 16 GPU H200
- การติดตั้งแบบประหยัด: Mac Studios 2 เครื่อง ( RAM 512GB ต่อเครื่อง) - ประมาณ 20,000 ดอลลาร์สหรัฐ
- Single Socket EPYC : ระบบ RAM มากกว่า 1TB
- การแลกเปลี่ยนประสิทธิภาพ: การบีบอัดแบบ 4-bit ให้ประสิทธิภาพประมาณ 1 โทเค็นต่อวินาทีในการติดตั้งแบบประหยัด เทียบกับ 5+ โทเค็นต่อวินาทีในฮาร์ดแวร์ระดับไฮเอนด์
ข้อถกเถียงเรื่องใบอนุญาตโอเพนซอร์ส
การถกเถียงที่ร้อนแรงอีกประเด็นหนึ่งมุ่งเน้นไปที่เงื่อนไขใบอนุญาตของ Kimi K2 แม้ว่าจะมีการตลาดด้วย Modified MIT License แต่โมเดลนี้รวมถึงข้อจำกัดเชิงพาณิชย์ที่กำหนดให้บริษัทที่มีผู้ใช้งานรายเดือนมากกว่า 100 ล้านคน หรือรายได้รายเดือน 20 ล้านดอลลาร์สหรัฐ ต้องแสดง Kimi K2 อย่างเด่นชัดในส่วนติดต่อผู้ใช้ของพวกเขา
สิ่งนี้ได้นำไปสู่การโต้เถียงเกี่ยวกับว่าโมเดลนี้เข้าข่ายโอเพนซอร์สจริง ๆ หรือไม่ นักวิจารณ์โต้แย้งว่าข้อจำกัดการใช้งานใด ๆ ละเมิดหลักการโอเพนซอร์สแบบดั้งเดิม ในขณะที่ผู้สนับสนุนยืนยันว่าเงื่อนไขดังกล่าวมีความสมเหตุสมผลและยังคงเปิดกว้างกว่าใบอนุญาตที่มีอยู่หลายฉบับ
ใบอนุญาตนี้ไม่ได้ปกป้องผู้เขียนมากนัก มันเพียงขอเครดิตหากคุณผ่านเกณฑ์ MAU/ARR... ทรัพยากรที่ใช้ในการสร้างสิ่งนี้มีความสำคัญมาก และพวกเขาให้มันกับคุณฟรี
การถกเถียงสะท้อนถึงความตึงเครียดที่กว้างขึ้นในชุมชน AI เกี่ยวกับโมเดลการระดมทุนที่ยั่งยืนสำหรับการพัฒนาโมเดลขนาดใหญ่เทียบกับการรักษาหลักการเข้าถึงแบบเปิด
ข้อจำกัดหลักของ Modified MIT License ผลิตภัณฑ์หรือบริการเชิงพาণิชย์ที่มี:
- ผู้ใช้งานรายเดือนมากกว่า 100 ล้านคน หรือ
- รายได้รายเดือนมากกว่า 20 ล้านดอลลาร์สหรัฐ จะต้องแสดง " Kimi K2 " อย่างเด่นชัดในส่วนติดต่อผู้ใช้
ประสิทธิภาพและการประยุกต์ใช้งานจริง
แม้จะมีข้อกังวลเรื่องการเข้าถึง ผู้ใช้รุ่นแรกรายงานประสบการณ์เชิงบวกกับความสามารถของ Kimi K2 โมเดลดูเหมือนจะเป็นเลิศในงานเขียนโค้ดและแสดงให้เห็นถึงสไตล์การสื่อสารที่เป็นธรรมชาติมากขึ้น ไม่เหมือนหุ่นยนต์เมื่อเปรียบเทียบกับคู่แข่งบางราย ผู้ใช้ชื่นชมความสามารถในการเขียนโค้ดที่สะอาดและอ่านง่ายกว่าเป็นพิเศษ แม้ว่าบางคนจะสังเกตว่ามันบางครั้งพลาดกรณีขอบที่ละเอียดอ่อนที่โมเดลอื่น ๆ จับได้
จังหวะเวลาของการเปิดตัว Kimi K2 ยังได้จุดประกายการคาดเดาเกี่ยวกับผลกระทบต่อแผนการของบริษัทอื่น ๆ โดยบางคนแนะนำว่าอาจมีอิทธิพลต่อการตัดสินใจของ OpenAI ในการเลื่อนการประกาศโมเดลโอเพนซอร์สของตนเอง
บทสรุป
Kimi K2 เป็นตัวแทนของทั้งสัญญาและความท้าทายของโมเดล AI ขนาดใหญ่ ในขณะที่มันให้ประสิทธิภาพที่น่าประทับใจ อุปสรรคเชิงปฏิบัติในการนำไปใช้งานเน้นย้ำคำถามที่ยังคงอยู่เกี่ยวกับการเข้าถึงโมเดลและความหมายที่แท้จริงของการพัฒนา AI แบบเปิด ขณะที่ชุมชนยังคงทดลองกับกลยุทธ์การนำไปใช้งานและถกเถียงเกี่ยวกับแนวทางใบอนุญาต Kimi K2 ทำหน้าที่เป็นตัวเร่งปฏิกิริยาสำหรับการอภิปรายที่กว้างขึ้นเกี่ยวกับทิศทางในอนาคตของการกระจายและการเข้าถึงโมเดล AI
อ้างอิง: KIMI