โมเดล AI ใหม่ที่เรียกว่า SpikingBrain-7B ได้จุดประกายการถกเถียงอย่างเข้มข้นในชุมชนเทคโนโลยี โดยนักวิจัยอ้างว่าใช้การออกแบบที่ได้แรงบันดาลใจจากสมอง ขณะที่นักวิจารณ์มองว่าเป็นเพียงการตลาดที่ฉลาดห่อหุ้มเทคนิคมาตรฐาน
โมเดลนี้ซึ่งพัฒนาโดยนักวิจัยจีน สัญญาว่าจะส่งมอบประสิทธิภาพของเครือข่ายประสาทเทียมทางชีววิทยาผ่านสิ่งที่พวกเขาเรียกว่า spiking computation ทีมงานอ้างว่าแนวทางของพวกเขาบรรลุความเร็วเพิ่มขึ้นกว่า 100 เท่าใน time-to-first-token สำหรับลำดับที่ยาวมาก และส่งมอบ sparsity 69% ในระดับไมโคร อย่างไรก็ตาม ความเป็นจริงดูเหมือนจะธรรมดามากกว่าที่แบรนด์ทางชีววิทยาแนะนำ
ข้อมูลประสิทธิภาพหลัก:
- ความเร็วเพิ่มขึ้นกว่า 100 เท่าใน TTFT (Time-To-First-Token) สำหรับลำดับ 4 ล้าน token
- ความเบาบาง 69% ในระดับไมโครผ่านการคำนวณแบบ spiking
- ความเบาบางเพิ่มเติมในระดับแมโครผ่านสถาปัตยกรรม MoE (Mixture of Experts)
- การฝึกอบรมต่อเนื่องด้วยข้อมูลน้อยกว่า 2% ของข้อมูลฝึกอบรมทั่วไป
 |
|---|
| repository GitHub สำหรับโครงการ SpikingBrain-7B ที่แสดงให้เห็นการพัฒนาในชุมชนเทคโนโลยี |
ความเป็นจริงของ Pseudo-Spiking
การวิจารณ์ที่สำคัญที่สุดมุ่งเน้นไปที่สิ่งที่นักวิจัยเองยอมรับว่าเป็น pseudo-spiking แทนที่จะเป็นการคำนวณที่เหมือนสมองจริงด้วยการประมวลผลแบบ asynchronous และ event-driven SpikingBrain-7B เพียงแค่แปลง activations เป็นจำนวนเต็มและประมวลผลบน GPU มาตรฐาน แนวทางนี้มีความคล้ายคลึงกับวิธีที่เซลล์ประสาทจริงสื่อสารผ่านสัญญาณไฟฟ้าน้อยมาก
สำหรับผมแล้ว มันฟังดูเหมือนการคูณเมทริกซ์แบบ sparse ที่ห่อหุ้มใหม่เป็น 'event-driven spiking computation' โดยที่ spikes เป็นเพียงองค์ประกอบที่ไม่ใช่ศูนย์ที่ sparse GPU kernels ได้รับการออกแบบมาเพื่อประมวลผลมาตลอด
เทคนิคนี้ดูคล้ายกับวิธี quantization ที่มีอยู่แล้วที่ใช้ในการเพิ่มประสิทธิภาพ AI อย่างน่าทึ่ง ทำให้เกิดคำถามว่าป้ายกำกับ neuromorphic เพิ่มคุณค่าจริงอะไรนอกจากความน่าสนใจทางการตลาด
ประสิทธิภาพไม่เป็นไปตามที่อ้าง
เมื่อพูดถึงประสิทธิภาพจริง SpikingBrain-7B ดิ้นรนที่จะพิสูจน์คำสัญญาที่กล้าหาญของมัน ในการทดสอบ benchmark โมเดลนี้มีประสิทธิภาพต่ำกว่าทางเลือกที่มั่นคงอย่าง Qwen2.5 อย่างสม่ำเสมอ แม้จะถูกเปรียบเทียบกับโมเดลที่เก่ากว่า 9-13 เดือน นักวิจัยยอมรับช่องว่างนี้ โดยเฉพาะการสังเกตว่าโมเดลคู่แข่งที่ฝึกฝนด้วยข้อมูลภาษาจีนที่จำกัดแสดงข้อเสียที่ชัดเจนใน benchmark ภาษาจีน
สถาปัตยกรรมของโมเดลรวม linear attention mechanisms, mixture-of-experts (MoE) layers และ spike encoding ที่เป็นที่ถกเถียง ในขณะที่สองอย่างแรกเป็นเทคนิคที่มั่นคงในยุค AI สมัยใหม่ ส่วนประกอบ spike encoding ดูเหมือนจะให้ประโยชน์ในทางปฏิบัติน้อยมากในการใช้งานปัจจุบัน
ส่วนประกอบสถาปัตยกรรมทางเทคนิค:
- กลไกการให้ความสนใจแบบไฮบริดที่มีประสิทธิภาพ
- โมดูล MoE (Mixture of Experts) สำหรับการประมวลผลเฉพาะทาง
- การเข้ารหัสแบบ Spike สำหรับการแสดงผลการเปิดใช้งาน
- ไปป์ไลน์การแปลงแบบสากลสำหรับความเข้ากันได้กับโมเดลโอเพนซอร์ส
- การสนับสนุนปลั๊กอิน vLLM สำหรับการปรับปรุงประสิทธิภาพการอนุมาน
ปัญหา Neuromorphic Marketing ในวงกว้าง
SpikingBrain-7B แสดงถึงแนวโน้มที่ใหญ่กว่าในการวิจัย AI ที่เทคนิคที่มีอยู่แล้วได้รับการ rebrand ด้วยศัพท์ทางชีววิทยา สาขา neuromorphic computing เผชิญกับการวิจารณ์มานานหลายทศวรรษสำหรับการสัญญาความก้าวหน้าที่ปฏิวัติวงการ ขณะที่ส่งมอบการปรับปรุงแบบเพิ่มทีละน้อยเท่านั้น
ความขัดแย้งชัดเจนเมื่อตรวจสอบรายละเอียดทางเทคนิค นักวิจัยอ้างว่าการออกแบบของพวกเขาสะท้อนหลักการที่สังเกตได้ในสมองทางชีววิทยา แต่คำอธิบายของพวกเขายังคงคลุมเครือ Linear attention ควรจะเลียนแบบ dendritic dynamics ด้วย multi-branch morphology ขณะที่ MoE layers แสดงถึงความเชี่ยวชาญเฉพาะด้าน - คำอธิบายที่ฟังดูน่าประทับใจแต่ขาดรากฐานทางชีววิทยาที่เป็นรูปธรรม
จุดเด่น: ฮาร์ดแวร์ที่ไม่ใช่ NVIDIA
แง่มุมหนึ่งที่น่าสนใจจริงๆ ของโครงการนี้เกี่ยวข้องกับการปรับใช้สำหรับ MetaX GPUs ซึ่งเป็นทางเลือกของจีนแทน NVIDIA hardware ในขณะที่ข้อจำกัดทางการค้ายังคงส่งผลกระทบต่ออุตสาหกรรมเซมิคอนดักเตอร์ทั่วโลก การพัฒนาระบบ AI ที่ทำงานได้อย่างมีประสิทธิภาพบนแพลตฟอร์มที่ไม่ใช่ NVIDIA อาจพิสูจน์ว่ามีค่าสำหรับระบบนิเวศเทคโนโลยีจีน
นักวิจัยได้สร้าง plugins สำหรับ vLLM inference framework และปรับกลยุทธ์การประมวลผลแบบขนานต่างๆ สำหรับชิปทางเลือกเหล่านี้ แม้ว่างานนี้อาจไม่ปฏิวัติสถาปัตยกรรม AI แต่ก็แสดงให้เห็นทักษะวิศวกรรมในทางปฏิบัติในการปรับใช้ฮาร์ดแวร์
รุ่นต่างๆ ของโมเดล SpikingBrain-7B:
- โมเดลที่ผ่านการฝึกฝนแล้ว (7B): เวอร์ชันพื้นฐานสำหรับการใช้งานทั่วไป
- โมเดลแชท (7B-SFT): ปรับแต่งเฉพาะสำหรับแอปพลิเคชันการสนทนา
- น้ำหนักแบบ Quantized (7B-WBASpike): เวอร์ชันที่ลดความแม่นยำเพื่อประสิทธิภาพ
- โมเดลทั้งหมดโฮสต์บนแพลตฟอร์ม ModelScope
บทสรุป
SpikingBrain-7B เน้นย้ำความตึงเครียดที่กำลังดำเนินอยู่ระหว่างนวัตกรรมทางการตลาดและเนื้อหาทางเทคนิคในการวิจัย AI ในขณะที่การสร้างแบรนด์ทางชีววิทยาสร้างความสนใจและอาจได้รับเงินทุน เทคโนโลยีพื้นฐานดูเหมือนจะเป็นการรวมกันอย่างตรงไปตรงมาของเทคนิคที่มีอยู่แล้วพร้อมการปรับปรุงประสิทธิภาพเล็กน้อย
การมีส่วนร่วมที่แท้จริงของโครงการอาจไม่ได้อยู่ในสถาปัตยกรรมที่ได้แรงบันดาลใจจากสมอง แต่ในงานปฏิบัติของการปรับระบบ AI สำหรับแพลตฟอร์มฮาร์ดแวร์ทางเลือก ในขณะที่ภูมิทัศน์เทคโนโลยีทั่วโลกยังคงแตกแยก ความพยายามทางวิศวกรรมดังกล่าวอาจพิสูจน์ว่ามีค่ามากกว่าการตลาด neuromorphic ที่แนะนำ
ในตอนนี้ ผู้ใช้ที่แสวงหาประสิทธิภาพโมเดลภาษาที่ทันสมัยจะได้รับการบริการที่ดีกว่าจากทางเลือกที่มั่นคงซึ่งมุ่งเน้นไปที่ผลลัพธ์มากกว่าการเปรียบเทียบทางชีววิทยา