เมื่อต้นทุนการฝึกโมเดล AI พุ่งสูงถึงระดับดาราศาสตร์ โดย OpenAI รายงานว่าใช้จ่ายกว่า 50 ล้านดอลลาร์สหรัฐต่อวันในการฝึก large language model ชุมชนเทคโนโลยีจึงหันไปมองหาทางเลือกฮาร์ดแวร์ที่รุนแรงซึ่งอาจทำให้การพัฒนาปัญญาประดิษฐ์เป็นประชาธิปไตยมากขึ้น แนวทางที่เน้น GPU เป็นหลักในปัจจุบันได้สร้างช่องว่างทรัพยากรขนาดใหญ่ ทำให้บริษัทขนาดเล็กและนักวิจัยไม่สามารถแข่งขันกับยักษ์ใหญ่ด้านเทคโนโลยีที่ควบคุมโปรเซสเซอร์ระดับไฮเอนด์หลายแสนตัว
ต้นทุนการฝึกอบรม AI ในปัจจุบัน:
- OpenAI : ใช้จ่ายมากกว่า 50 ล้านดอลลาร์สหรัฐต่อวันสำหรับการฝึกอบรม LLM
- ห้องปฏิบัติการขนาดใหญ่ควบคุม: GPU เทียบเท่า H100 / H200 มากกว่า 200,000 ตัว
- ต้นทุนการฝึกอบรม DeepSeek : 6 ล้านดอลลาร์สหรัฐ (ตัวเลขที่เป็นที่โต้แย้ง)
- เกณฑ์การใช้จ่าย AI ขององค์กร: มากกว่า 30,000 ดอลลาร์สหรัฐต่อเดือนสำหรับบริการ distillation
Memory-Centric Computing ได้รับความสนใจเพิ่มขึ้น
การอภิปรายเกี่ยวกับสถาปัตยกรรม memory-centric computing มีความรุนแรงเพิ่มขึ้นเมื่อการขยายขนาด GPU แบบดั้งเดิมเจอกับอุปสรรคทางเศรษฐกิจ เทคโนโลยีอย่าง memristor และ neuromorphic chip สัญญาว่าจะลดความต้องการด้านพลังงานและการคำนวณสำหรับการฝึก AI อย่างมาก ในขณะที่บริษัทอย่าง Cerebras ได้แสดงให้เห็นแล้วถึงโปรเซสเซอร์ขนาด wafer-scale ที่มี SRAM 44 GB และ bandwidth 21 PB/s ชุมชนเชื่อว่าจำเป็นต้องมีการเปลี่ยนแปลงที่รุนแรงกว่านี้มากจากสถาปัตยกรรมปัจจุบัน
Memristor: อุปกรณ์หน่วยความจำที่สามารถทั้งเก็บข้อมูลและทำการคำนวณ อาจช่วยขจัดความจำเป็นในการย้ายข้อมูลระหว่างหน่วยความจำและหน่วยประมวลผลอย่างต่อเนื่อง
เทคโนโลยีการคำนวณทางเลือก:
- Memristors: อุปกรณ์หน่วยความจำที่รวมการจัดเก็บและการคำนวณเข้าด้วยกัน
- Spiking Neural Networks (SNNs): การประมวลผลแบบกระจัดกระจายที่ได้แรงบันดาลใจจากสมอง
- โปรเซสเซอร์ขนาดเวเฟอร์: ชิป Cerebras ที่มี SRAM ขนาด 44 GB และแบนด์วิดท์ 21 PB/s
- การคำนวณที่เน้นหน่วยความจำ: การประมวลผลที่ใกล้ชิดกับการจัดเก็บข้อมูล
- ชิป Neuromorphic: ฮาร์ดแวร์ที่เลียนแบบสถาปัตยกรรมของสมอง
Spiking Neural Networks แสดงศักยภาพด้านประสิทธิภาพ
Spiking Neural Networks (SNNs) เป็นอีกหนึ่งแนวหน้าที่อาจปฏิวัติประสิทธิภาพ AI สถาปัตยกรรมที่ได้แรงบันดาลใจจากสมองนี้ประมวลผลข้อมูลในรูปแบบ sparse และ event-driven แทนที่จะเป็นการดำเนินการ matrix แบบหนาแน่นที่โมเดลปัจจุบันใช้ สมองมนุษย์ทำงานด้วยความหนาแน่นของกราฟที่ประมาณการไว้เพียง 0.0001 ถึง 0.001 ซึ่งชี้ให้เห็นศักยภาพอันยิ่งใหญ่สำหรับแนวทาง sparse computing ที่มีประสิทธิภาพมากกว่า
ความสงสัยพบกับความมองโลกในแง่ดีในการตอบสนองของชุมชน
ในขณะที่สมาชิกชุมชนบางคนยังคงสงสัยเกี่ยวกับเทคโนโลยีก้าวกระโดดที่ถูกทดลองมาหลายทศวรรษ คนอื่นๆ ชี้ไปที่แบบอย่างทางประวัติศาสตร์ที่การวิจัยอย่างต่อเนื่องในที่สุดก็ได้ผล neural network เอง รถยนต์ไฟฟ้า และวัคซีน mRNA ล้วนต้องใช้เวลาพัฒนาหลายทศวรรษก่อนจะประสบความสำเร็จในกระแสหลัก การเฟื่องฟู AI ในปัจจุบันได้สร้างแรงกดดันด้านเงินทุนอย่างไม่เคยมีมาก่อนในการหาทางเลือกแทนการฝึกโมเดลด้วย GPU ที่มีราคาแพง
มีแรงกดดันอย่างมากในการพิสูจน์และขยายขนาดแนวทางทางเลือกที่รุนแรงอย่าง memory-centric compute เช่น memristor หรือ SNNs เป็นต้น นั่นคือเหตุผลที่ฉันประหลาดใจที่เราไม่ได้ยินเกี่ยวกับการลงทุนเชิงเก็งกำไรขนาดใหญ่มากในทิศทางเหล่านี้เพื่อเพิ่มประสิทธิภาพการคำนวณ AI อย่างมาก
การกลั่นเป็นทางออกชั่วคราว
จนกว่าการพัฒนาฮาร์ดแวร์เหล่านี้จะเป็นจริง model distillation ได้กลายเป็นกลยุทธ์หลักสำหรับผู้เล่นรายเล็ก เทคนิคนี้ช่วยให้บริษัทสามารถฝึกโมเดลขนาดเล็กที่เชี่ยวชาญเฉพาะทางโดยใช้ผลลัพธ์จากโมเดลครูที่ใหญ่กว่า โดยทั่วไปจะรักษาประสิทธิภาพไว้ 95% ในขณะที่เร็วและถูกกว่าหนึ่งอันดับในการรัน อย่างไรก็ตาม แนวทางนี้ยังคงทิ้งข้อได้เปรียบด้านการฝึกโมเดลพื้นฐานไว้กับห้องปฏิบัติการที่มีเงินทุนดี
การแข่งขันหาทางเลือกฮาร์ดแวร์ AI สะท้อนถึงการรับรู้ในวงกว้างว่าเส้นทางปัจจุบันไม่ยั่งยืน ไม่ว่าจะผ่าน memristor, neuromorphic chip หรือแนวทางคอมพิวติ้งใหม่ทั้งหมด การพัฒนาครั้งต่อไปอาจทำให้สนามแข่งขันเท่าเทียมกันและทำให้ AI ขั้นสูงเข้าถึงได้สำหรับนักวิจัยและบริษัททั่วโลก
อ้างอิง: GPU-Rich Labs Have Won: What's Left for the Rest of Us is Distillation