ในขณะที่อุตสาหกรรม AI ทั่วโลกกำลังเผชิญกับความต้องการด้านการประมวลผลที่พุ่งสูงขึ้นและการจัดสรรทรัพยากรที่ไม่มีประสิทธิภาพ โซลูชันใหม่ที่ใช้ซอฟต์แวร์ได้เกิดขึ้นและอาจปรับเปลี่ยนพื้นฐานในการใช้ประโยชน์จากฮาร์ดแวร์ที่มีอยู่ Huawei ร่วมกับสถาบันการศึกษาชั้นนำ ได้เปิดตัว Flex:ai เทคโนโลยีคอนเทนเนอร์โอเพนซอร์สที่ออกแบบมาเพื่อจัดการกับปัญหาประจำของการสูญเสียพลังการประมวลผล การเคลื่อนไหวเชิงกลยุทธ์นี้เปลี่ยนภูมิทัศน์การแข่งขันจากการสร้างชิปที่ทรงพลังกว่า ไปสู่การปรับใช้ประโยชน์จากความสามารถในการประมวลผลที่มีอยู่ทุกหน่วยให้เกิดประสิทธิภาพสูงสุด
การปรับเปลี่ยนเชิงกลยุทธ์จากฮาร์ดแวร์สู่ซอฟต์แวร์
อุตสาหกรรม AI เผชิญกับความท้าทายที่ขัดแย้งในตัวเอง: ในขณะที่ความต้องการพลังการประมวลผลพุ่งสูงขึ้น อัตราการใช้ประโยชน์ของ GPU และ NPU ในปัจจุบันกลับอยู่ที่เพียง 30-40% เทคโนโลยีคอนเทนเนอร์ Flex:ai ของ Huawei แสดงถึงการเปลี่ยนแปลงพื้นฐานในการแก้ไขปัญหาความไม่มีประสิทธิภาพนี้ โดยก้าวข้ามการแข่งขัน "เพิ่มศักยภาพฮาร์ดแวร์" แบบดั้งเดิมไปสู่การมุ่งเน้นที่การปรับปรุงซอฟต์แวร์ เทคโนโลยีนี้ทำหน้าที่เป็น "ตัวกระจายงานขั้นสูง" ที่สามารถจัดการและประสานงานทรัพยากรการคำนวณที่หลากหลายจากผู้ขายต่างๆ ได้อย่างชาญฉลาด รวมถึง GPU จาก Nvidia, ชิป Ascend ของ Huawei เอง และโปรเซสเซอร์จากบริษัทอื่นๆ ด้วยการสร้างชั้นการจัดการแบบรวมเข้าด้วยกัน ระบบดังกล่าวรับประกันว่าแหล่งทรัพยากรการคำนวณราคาแพงจะไม่หยุดนิ่งอีกต่อไป ในขณะที่กระบวนการอื่นๆ กำลังรอให้ทรัพยากรว่าง
การปรับปรุงประสิทธิภาพ
- การเพิ่มขึ้นของการใช้ทรัพยากรโดยเฉลี่ย: การปรับปรุงการใช้ทรัพยากรเชิงคำนวณ 30%
- การจัดสรรทรัพยากร: ช่วยให้สามารถรันโหลดงาน AI หลายๆ งานพร้อมกันบนฮาร์ดแวร์ชิ้นเดียวได้
- ประสิทธิภาพของโครงสร้างพื้นฐาน: มีศักยภาพที่จะลดความต้องการเซิร์ฟเวอร์ลงหนึ่งในสามสำหรับผลลัพธ์ที่เทียบเท่า
- ขอบเขตของการประยุกต์ใช้: มีประสิทธิภาพสำหรับทั้งการฝึกฝน/การอนุมานโมเดลขนาดเล็ก และความต้องการในการคำนวณของโมเดลขนาดใหญ่
ความก้าวหน้าทางเทคนิคสามประการหลัก
ประสิทธิผลของเทคโนโลยีนี้มีรากฐานมาจากแนวทางใหม่สามประการที่พัฒนาผ่านความร่วมมือทางวิชาการ ผ่านการทำงานร่วมกับ Shanghai Jiao Tong University Huawei ได้สร้างเฟรมเวิร์กการรวมกลุ่ม XPU ที่ช่วยให้สามารถแบ่งการ์ด GPU หรือ NPU เดี่ยวออกเป็นหน่วยการคำนวณเสมือนหลายหน่วยได้ด้วยความแม่นยำที่น่าทึ่งถึงระดับ 10% แนวทาง "หนึ่งการ์ดกลายเป็นหลายหน่วย" นี้ทำให้สามารถรันโหลดงาน AI พร้อมกันหลายงานบนฮาร์ดแวร์ที่โดยปกติแล้วจะถูกใช้สำหรับงานเดียว ขณะเดียวกัน ความร่วมมือกับ Xiamen University ส่งผลให้เกิดเทคโนโลยี virtualization ข้ามโหนด ที่รวบรวมทรัพยากรการคำนวณที่ไม่ได้ใช้งานทั่วทั้งคลัสเตอร์ เพื่อสร้าง "พูลการคำนวณ" ร่วมกัน ที่แม้แต่เซิร์ฟเวอร์อเนกประสงค์ที่ไม่มีโปรเซสเซอร์ AI โดยเฉพาะก็สามารถเข้าถึงได้ สุดท้าย การพัฒนาร่วมกับ Xi'an Jiaotong University สร้างตัวจัดตารางงานอัจฉริยะ Hi Scheduler ซึ่งจะจับคู่โหลดงานกับทรัพยากรที่เหมาะสมโดยอัตโนมัติตามความสำคัญ ความต้องการในการคำนวณ และโหลดระบบในขณะนั้น
คุณสมบัติทางเทคนิคหลักของ Flex:ai
- เฟรมเวิร์ก XPU Pooling: แบ่งพาร์ติชันการ์ด GPU/NPU เดี่ยวออกเป็นหน่วยเสมือนด้วยความละเอียด 10%
- การสร้างสภาพแวดล้อมเสมือนข้ามโหนด: รวบรวมทรัพยากรคอมพิวติ้งที่ไม่ได้ใช้งานทั่วทั้งคลัสเตอร์เซิร์ฟเวอร์
- Hi Scheduler: ตัวจัดกำหนดการอัจฉริยะที่จับคู่เวิร์กโหลดกับทรัพยากรที่เหมาะสมที่สุด
- ความเข้ากันได้ของแพลตฟอร์ม: ทำงานร่วมกับระบบจัดตู้คอนเทนเนอร์ Kubernetes
- การสนับสนุนฮาร์ดแวร์: เข้ากันได้กับ GPU ของ Nvidia, NPU Huawei Ascend และโปรเซสเซอร์ของบริษัทอื่น
การเปลี่ยนโฉมเศรษฐศาสตร์อุตสาหกรรมและความเข้าถึง
ผลกระทบในทางปฏิบัติของความก้าวด้านประสิทธิภาพนี้มีนัยสำคัญสำหรับธุรกิจที่นำโซลูชัน AI ไปใช้ องค์กรต่างๆ มีศักยภาพที่จะได้ผลลัพธ์การคำนวณเท่าเดิมด้วยการลงทุนในฮาร์ดแวร์ที่ลดลงอย่างมีนัยสำคัญ – สิ่งที่ก่อนหน้านี้ต้องใช้เซิร์ฟเวอร์สามเครื่อง อาจทำได้ด้วยสองเครื่องในตอนนี้ ผลกระทบในการทำให้เข้าถึงได้นี้ช่วยลดอุปสรรคในการเข้าสู่การพัฒนา AI โดยเฉพาะสำหรับวิสาหกิจขนาดกลางและขนาดย่อมที่เคยดิ้นรนกับต้นทุนโครงสร้างพื้นฐานด้านการคำนวณที่สูงลิ่ว แนวทางที่ไม่ยึดติดกับผู้ขายของเทคโนโลยีนี้ยังมอบความยืดหยุ่นในการตัดสินใจจัดซื้อฮาร์ดแวร์ให้กับธุรกิจมากขึ้น ลดการพึ่งพาผู้ผลิตชิปรายใดรายหนึ่ง และสร้างตลาดที่มีการแข่งขันมากขึ้น
ความร่วมมือในการพัฒนา
- Shanghai Jiao Tong University: กรอบการรวม XPU และเทคโนโลยีการแบ่งส่วนทรัพยากร
- Xiamen University: ความสามารถในการสร้างระบบเสมือนข้ามโหนดและการเข้าถึงทรัพยากรระยะไกล
- Xi'an Jiaotong University: ระบบการจับคู่ปริมาณงานและทรัพยากรอัจฉริยะ Hi Scheduler
ยุคเริ่มต้นของการคำนวณที่กำหนดโดยซอฟต์แวร์
ความคิดริเริ่มของ Huawei บ่งชี้ถึงการเปลี่ยนผ่านของอุตสาหกรรมในวงกว้างไปสู่การคำนวณที่กำหนดโดยซอฟต์แวร์ ซึ่งประสิทธิภาพของระบบมีความสำคัญไม่น้อยไปกว่าความสามารถของฮาร์ดแวร์โดยตรง การวิวัฒนาการนี้สะท้อนให้เห็นการเปลี่ยนผ่านของอุตสาหกรรมสมาร์ทโฟนจากการแข่งขันด้วยสเปกไปสู่การปรับปรุงประสบการณ์ผู้ใช้ เมื่อฮาร์ดแวร์สำหรับการคำนวณไปถึงจุดที่ความสามารถเริ่มคงที่ พรมแดนต่อไปของความก้าวหน้าอยู่ที่การจัดการทรัพยากรและการประสานงานระบบที่ชาญฉลาดมากขึ้น สำหรับการพัฒนากำลังการผลิตคุณภาพใหม่ แนวทางนี้เสนอเส้นทางที่จะเพิ่มผลผลิตโดยรวมผ่านการปรับปรุงให้ดีขึ้นอย่างชาญฉลาด แทนที่จะเป็นการสะสมทรัพยากรเพียงอย่างเดียว
กลยุทธ์โอเพนซอร์สและผลกระทบในอนาคต
การทำให้ Flex:ai เป็นโอเพนซอร์ส Huawei มีเป้าหมายเพื่อเร่งการยอมรับในระดับอุตสาหกรรมและสร้างมาตรฐานสำหรับแนวปฏิบัติในการคำนวณที่มีประสิทธิภาพ แนวทางแบบร่วมมือนี้ส่งเสริมนวัตกรรมระดับโลก ขณะเดียวกันก็สร้างฐานให้ Huawei เป็นผู้นำทางความคิดในด้านประสิทธิภาพการคำนวณ จังหวะเวลานี้มีความสำคัญเป็นพิเศษ เพราะธุรกิจทั่วโลกกำลังเผชิญกับแรงกดดันที่เพิ่มขึ้นในการสร้างสมดุลระหว่างความทะเยอทะยานด้าน AI กับเป้าหมายความยั่งยืนและข้อจำกัดด้านต้นทุน เมื่อเทคโนโลยีนี้เติบโตเต็มที่แล้ว เราคาดว่าจะเห็นโมเดลธุรกิจใหม่ๆ เกิดขึ้นในการดำเนินงานศูนย์ข้อมูลและตลาดการให้เช่าพลังการคำนวณ ซึ่งผู้ให้บริการสามารถเสนอความสามารถเพิ่มเติมได้โดยไม่ต้องลงทุนในฮาร์ดแวร์เพิ่มเติม