การทดสอบเบนช์มาร์กที่ครอบคลุมของระบบเดสก์ท็อปใหม่ที่ใช้ AMD จาก Framework ได้เผยให้เห็นลักษณะประสิทธิภาพที่น่าสนใจสำหรับงาน AI โดยการอภิปรายในชุมชนได้เน้นทั้งด้านที่มีแนวโน้มดีและข้อจำกัดที่น่าสังเกต การทดสอบครั้งนี้เกี่ยวข้องกับทั้งการกำหนดค่าโหนดเดียวและการตั้งค่าคลัสเตอร์ 4 โหนด ให้ข้อมูลเชิงลึกเกี่ยวกับประสิทธิภาพของระบบเหล่านี้ในสถานการณ์การใช้งานที่แตกต่างกัน
ประสิทธิภาพโหนดเดียวแสดงแนวโน้มที่ดีสำหรับการตั้งค่า AI งบประมาณจำกัด
เดสก์ท็อป Framework ที่ติดตั้งด้วยโปรเซสเซอร์ AMD Ryzen 7 5700X และ RAM 128GB แสดงประสิทธิภาพที่สมเหตุสมผลสำหรับงาน AI inference ในท้องถิ่น สมาชิกชุมชนให้ความสนใจเป็นพิเศษในการเปรียบเทียบการตั้งค่านี้กับโซลูชันที่ใช้ GPU แบบดั้งเดิม การเปรียบเทียบของผู้ใช้คนหนึ่งกับการ์ดกราฟิก RTX 4000 SFF Ada (20GB) ที่มีราคาประมาณ 1,200 ดอลลาร์สหรัฐ แสดงให้เห็นว่าเดสก์ท็อปทำงานได้ประมาณหนึ่งในสามของความเร็วสำหรับงานส่วนใหญ่ แม้ว่าสิ่งนี้อาจดูน่าผิดหวังในแวบแรก แต่ชุมชนสังเกตว่าการออกแบบหน่วยความจำแบบรวมให้ข้อได้เปรียบที่สำคัญสำหรับโมเดล AI ขนาดใหญ่ที่เกินขีดจำกัดหน่วยความจำ GPU ทั่วไป
การอภิปรายเผยให้เห็นข้อพิจารณาที่สำคัญสำหรับผู้ซื้อที่มีศักยภาพในการเลือกระหว่างแนวทางฮาร์ดแวร์ที่แตกต่างกัน สำหรับผู้ใช้ที่สนใจโมเดล AI ขนาดเล็กประมาณ 27 พันล้านพารามิเตอร์ GPU NVIDIA เฉพาะยังคงเป็นตัวเลือกที่ต้องการ อย่างไรก็ตาม สำหรับผู้ที่ทำงานกับโมเดลขนาดใหญ่ตั้งแต่ 70 ถึง 120 พันล้านพารามิเตอร์ ระบบที่ใช้ AMD หรือผลิตภัณฑ์ของ Apple จะน่าสนใจมากกว่าเนื่องจากความจุหน่วยความจำที่เหนือกว่า
การเปรียบเทียบประสิทธิภาพ:
- Framework AMD desktop: ช้ากว่า RTX 4000 SFF Ada (20GB) ประมาณ 2.5-3 เท่าสำหรับงาน AI ส่วนใหญ่
- ราคา RTX 4000 SFF Ada : ประมาณ $1,200 USD
- เหมาะสมกว่าสำหรับโมเดล 70-120B parameters เมื่อเทียบกับโมเดล 27B (ข้อได้เปรียบของ NVIDIA )
ผลการกำหนดค่าคลัสเตอร์ทำให้เกิดคำถาม
บางทีการค้นพบที่น่าประหลาดใจที่สุดจากการทดสอบคือประสิทธิภาพของคลัสเตอร์ เมื่อกำหนดค่าเป็นการตั้งค่า 4 โหนดด้วย RAM รวม 512GB ระบบแสดงผลที่น่าผิดหวังเมื่อเปรียบเทียบกับการทำงานโหนดเดียว ชุมชนแสดงความกังวลเป็นพิเศษเกี่ยวกับประสิทธิภาพ GPU ที่แย่ลงอย่างมากในการกำหนดค่าคลัสเตอร์มากกว่าในโหนดเดียว โดยเฉพาะอย่างยิ่งเมื่อพิจารณาว่าโหนดเดียวไม่มี GPU เฉพาะ
ช่องว่างประสิทธิภาพนี้ได้จุดประกายการอภิปรายเกี่ยวกับเครื่องมือ AI inference แบบกระจาย สมาชิกชุมชนหลายคนแนะนำให้สำรวจโปรเจกต์เช่น distributed-llama แม้ว่าพวกเขาจะสังเกตว่าโซลูชันเหล่านี้มาพร้อมกับข้อจำกัดของตัวเอง รวมถึงปัญหาความเข้ากันได้ของ Vulkan และการสนับสนุนเฉพาะโมเดล AI จำนวนจำกัดเท่านั้น ความซับซ้อนของการตั้งค่าและการบำรุงรักษาคลัสเตอร์ AI แบบกระจายถูกเน้นว่าเป็นอุปสรรคที่สำคัญสำหรับผู้ใช้ที่บ้าน
ข้อมูลจำเพาะของฮาร์ดแวร์:
- โปรเซสเซอร์ AMD Ryzen 7 5700X
- RAM 128GB (โหนดเดียว) / RAM รวม 512GB (คลัสเตอร์ 4 โหนด)
- หน่วยเก็บข้อมูล Micron 9300 NVMe
- GPU แบบบูรณาการพร้อมการสนับสนุน Vulkan และ ROCm
ความท้าทายของระบบนิเวศซอฟต์แวร์ยังคงอยู่
การทดสอบเผยให้เห็นความท้าทายที่ยังคงอยู่กับการสนับสนุนซอฟต์แวร์ AI บนฮาร์ดแวร์ AMD แม้ว่า ROCm (แพลตฟอร์มการคำนวณ GPU ของ AMD) จะทำงานได้ในที่สุดหลังจากอัปเกรดเป็นลินุกซ์ดิสทริบิวชันใหม่กว่า แต่กระบวนการติดตั้งพิสูจน์ให้เห็นว่ายากในตอนแรก สมาชิกชุมชนสังเกตว่าการสนับสนุน Vulkan ซึ่งโดยทั่วไปทำงานได้อย่างเชื่อถือได้มากกว่าทันที ไม่ได้รับการสนับสนุนจากเครื่องมือ AI ยอดนิยมเช่น Ollama
เหตุผลที่พวกเขาให้มานั้นแย่มากในเชิงอัตนัย... เป็นเพียงการปฏิเสธอย่างแข็งกร้าว 'ไม่ เราคิดว่ามันไม่น่าเชื่อถือ' ผมคิดว่าพวกเขาแค่ต้องการให้คุณทิ้งพวกเขาและใช้ llama.cpp
ข้อจำกัดของซอฟต์แวร์นี้ได้นำไปสู่การคาดเดาเกี่ยวกับอิทธิพลที่อาจเกิดขึ้นจาก NVIDIA ในการทำให้โซลูชัน GPU ทางเลือกเข้าถึงได้น้อยลงสำหรับผู้ใช้ปลายทาง สมาชิกชุมชนบางคนประสบความสำเร็จกับเครื่องมือทางเลือกเช่น ramalama ซึ่งรายงานว่าให้การเร่งความเร็ว GPU ที่ดีกว่าทันทีบนระบบ AMD
ปัญหาความเข้ากันได้ของซอฟต์แวร์:
- การติดตั้ง ROCm ทำได้ยากบน Fedora 42 แต่ง่ายกว่าบน Rawhide
- Ollama ขาดการสนับสนุน Vulkan แม้ว่า community forks จะพิสูจน์แล้วว่าสามารถใช้งานได้
- เครื่องมือทางเลือก: distributed-llama, ramalama, llama.cpp RPC
- Vulkan โดยทั่วไปทำงานได้เชื่อถือได้มากกว่า ROCm สำหรับผู้ใช้ทั่วไป
การวางตำแหน่งตลาดและข้อเสนอคุณค่า
การอภิปรายของชุมชนเผยให้เห็นความคิดเห็นที่หลากหลายเกี่ยวกับตำแหน่งตลาดของเดสก์ท็อป Framework AMD แม้ว่าระบบจะมีข้อได้เปรียบเฉพาะสำหรับงาน AI เฉพาะ โดยเฉพาะอย่างยิ่งงานที่ต้องการหน่วยความจำจำนวนมาก แต่อัตราส่วนประสิทธิภาพต่อดอลลาร์ต้องเผชิญกับการแข่งขันที่รุนแรงจากทั้งโซลูชัน GPU เฉพาะและผลิตภัณฑ์ AMD อื่น ๆ เช่น Ryzen 9950X
โครงสร้างราคาได้รับการวิพากษ์วิจารณ์ โดยผู้ใช้สังเกตว่าการเคลื่อนไหวเกินประสิทธิภาพเดสก์ท็อปกระแสหลักต้องการการกระโดดต้นทุนที่สำคัญไปยังฮาร์ดแวร์ระดับมืออาชีพ สิ่งนี้ได้นำไปสู่คำถามเกี่ยวกับตลาดเป้าหมายสำหรับระบบเหล่านี้ โดยมีข้อเสนอแนะตั้งแต่การซื้อขายความถี่สูงไปจนถึงการประยุกต์ใช้วิทยาศาสตร์ข้อมูล แม้ว่ากรณีการใช้งานเหล่านี้หลายกรณีอาจได้รับการบริการที่ดีกว่าจากฮาร์ดแวร์เซิร์ฟเวอร์เฉพาะ
เดสก์ท็อป Framework AMD ดูเหมือนจะครอบครองตำแหน่งเฉพาะในภูมิทัศน์ฮาร์ดแวร์ AI แม้ว่าจะมีข้อได้เปรียบที่น่าสนใจสำหรับกรณีการใช้งานเฉพาะที่เกี่ยวข้องกับโมเดล AI ขนาดใหญ่ แต่ประสิทธิภาพคลัสเตอร์ที่หลากหลายและความท้าทายของระบบนิเวศซอฟต์แวร์ชี้ให้เห็นว่าอาจเหมาะสมที่สุดสำหรับผู้ใช้ที่มีความต้องการเฉพาะมากกว่าการเป็นเวิร์กสเตชัน AI อเนกประสงค์
อ้างอิง: Benchmark Framework Desktop Mainboard and 4-node cluster #21