แพลตฟอร์มใหม่ที่เรียกว่า RunRL กำลังทำให้การเข้าถึง reinforcement learning เพื่อปรับปรุงโมเดล AI เป็นประชาธิปไตยมากขึ้น โดยเสนอวิธีการที่มีประสิทธิภาพให้กับนักพัฒนาและนักวิจัยในการปรับปรุงโมเดลของตนโดยไม่ต้องเผชิญกับความซับซ้อนแบบดั้งเดิมของการใช้งาน RL บริการนี้ได้จุดประกายการอภิปรายอย่างมีนัยสำคัญในชุมชนเทคโนโลยีเกี่ยวกับอนาคตของการปรับปรุงโมเดลและการประยุกต์ใช้งานในทางปฏิบัติ
การปรับปรุงประสิทธิภาพที่อ้างว่าได้รับ
- เอาชนะ Claude 3.7 ด้วยโมเดลที่เล็กกว่า 50 เท่า
- มีประสิทธิภาพเหนือกว่า GPT-3.5-mini ทั้งในด้านประสิทธิภาพและต้นทุน
- สามารถประยุกต์ใช้ได้กับโมเดลเคมี เว็บเอเจนต์ และการสร้างโค้ด
- ใช้อัลกอริทึมที่คล้ายกับ DeepSeek R1 สำหรับการปรับแต่งให้เหมาะสม
กระบวนการสามขั้นตอนที่เรียบง่ายสำหรับการปรับปรุงโมเดล
RunRL แบ่งกระบวนการ reinforcement learning ที่ซับซ้อนแบบดั้งเดิมออกเป็นสามขั้นตอนที่จัดการได้ ผู้ใช้จะเริ่มต้นด้วยการกำหนดงานของตนโดยการส่ง prompts และสร้างฟังก์ชันรางวัลที่กำหนดเองซึ่งประเมินผลลัพธ์ของโมเดล จากนั้นแพลตฟอร์มจะใช้อัลกอริทึม reinforcement learning ที่คล้ายกับที่ใช้ใน DeepSeek R1 เพื่อปรับปรุงประสิทธิภาพ สุดท้าย ผู้ใช้สามารถนำโมเดลที่ปรับปรุงแล้วไปใช้งานซึ่งได้รับการปรับปรุงตามเกณฑ์รางวัลเฉพาะของตน
แพลตฟอร์มรองรับการผสานรวมกับโค้ดที่มีอยู่ผ่าน API ยอดนิยมรวมถึง OpenAI, Anthropic และ LiteLLM ความเข้ากันได้นี้ช่วยให้นักพัฒนาสามารถรวมการปรับปรุง RL เข้ากับเวิร์กโฟลว์ปัจจุบันของตนได้โดยไม่ต้องปรับโครงสร้างใหญ่
ข้อมูลจำเพาะทางเทคนิค
- การกำหนดค่า GPU มาตรฐาน: GPU H100 จำนวน 8 ตัว
- แนวทางการฝึกอบรม: Full Fine-Tuning (FFT) เป็นค่าเริ่มต้น
- ความเข้ากันได้ของ API: OpenAI , Anthropic , LiteLLM และผู้ให้บริการอื่นๆ
- การปรับใช้งาน: การเข้าถึง API ฟรี (ด้วยการประมวลผลที่ช้ากว่า) มีการประมวลผลระดับการผลิตพร้อมใช้งาน
- ขนาดระดับองค์กรสูงสุด: GPU สูงสุด 2,048 ตัวสำหรับงานต่างๆ
การอภิปรายของชุมชนเผยรายละเอียดการใช้งานในทางปฏิบัติ
การอภิปรายของนักพัฒนาได้เน้นย้ำแง่มุมทางเทคนิคที่สำคัญหลายประการของแพลตฟอร์ม สำหรับงานที่ต้องการเกณฑ์การให้คะแนนที่แตกต่างกันในแต่ละตอน ผู้ใช้สามารถรวมฟิลด์เพิ่มเติมในไฟล์ JSONL ของตนและเข้าถึงผ่านฟังก์ชันรางวัล แพลตฟอร์มปัจจุบันเสนอการนำไปใช้งาน API ฟรีสำหรับโมเดลที่ได้รับการฝึกฝน แม้ว่าจะมีเวลาเริ่มต้นที่นานกว่าและความเร็วในการอนุมานที่ช้ากว่าบนโหนด GPU ขนาดเล็ก
ข้อมูลเชิงลึกของชุมชนที่น่าสนใจอย่างหนึ่งที่เกิดขึ้นเกี่ยวกับประสิทธิผลของแนวทาง full fine-tuning เทียบกับ LoRA (Low-Rank Adaptation):
LoRAs ส่งผลเสียอย่างมีนัยสำคัญต่อประสิทธิภาพของโมเดลขนาดเล็กเมื่อเทียบกับ FFT โดยมีผลกระทบน้อยกว่าสำหรับโมเดลขนาดใหญ่ นี่อาจเป็นเพราะโมเดลขนาดใหญ่มีทักษะในตัวมากกว่า ดังนั้น LoRA จึงเพียงพอที่จะดึงทักษะที่มีอยู่ออกมา ในขณะที่สำหรับโมเดลขนาดเล็ก คุณต้องทำการเรียนรู้จริงมากกว่า
แพลตฟอร์มใช้ full fine-tuning เป็นค่าเริ่มต้นโดยใช้ GPU H100 8 ตัวเป็นมาตรฐาน ช่วยให้สามารถใช้โมเดลที่ใหญ่กว่าและ full-parameter fine-tunes เมื่อเทียบกับโซลูชัน GPU เดี่ยว
โครงสร้างราคาเป้าหมายกลุ่มผู้ใช้ที่แตกต่างกัน
RunRL เสนอสองระดับราคาเพื่อรองรับความต้องการของผู้ใช้ที่แตกต่างกัน ตัวเลือกบริการตนเองมีค่าใช้จ่าย 80 ดอลลาร์สหรัฐต่อโหนดต่อชั่วโมง (เทียบเท่า 10 ดอลลาร์สหรัฐต่อ H100 ต่อชั่วโมง) พร้อมการเข้าถึงแพลตฟอร์มทันที การเข้าถึง API เต็มรูปแบบ และการเรียกเก็บเงินแบบจ่ายตามการใช้งานโดยไม่มีข้อผูกมัดขั้นต่ำ สำหรับผู้ใช้องค์กร ราคาที่กำหนดเองรวมถึงการสนับสนุนผู้เชี่ยวชาญ RL เฉพาะ งานบน GPU สูงสุด 2,048 ตัว และการนำไปใช้งานแบบ on-premises หรือ VPC
แพลตฟอร์มวางตำแหน่งตนเองเป็นทางเลือกแทนเครื่องมือปรับปรุง prompt เช่น DSPy โดยเน้นที่ reinforcement learning fine-tuning แบบเต็มรูปแบบมากกว่าการปรับปรุง prompt เพียงอย่างเดียว แนวทางนี้มีเป้าหมายเพื่อให้ความน่าเชื่อถือเพิ่มเติมที่จำเป็นสำหรับเวิร์กโฟลว์ agentic ที่ซับซ้อนซึ่งการปรับปรุง prompt เพียงอย่างเดียวอาจไม่เพียงพอ
การเปรียบเทียบราคา RunRL
| แผน | ราคา | คุณสมบัติหลัก |
|---|---|---|
| Self-Serve | $80 USD/node-hour ($10 USD/H100-hour) | เข้าใช้งานได้ทันที, เข้าถึง API แบบเต็มรูปแบบ, การสนับสนุนมาตรฐาน, จ่ายตามการใช้งาน, ไม่มีข้อผูกมัดขั้นต่ำ |
| Enterprise | ติดต่อสอบถามราคา | การพัฒนา reward แบบกำหนดเอง, การสนับสนุนจากผู้เชี่ยวชาญ RL, GPU สูงสุด 2,048 ตัว, การติดตั้งแบบ On-prem/VPC, การผสานรวมแบบกำหนดเอง |
การประยุกต์ใช้ครอบคลุมหลายโดเมน
RunRL แสดงความหลากหลายในการประยุกต์ใช้ต่างๆ รวมถึงโมเดลเคมี เว็บเอเจนต์ และการสร้างโค้ด แพลตฟอร์มอ้างว่าได้ผลลัพธ์ที่น่าประทับใจ รวมถึงการเอาชนะ Claude 3.7 ด้วยโมเดลที่เล็กกว่า 50 เท่า และมีประสิทธิภาพเหนือกว่า GPT-3.5-mini ทั้งในด้านประสิทธิภาพและเมตริกต้นทุน
บริการต้องการให้งานมีการประเมินประสิทธิภาพอัตโนมัติในรูปแบบใดรูปแบบหนึ่ง ไม่ว่าจะผ่านฟังก์ชัน Python, LLM judges หรือการรวมกันของทั้งสอง ข้อกำหนดนี้ช่วยให้มั่นใจว่ากระบวนการ reinforcement learning สามารถปรับปรุงพฤติกรรมของโมเดลได้อย่างมีประสิทธิภาพตามผลลัพธ์ที่วัดได้
หมายเหตุ: LoRA (Low-Rank Adaptation) เป็นเทคนิคที่ปรับแต่งเฉพาะพารามิเตอร์โมเดลส่วนย่อยเล็กๆ ในขณะที่ FFT (Full Fine-Tuning) อัปเดตพารามิเตอร์โมเดลทั้งหมดระหว่างการฝึก