OpenAI เพิ่งเปิดตัวโมเดลภาษาโอเพนซอร์สรุ่นใหญ่แรกของบริษัท ได้แก่ gpt-oss-120b และ gpt-oss-20b ซึ่งถือเป็นการเปลี่ยนแปลงครั้งสำคัญสำหรับบริษัทที่เป็นที่รู้จักในการเก็บโมเดลขั้นสูงที่สุดไว้เป็นความลับ แม้ว่าโมเดลเหล่านี้จะแสดงประสิทธิภาพที่น่าประทับใจในการทดสอบมาตรฐาน แต่ข้อเสนอแนะจากผู้ใช้งานในช่วงแรกเผยให้เห็นรูปแบบที่คุ้นเคยซึ่งเป็นปัญหาของโมเดลที่ถูกฝึกด้วยข้อมูลสังเคราะห์ คือมีคะแนนทดสอบที่ยอดเยี่ยม แต่ประสิทธิภาพในโลกจริงที่น่าผิดหวัง
ข้อมูลจำเพาะของโมเดล:
- gpt-oss-120b: 120 พันล้านพารามิเตอร์ (5 พันล้านพารามิเตอร์ที่ใช้งานจริง)
- gpt-oss-20b: 20 พันล้านพารามิเตอร์
- ใบอนุญาต: Apache 2.0
- แนวทางการฝึกอบรม: ข้อมูลสังเคราะห์และข้อมูลที่คัดสรรมาแล้ว (คล้ายกับซีรีส์ Microsoft Phi )
แนวทางการฝึกด้วยข้อมูลสังเคราะห์
โมเดลใหม่ของ OpenAI ดูเหมือนจะปฏิบัติตามปรัชญาเดียวกันกับซีรีส์ Phi ของ Microsoft ซึ่งมุ่งเน้นการฝึกด้วยข้อมูลสังเคราะห์และข้อมูลคัดสรรคุณภาพสูงเท่านั้น แทนที่จะใช้ข้อความดิบจากอินเทอร์เน็ต แนวทางนี้ให้นักพัฒนาควบคุมเนื้อหาการฝึกได้อย่างสมบูรณ์ ทำให้สามารถสร้างข้อมูลที่ตรงกับงานทดสอบมาตรฐานได้อย่างใกล้เคียง อย่างไรก็ตาม วิธีการสอนเพื่อสอบนี้มักส่งผลให้โมเดลเก่งในการประเมินแบบควบคุม แต่ประสบปัญหากับธรรมชาติที่ยุ่งเหยิงและคาดเดาไม่ได้ของการใช้งานในโลกจริง
การอพยพในชุมชนเผยให้เห็นว่าผู้ใช้พบว่าโมเดลเหล่านี้มีความสามารถทางเทคนิคในโดเมนเฉพาะเจาะจง เช่น วิทยาศาสตร์และการเขียนโค้ด โดยมีบางคนรายงานความสำเร็จในการสืบค้น SQL ที่ซับซ้อนซึ่งทำให้โมเดลขนาดใกล้เคียงอื่นๆ ต้องติดขัด ผู้ใช้คนหนึ่งสังเกตว่าโมเดล 20B ระบุความสัมพันธ์เชิงตรรกะที่ละเอียดอ่อนได้อย่างถูกต้อง ซึ่งโมเดลขนาดใหญ่กว่าพลาดไป แสดงให้เห็นความสามารถในการใช้เหตุผลที่แท้จริงในงานที่มีโครงสร้าง
การเชื่อมโยงบุคลากรสำคัญ:
- Sebastien Bubeck : เป็นผู้นำการพัฒนาโมเดล Phi ของ Microsoft ในปี 2024
- เข้าร่วม OpenAI ในช่วงปลายปี 2024
- น่าจะมีส่วนเกี่ยวข้องในการพัฒนาโมเดล gpt-oss
- โมเดล Phi เป็นที่รู้จักจากแนวทางการฝึกด้วยข้อมูลสังเคราะห์
การแลกเปลี่ยนด้านความปลอดภัย
การเลือกใช้ข้อมูลสังเคราะห์ในการฝึกน่าจะเกิดจากความกังวลด้านความปลอดภัยมากกว่าการเพิ่มประสิทธิภาพ โมเดลโอเพนซอร์สมีความเสี่ยงเฉพาะสำหรับบริษัทขนาดใหญ่ เพราะเมื่อเปิดตัวแล้วจะไม่สามารถอัปเดตหรือควบคุมได้ ผู้ใช้สามารถปรับแต่งโมเดลเหล่านี้เพื่อวัตถุประสงค์ใดก็ได้ และกรณีการใช้งานที่ได้รับความนิยมมากที่สุดสำหรับการปรับแต่งโมเดลในเครื่องในอดีตคือการสร้างเนื้อหาสำหรับผู้ใหญ่
การฝึกด้วยข้อมูลสังเคราะห์ที่คัดสรรอย่างระมัดระวัง OpenAI สามารถรับประกันได้ว่าโมเดลของพวกเขามีการฝึกการปฏิเสธอย่างกว้างขวางและไม่มีการสัมผัสกับเนื้อหาที่มีปัญหา สิ่งนี้ทำให้โมเดลปลอดภัยกว่ามากในการเปิดตัวสู่สาธารณะ แม้ว่าจะต้องแลกมาด้วยความรู้ทั่วไปและความสามารถในการสนทนา มีรายงานว่าโมเดลเหล่านี้มีความรู้ทางวิทยาศาสตร์ที่กว้างขวาง แต่ขาดความเข้าใจเกี่ยวกับวัฒนธรรมป๊อปและเหตุการณ์ปัจจุบัน
การตอบรับจากชุมชนและช่องว่างด้านประสิทธิภาพ
ผู้ใช้งานในช่วงแรกมีความรู้สึกผสมผสานเกี่ยวกับโมเดลใหม่ ในขณะที่บางคนชื่นชมความสามารถในการเขียนโค้ดและการใช้เหตุผลเชิงตรรกะ แต่คนอื่นๆ วิจารณ์ฐานความรู้ที่จำกัดและการตอบสนองที่ระมัดระวังเกินไป โมเดลเหล่านี้แสดงอาการคลาสสิกของการฝึกด้วยข้อมูลสังเคราะห์ คือทำงานได้ดีในการทดสอบมาตรฐานทางวิชาการและงานที่มีโครงสร้าง แต่รู้สึกเทียมและจำกัดในการสนทนาแบบเปิด
พวกเขามีความสามารถทางเทคนิค แต่ขาดความรู้นอกโดเมนมาก เช่น พวกเขามีความรู้ทั่วไปเกี่ยวกับวิทยาศาสตร์อย่างกว้างขวาง แต่ไม่รู้มากเกี่ยวกับวัฒนธรรมป๊อป
ช่องว่างด้านประสิทธิภาพนี้เน้นย้ำถึงความท้าทายพื้นฐานในการพัฒนา AI บริษัทต้องสร้างสมดุลระหว่างความสามารถกับความปลอดภัย โดยเฉพาะเมื่อเปิดตัวโมเดลที่ผู้ใช้สามารถแก้ไขได้อย่างอิสระ สำหรับ OpenAI ซึ่งธุรกิจหลักยังคงเป็นโมเดลปิดของพวกเขา การเปิดตัวแบบเปิดเหล่านี้ทำหน้าที่เป็นการวางตำแหน่งการแข่งขันกับโมเดลจีนมากกว่าที่จะเป็นทางเลือกจริงจังสำหรับผลิตภัณฑ์หลักของพวกเขา
ลักษณะประสิทธิภาพ:
- ประสิทธิภาพที่แข็งแกร่งในการทดสอบทางวิชาการ
- เก่งในงานที่มีโครงสร้าง ( SQL , การเขียนโค้ด, การใช้เหตุผลเชิงตรรกะ)
- อ่อนแอในเรื่องวัฒนธรรมสมัยนิยมและเหตุการณ์ปัจจุบัน
- ความรู้นอกขอบเขตจำกัด
- การตอบสนองที่ระมัดระวังมากเกินไปเนื่องจากการฝึกด้านความปลอดภัย
มองไปข้างหน้า
กลยุทธ์การเปิดตัวชี้ให้เห็นว่า OpenAI มองโมเดลโอเพนซอร์สเป็นส่วนที่จำเป็นแต่เป็นรองของธุรกิจ ต่างจาก Meta ที่ต้องการโมเดลเปิดที่แข็งแกร่งเพื่อขับเคลื่อนการใช้งานในระบบนิเวศของพวกเขา OpenAI สามารถให้ความสำคัญกับความปลอดภัยมากกว่าความสามารถในการเปิดตัวสู่สาธารณะได้ ว่าแนวทางนี้จะทำให้ชุมชนโอเพนซอร์สพอใจหรือไม่ยังต้องรอดู แต่ตัวชี้วัดในช่วงแรกชี้ให้เห็นว่าโมเดลเหล่านี้จะเข้าร่วมรายชื่อระบบ AI ที่เพิ่มขึ้นซึ่งสร้างความประทับใจในการสาธิต แต่ทำให้ผิดหวังในการใช้งานประจำวัน
การอภิปรายเกี่ยวกับโมเดลเหล่านี้ยังสะท้อนคำถามที่กว้างขึ้นเกี่ยวกับสิ่งที่ถือเป็นโอเพนซอร์สในยุค AI โดยสมาชิกชุมชนโต้เถียงว่าการเปิดตัวน้ำหนักโมเดลโดยไม่มีข้อมูลการฝึกและโค้ดถือเป็นซอฟต์แวร์โอเพนซอร์สจริงๆ หรือไม่