DeepSeek เปิดตัว mHC: สถาปัตยกรรม AI ใหม่ที่ให้คำมั่นสัญญาในด้านความเสถียร การขยายขนาดได้ และต้นทุนที่คุ้มค่าสำหรับโมเดลขนาดใหญ่

ในการเคลื่อนไหวที่อาจปรับเปลี่ยนเศรษฐศาสตร์และความสามารถในการขยายตัวของการพัฒนาโมเดลภาษาขนาดใหญ่ บริษัท AI ชาวจีน DeepSeek ได้เผยแพร่งานวิจัยฉบับใหม่ที่เปิดเผยรายละเอียดของสถาปัตยกรรมเครือข่ายประสาทเทียมรูปแบบใหม่ การประกาศนี้ ซึ่งเกิดขึ้นก่อนปีใหม่เพียงเล็กน้อย ได้แนะนำวิธีการ "Manifold-Constrained Hyper-Connections" (mHC) ซึ่งออกแบบมาเพื่อแก้ไขอุปสรรคสำคัญด้านความเสถียรและต้นทุนที่สร้างความท้าทายมายาวนานในการฝึกฝนโมเดล AI ที่ใหญ่ขึ้นเรื่อยๆ การพัฒนาครั้งนี้ตามหลังความสำเร็จอย่างน่าประหลาดใจของ DeepSeek จากโมเดล R1 ก่อนหน้านี้ และอาจวางรากฐานทางเทคนิคสำหรับโมเดล R2 ที่ได้รับการคาดหวังอย่างสูง แต่ถูกเลื่อนออกไป

บริบทและภูมิหลัง

• วันที่ประกาศ: 31 ธันวาคม 2025 / 1 มกราคม 2026 (วันปีใหม่ของจีน)
• แพลตฟอร์มเผยแพร่ผลงาน: เผยแพร่บน arXiv (งานก่อนตีพิมพ์ ยังไม่ผ่านการทบทวนโดยผู้เชี่ยวชาญ)
• บริบทของบริษัท: ตามหลังความสำเร็จของโมเดล R1 ที่มีต้นทุนประสิทธิภาพสูง (ปี 2025) ของ DeepSeek ให้ข้อมูลสำหรับการพัฒนาโมเดล R2 ที่ล่าช้า
• ความท้าทายที่ถูกอ้างอิง: การเข้าถึงชิป AI ขั้นสูงของจีนมีจำกัด ทำให้ประสิทธิภาพเชิงคำนวณมีความสำคัญยิ่ง

แก่นปัญหาหลัก: การขยายขนาดโดยปราศจากความเสถียร

แรงผลักดันที่ไม่หยุดยั้งในการสร้างโมเดล AI ที่ใหญ่ขึ้นและมีความสามารถมากขึ้น มักจะเจอกับปัญหาพื้นฐานทางวิศวกรรมอยู่เสมอ นั่นคือ การเสื่อมสภาพของสัญญาณและความไม่เสถียร เมื่อเครือข่ายประสาทเทียมลึกขึ้นด้วยเลเยอร์ที่มากขึ้น—คล้ายกับการเพิ่มคนเข้าไปในเกมส่งข้อความต่อกัน—สัญญาณดั้งเดิมสามารถถูกขยาย ลดทอน หรือสูญหายไปอย่างหายนะได้ ปรากฏการณ์นี้ ซึ่งมักแสดงออกมาในรูปแบบของการระเบิดของเกรเดียนต์หรือเกรเดียนต์ที่หายไป ทำให้การฝึกฝนไม่เสถียร ไม่มีประสิทธิภาพ และในที่สุดก็จำกัดขนาดของโมเดลที่สามารถสร้างได้ในทางปฏิบัติ โซลูชันที่มีอยู่เช่น Hyper-Connections (HC) พยายามเพิ่มประสิทธิภาพด้วยการสร้างเส้นทางการเชื่อมต่อที่ซับซ้อนมากขึ้นระหว่างเลเยอร์ แต่บ่อยครั้งก็ต้องแลกมาด้วยการเสียสละคุณสมบัติสำคัญของ "identity mapping" ที่ช่วยให้การฝึกฝนมีเสถียรภาพ บางครั้งขยายสัญญาณด้วยปัจจัยเกือบ 3000 เท่า และนำไปสู่ความแตกต่างในการฝึกฝน

กลไกทางเทคนิคหลัก

• นวัตกรรมหลัก: การฉายเมทริกซ์ Hyper-Connection (HC) ลงบน แมนิโฟลด์ของเมทริกซ์ Doubly Stochastic (Birkhoff polytope)
• คุณสมบัติที่ได้:
  1. การอนุรักษ์พลังงาน: แถวและคอลัมน์ทั้งหมดรวมกันได้ 1 ป้องกันการขยาย/ลดทอนสัญญาณ
  2. ความเสถียรแบบปิด: คุณสมบัติความเสถียรได้รับการรักษาไว้ในหลายชั้นของเครือข่าย
  3. ความสามารถในการตีความเชิงเรขาคณิต: แสดงถึงการรวมเชิงเส้นนูนของเมทริกซ์การเรียงสับเปลี่ยน ช่วยในการหลอมรวมคุณลักษณะ
• อัลกอริทึม: บรรลุผลโดยใช้อัลกอริทึม Sinkhorn-Knopp สำหรับการฉาย

วิธีแก้ของ DeepSeek: การจำกัดการเชื่อมต่อบนแมนิโฟลด์

สถาปัตยกรรม mHC ที่ DeepSeek เสนอเข้ามาโจมตีความไม่เสถียรนี้ที่รากเหง้าโดยตรง นวัตกรรมหลักไม่ใช่การเพิ่มการเชื่อมต่อ แต่เป็นการจำกัดการเชื่อมต่ออย่างชาญฉลาด นักวิจัยได้นำกรอบงาน Hyper-Connections ที่ทรงพลังแต่ควบคุมยากมา และกำหนด "ข้อจำกัดทางคณิตศาสตร์" หรือ "manifold constraint" ลงไป โดยเฉพาะอย่างยิ่ง พวกเขาฉายเมทริกซ์การเชื่อมต่อลงบนพื้นที่ของเมทริกซ์ "doubly stochastic" ซึ่งเป็นโครงสร้างทางคณิตศาสตร์ที่แถวและคอลัมน์ทั้งหมดรวมกันได้หนึ่ง ข้อจำกัดที่สง่างามนี้บังคับใช้การอนุรักษ์พลังงานภายในเครือข่าย สัญญาณจะไม่ถูกขยายหรือลดทอนโดยเทียมเมื่อผ่านเลเยอร์ต่างๆ มันคืนคุณสมบัติการทำแผนที่เอกลักษณ์ที่เสถียรของเครือข่ายเรซิดวลแบบคลาสสิกได้อย่างมีประสิทธิภาพ ในขณะที่ยังคงพลังในการแสดงออกที่เพิ่มขึ้นของโทโพโลยีที่ซับซ้อนกว่าไว้

ประสิทธิภาพที่พิสูจน์แล้วและประสิทธิภาพเชิงปฏิบัติ

ผลลัพธ์ ตามที่ระบุไว้ในเอกสารวิจัย น่าสนใจเป็นอย่างยิ่ง ในการทดสอบกับโมเดลขนาด 27 พันล้านพารามิเตอร์ mHC แสดงให้เห็นถึงความเสถียรในการฝึกฝนที่น่าทาย โดยที่วิธีการ HC แบบดั้งเดิมล้มเหลว โดยมีการขยายสัญญาณถูกควบคุมให้อยู่ที่ปัจจัยใกล้เคียงอุดมคติที่ 1.6 เท่า เมื่อเทียบกับ 3000 เท่าของ HC ความเสถียรนี้แปลเป็นประสิทธิภาพที่เหนือกว่าโดยตรง ในเกณฑ์มาตรฐานที่ท้าทายเช่น Big-Bench Hard (BBH) และ DROP mHC ทำได้ดีกว่าโมเดลพื้นฐานและโมเดล HC อย่างมีนัยสำคัญ โดยแสดงให้เห็นถึงการปรับปรุงสูงสุดถึง 2.3 เปอร์เซ็นต์ จุดสำคัญสำหรับการนำไปใช้ในโลกแห่งความเป็นจริง ทีมของ DeepSeek ได้ออกแบบระบบเพื่อประสิทธิภาพ ผ่านการหลอมรวมเคอร์เนล การคำนวณซ้ำ และการปรับปรุงการสื่อสาร วิธีการ mHC สร้างค่าใช้จ่ายเพิ่มเติมในการฝึกฝนเพียง 6.7% เท่านั้น ทำให้เป็นตัวเลือกที่ใช้งานได้จริงสำหรับการฝึกฝนในระดับใหญ่

การเปรียบเทียบประสิทธิภาพ (โมเดล 27B)

ผลกระทบต่อภูมิทัศน์ AI

การเผยแพร่เอกสาร mHP ไม่ใช่แค่การเปิดเผยข้อมูลทางเทคนิคเท่านั้น แต่อาจเป็นการเปลี่ยนแปลงเชิงกลยุทธ์ในการแข่งขันพัฒนา AI DeepSeek ซึ่งมีชื่อเสียงจากการสร้างโมเดล R1 ที่สามารถแข่งขันได้ด้วยต้นทุนเพียงเศษเสี้ยวของที่คาดไว้ กำลังสนับสนุนพลังของความฉลาดทางอัลกอริธึมเหนือพลังการคำนวณแบบ brute force อีกครั้ง ด้วยการให้เส้นทางในการฝึกฝนโมเดลที่เสถียรและมีประสิทธิภาพสูงได้อย่างมีประสิทธิภาพมากขึ้น mHC อาจลดอุปสรรคในการเข้าสู่การวิจัย AI ขั้นแนวหน้า ศักยภาพในการทำให้เป็นประชาธิปไตยนี้ถูกขยายด้วยข้อเท็จจริงที่ว่างานวิจัยนี้มีให้ใช้งานแบบเปิดบน arXiv ทำให้นักพัฒนาทั่วโลกสามารถทดลองและสร้างต่อบนกรอบงานนี้ได้ มันยังเป็นคำใบ้ถึงทิศทางทางเทคโนโลยีของโมเดลรุ่นต่อไปของ DeepSeek อย่าง R2 ซึ่งการเปิดตัวในกลางปี 2025 ถูกเลื่อนออกไปตามรายงาน เนื่องจากปัญหาด้านประสิทธิภาพและความท้าทายในการเข้าถึงฮาร์ดแวร์

ทิศทางใหม่สำหรับสถาปัตยกรรมประสาทเทียม

ทีม DeepSeek สรุปว่า mHC ไม่ใช่แค่การปรับปรุงเพิ่มเติม แต่เป็นกรอบงานที่ "อาจช่วยชี้ไปยังทิศทางใหม่สำหรับวิวัฒนาการของสถาปัตยกรรมพื้นฐานรุ่นต่อไป" ด้วยการเชื่อมโยงการออกแบบโทโพโลยีกับความเสถียรของการปรับให้เหมาะสมอย่างเข้มงวด งานวิจัยนี้ทำให้การศึกษาด้วยโครงสร้างเครือข่ายประสาทเทียมในระดับมหภาคมีชีวิตชีวาขึ้นอีกครั้ง ซึ่งเป็นพื้นที่ที่บางครั้งถูกบดบังด้วยงานเกี่ยวกับการขยายขนาดและข้อมูล แนวทางแบบ manifold-constrained เปิดประตูสู่การสำรวจพื้นที่ทางคณิตศาสตร์อื่นๆ ที่ออกแบบมาเฉพาะสำหรับวัตถุประสงค์การเรียนรู้เฉพาะทาง สัญญาณถึงอนาคตที่ความสามารถในการขยายขนาดของโมเดลถูกควบคุมโดยหลักการทางวิศวกรรมที่แม่นยำ แทนที่จะเป็นต้นทุนที่สูงลิ่ว ขณะที่วงการ AI เข้าสู่ปี 2026 "ของขวัญ" ปีใหม่ของ DeepSeek ให้กับชุมชนวิจัยอาจเป็นพิมพ์เขียวสำหรับยุคแห่ง AI ขนาดใหญ่ที่เสถียรและเข้าถึงได้มากขึ้น