โลกของการตีพิมพ์ทางวิชาการกำลังเผชิญกับพายุใหญ่ อัตราการตอบรับที่ต่ำในการประชุมวิชาการ AI ชั้นนำกำลังสร้างคำขอส่งบทความที่ค้างเป็นจำนวนมหาศาล ในขณะที่เครื่องมือปัญญาประดิษฐ์ทำให้การสร้างบทความวิจัยที่น่าสงสัยง่ายขึ้นกว่าเดิม การรวมกันของปัจจัยเหล่านี้กำลังผลักดันระบบการตรวจสอบโดยผู้เชี่ยวชาญแบบดั้งเดิมให้ถึงจุดแตกหัก
คณิตศาสตร์เบื้องหลังความวุ่นวาย
การวิเคราะห์ล่าสุดเผยให้เห็นรูปแบบที่น่าเป็นห่วงในการประชุมวิชาการด้านวิทยาการคอมพิวเตอร์ เมื่ออัตราการตอบรับลดลงจาก 35% เป็น 20% จำนวนการส่งบทความทั้งหมดไม่ได้ลดลง แต่กลับเพิ่มขึ้นอย่างมาก สิ่งนี้เกิดขึ้นเพราะบทความที่ถูกปฏิเสธจะถูกส่งซ้ำหลายครั้ง ทำให้เกิดการขยายตัวเทียมของกลุ่มบทความที่ส่งเข้ามา ผลลัพธ์คือการประชุมที่มีการส่งบทความ 20,000+ ฉบับไม่ได้เห็นแนวคิดการวิจัยใหม่ 20,000 แนวคิด แต่เป็นกลุ่มบทความเดิมที่หมุนเวียนในระบบหลายครั้ง
ภาระการตรวจสอบเพิ่มขึ้นแบบเลขชี้กำลัง การประชุมที่ตอบรับ 20% ของการส่งบทความต้องตรวจสอบบทความมากกว่าประมาณห้าเท่าของการประชุมที่ตอบรับจำนวนเดียวกันที่ 35% ความจริงทางคณิตศาสตร์นี้หมายความว่าการลดอัตราการตอบรับไม่ได้ปรับปรุงคุณภาพ แต่เพียงแค่สร้างงานมากขึ้นสำหรับทุกคนที่เกี่ยวข้อง
การวิเคราะห์ผลกระทบของอัตราการยอมรับ
- การลดอัตราการยอมรับจาก 35% เป็น 20% ทำให้ขนาดของกลุ่มผู้ส่งบทความเพิ่มขึ้นประมาณ 46%
- จำนวนบทความที่ได้รับการยอมรับในจำนวนสัมบูรณ์เท่าเดิม โดยไม่คำนึงถึงอัตราการยอมรับ
- ภาระงานการตรวจสอบเพิ่มขึ้นตามสัดส่วนประมาณ N/p (บทความใหม่หารด้วยอัตราการยอมรับ)
- การละทิ้งบทความคุณภาพต่ำเพิ่มขึ้นจากประมาณ 60% เป็น 77% แต่การละทิ้งบทความโดยเฉลี่ยเพิ่มขึ้นจาก 4% เป็น 24%
ปัญหา LLM เริ่มปรากฏ
นักศึกษาปริญญาโทกำลังหันไปใช้โมเดลภาษาขนาดใหญ่เพื่อช่วยเขียนบทความมากขึ้น ซึ่งมักจะให้ผลลัพธ์ที่เลวร้าย ผู้สังเกตการณ์คนหนึ่งสังเกตเห็นนักศึกษาส่งบทความการประชุมที่เต็มไปด้วยเนื้อหาที่แต่งขึ้นทั้งหมดและการอ้างอิงที่ไม่มีอยู่จริง ซึ่งทั้งหมดถูกสร้างโดย AI บทความดูใช้ได้ในแวบแรก แต่พังทลายเมื่อถูกตรวจสอบอย่างละเอียด
ประการแรก โมเดลเหล่านี้ไม่เก่งในการเขียนเชิงเทคนิคเลย พวกมันไม่รู้สึกถึงน้ำหนักของประโยคเดียว พวกมันแค่ชอบพูดพล่าม
ความง่ายในการสร้างเนื้อหาที่ฟังดูน่าเชื่อแต่ไร้ค่าทางวิทยาศาสตร์กำลังท่วมท้นการประชุมด้วยการส่งบทความคุณภาพต่ำ สิ่งนี้สร้างวงจรอุบาทว์ที่ผู้ตรวจสอบมนุษย์ถูกครอบงำและให้การตรวจสอบคุณภาพต่ำลง ซึ่งจะทำให้กระบวนการตอบรับมีความสุ่มมากขึ้นและบังคับให้ผู้เขียนส่งบทความมากขึ้นเพื่อเพิ่มโอกาสของพวกเขา
 |
|---|
| ความท้าทายของการเขียนด้วยความช่วยเหลือจาก AI ที่แสดงให้เห็นในบทสนทนาที่มีอารมณ์ขันเกี่ยวกับการส่งงานวิชาการ |
แรงจูงใจในอาชีพขับเคลื่อนวิกฤต
สาเหตุรากฐานขยายเกินเทคโนโลยีไปสู่แรงจูงใจในอาชีพพื้นฐานในสถาบันการศึกษา มหาวิทยาลัยและหน่วยงานให้ทุนยังคงประเมินนักวิจัยหลักจากที่พวกเขาตีพิมพ์มากกว่าสิ่งที่พวกเขาสนับสนุน สิ่งนี้สร้างแรงกดดันให้เป้าหมายเฉพาะสถานที่ที่มีชื่อเสียงที่สุดเท่านั้น โดยไม่คำนึงว่างานนั้นสมควรได้รับการยอมรับในระดับนั้นหรือไม่
คำขวัญหนึ่งบทความต่อปีในมหาวิทยาลัยวิจัยผลักดันนักศึกษาและคณาจารย์ให้แบ่งงานของพวกเขาเป็นหลายสิ่งพิมพ์แทนที่จะมุ่งเน้นไปที่การมีส่วนร่วมที่สำคัญ บทความหลายฉบับในปัจจุบันแสดงถึงสิ่งที่เคยถูกแบ่งปันเป็น repositories โค้ดโอเพ่นซอร์สในอดีต แต่ตอนนี้ต้องการกระบวนการตีพิมพ์ทางวิชาการเต็มรูปแบบเพื่อได้รับการยอมรับ
ขีดจำกัดทางกายภาพพบกับความต้องการดิจิทัล
การประชุมเผชิญกับข้อจำกัดจริงที่แบบจำลองทางคณิตศาสตร์ไม่ได้คำนึงถึง แม้แต่เซสชันโปสเตอร์ก็มีข้อจำกัดด้านพื้นที่ และการสร้างการประชุมระดับท็อปใหม่ตั้งแต่เริ่มต้นใช้เวลาหลายทศวรรษในการสร้างชื่อเสียง ในขณะที่บางคนแนะนำการเรียกเก็บค่าธรรมเนียมการส่งหया การใช้อุปสรรคอื่น ๆ โซลูชันเหล่านี้เสี่ยงต่อการสร้างอุปสรรคทางการเงินสำหรับนักวิจัยจากสถาบันที่มีฐานะไม่ดี
ชุมชนกำลังสำรวจทางเลือกอื่นเช่นการประชุมแบบรวมศูนย์และระบบการตรวจสอบแบบกระจาย แต่การเปลี่ยนแปลงมาช้าในสถาบันการศึกษา ในขณะเดียวกัน คุณภาพของทั้งบทความที่ได้รับการตอบรับและปฏิเสธยังคงได้รับผลกระทบในขณะที่ระบบดิ้นรนภายใต้น้ำหนักของการเติบโตแบบเลขชี้กำลังในการส่งบทความ
พารามิเตอร์ของแบบจำลองการส่งบทความเข้าประชุมวิชาการ
- สมมติว่ามีบทความใหม่ 5,000 บทความต่อรอบการประชุม
- การกระจายคุณภาพบทความ: 15% ดีเยี่ยม, 70% ปานกลาง, 15% แย่
- อัตราส่วนความน่าจะเป็นในการได้รับการยอมรับ: 15:5:1 (ดีเยี่ยม:ปานกลาง:แย่)
- บทความจะถูกยกเลิกหลังจากถูกปฏิเสธ T=6 รอบ
- ระบบจะเข้าสู่สมดุลหลังจาก T+1 การทำซ้ำ
เส้นทางข้างหน้า
โซลูชันที่เป็นไปได้หลายอย่างกำลังเกิดขึ้นจากการอภิปรายของชุมชน การทดลองการตรวจสอบอย่างรวดเร็วนอกการประชุมอย่างเป็นทางการอาจช่วยทำซ้ำในโมเดลใหม่ได้เร็วขึ้น การลดจำนวนผู้ตรวจสอบต่อบทความจาก 4-5 คนปัจจุบันอาจปลดปล่อยเวลาของผู้ตรวจสอบสำหรับการประเมินที่มีความคิดมากขึ้น ที่สำคัญที่สุด ชุมชนวิชาการต้องประเมินอย่างซื่อสัตย์ว่าตนเองให้ค่าและต้องการอะไรจากระบบการตีพิมพ์
วิกฤตปัจจุบันแสดงถึงมากกว่าแค่ความเจ็บปวดในการเติบโต มันเป็นความไม่ตรงกันพื้นฐานระหว่างวิธีการประเมินอาชีพทางวิชาการและวิธีที่ความรู้ทางวิทยาศาสตร์ควรถูกแบ่งปัน จนกว่าแรงจูงใจเหล่านี้จะสอดคล้องกัน ทั้งนักวิจัยมนุษย์และเนื้อหาที่สร้างโดย AI จะยังคงท่วมท้นระบบที่ออกแบบมาสำหรับชุมชนวิทยาศาสตร์ที่เล็กกว่าและมีการร่วมมือมากกว่า
อ้างอิง: Queueing to publish in AI (and CS)