เซิร์ฟเวอร์พรีพรินต์ทางวิชาการ arXiv ได้ดำเนินการเปลี่ยนแปลงนโยบายที่สำคัญสำหรับหมวดหมู่วิทยาการคอมพิวเตอร์ โดยกำหนดให้บทความปริทัศน์และเอกสารแสดงจุดยืนต้องผ่านกระบวนการทบทวนโดยเพื่อนระดับเดียวกัน (peer review) จากวารสารหรือการประชุมวิชาการที่ประสบความสำเร็จก่อนจึงจะส่งมายังเซิร์ฟเวอร์ได้ การเคลื่อนไหวนี้ ซึ่งประกาศในช่วงปลายปี 2024 เกิดขึ้นในขณะที่แพลตฟอร์มกำลังเผชิญกับปริมาณเนื้อหาคุณภาพต่ำที่ไหลบ่าเข้ามาอย่างควบคุมไม่ได้ และถูกขยายผลโดยโมเดลภาษาขนาดใหญ่ (large language models)
แม้ว่า arXiv จะเน้นย้ำว่านี่ไม่ใช่การเปลี่ยนแปลงนโยบายอย่างเป็นทางการ แต่เป็นการบังคับใช้แนวทางที่มีอยู่เดิมอย่างเข้มงวดขึ้น ชุมชนวิชาการก็ได้เกิดการอภิปรายอย่างกว้างขวางเกี่ยวกับสิ่งที่สิ่งนี้หมายถึงสำหรับอนาคตของการสื่อสารทางวิชาการในยุคของเนื้อหาที่สร้างโดย AI
ปัญหาหลัก: LLMs ท่วม arXiv ด้วยเนื้อหาคุณภาพต่ำ
ผู้ดูแล arXiv ในสาขาวิทยาการคอมพิวเตอร์พบว่าตนเองกำลังจมอยู่กับบทความปริทัศน์และเอกสารแสดงจุดยืนหลายร้อยเรื่องต่อเดือน โดยจำนวนมากดูเหมือนจะเป็นงานคุณภาพต่ำที่สร้างขึ้นโดย AI เอกสารเหล่านี้โดยทั่วไปมักไม่มีอะไรมากไปกว่าบรรณานุกรมที่มีคำอธิบายประกอบ โดยขาดการอภิปรายอย่างมีนัยสำคัญเกี่ยวกับประเด็นวิจัยที่ยังเปิดอยู่หรือข้อคิดเห็นใหม่ๆ ผู้ดูแลแพลตฟอร์มซึ่งเป็นอาสาสมัคร ซึ่งก่อนหน้านี้ยอมรับบทความปริทัศน์คุณภาพสูงได้ตามดุลยพินิจ ไม่สามารถจัดการกับปริมาณที่มากเกินไปได้อีกต่อไป ในขณะที่ยังคงรักษาพันธกิจหลักในการแบ่งปันงานวิจัยที่ถูกต้องตามหลักวิชาอย่างรวดเร็ว
ชุมชนตระหนักว่านี่เป็นการตอบสนองที่สมเหตุสมผลต่อปัญหาที่ทวีความรุนแรงขึ้น ดังที่ผู้แสดงความคิดเห็นหนึ่งระบุว่า LLMs จะยินดีสร้างบทความประเภทนี้ [ทั้งเอกสารแสดงจุดยืนและบทความปริทัศน์] เพราะพวกมันไม่ต้องการการมีส่วนร่วมทางเทคนิค, โค้ดที่ทำงานได้, ผลลัพธ์ที่ผ่านการตรวจสอบ ฯลฯ สิ่งนี้สร้างพายุที่สมบูรณ์แบบซึ่งการสร้างเนื้อหาที่ดูเป็นวิชาการกลายเป็นเรื่องง่ายดาย และทำให้ระบบที่สร้างขึ้นบนสมมติฐานเกี่ยวกับความตั้งใจดีของผู้เขียนต้องรับมือไม่ไหว
สถิติการส่งบทความไปยัง arXiv (ตุลาคม 2024)
- จำนวนบทความที่ส่งเข้ามาทั้งหมด: 26,000 บทความ
- หมวดหมู่ Computer Science: มีปริมาณการส่งบทความสูงสุด
- บทความรีวิว/บทความแสดงจุดยืน: ได้รับหลายร้อยบทความต่อเดือน
ชุมชนแตกออกเป็นสองฝ่ายเกี่ยวกับแนวทางแก้ไขและผลกระทบ
ปฏิกิริยาต่อนโยบายใหม่ของ arXiv เผยให้เห็นความแตกแยกอย่างลึกซึ้งภายในชุมชนวิชาการ บางฝ่ายตบมือให้กับการเคลื่อนไหวครั้งนี้ในฐานะการควบคุมคุณภาพที่จำเป็น ในขณะที่บางฝ่ายกังวลเกี่ยวกับผลกระทบที่ไม่ได้ตั้งใจต่อนักวิจัยที่ทำวิจัยอย่างถูกต้อง
ผู้สนับสนุนโต้แย้งว่าสิ่งนี้จะช่วยรักษาคุณค่าของ arXiv ในฐานะแหล่งข้อมูล arXiv ต้องประสบกับบทความคุณภาพต่ำที่เขียนเพื่อโปรโมทตัวเองในสาขา CS มานานแล้ว ผู้แสดงความคิดเห็นหนึ่งตั้งข้อสังเกต โดยชี้ให้เห็นว่าปัญหามีมาก่อนยุค LLM แต่ถูกทำให้รุนแรงขึ้นอย่างมากจากพวกมัน การเปลี่ยนแปลงนี้ควรช่วยให้ผู้อ่านพบเนื้อหาที่มีคุณค่า ในขณะที่ปลดปล่อยผู้ดูแลให้มุ่งเน้นไปที่เอกสารวิจัยที่ก้าวหน้าทางการค้นพบทางวิทยาศาสตร์
อย่างไรก็ตาม ผู้วิจารณ์แสดงความกังวลว่าการเปลี่ยนแปลงนี้จะทำให้การเผยแพร่ที่รวดเร็ว ซึ่งเป็นจุดแข็งของเซิร์ฟเวอร์พรีพรินต์ ช้าลง ส่วนหนึ่งของข้อได้เปรียบของ arXiv คือคุณสามารถมีเอกสารเป็นพรีพรินต์ได้ทันที ผู้แสดงความคิดเห็นหนึ่งชี้ให้เห็น โดยเน้นย้ำว่าการบังคับให้ต้องได้รับการยอมรับจากวารสารหรือการประชุมวิชาการก่อน นำมาซึ่งความล่าช้าที่มีนัยสำคัญ บางคนกังวลว่านี่แค่ผลักดันปัญหาจุดติดขัดในการส่งไปยังการประชุมและวารสารที่รับงานล้นมืออยู่แล้ว
แนวทางแก้ไขทางเลือกที่ชุมชนเสนอ
การอภิปรายนี้ได้จุดประกายให้เกิดการคิดอย่างสร้างสรรค์เกี่ยวกับวิธีการจัดการกับปัญหาพื้นฐาน ผู้แสดงความคิดเห็นหลายคนเสนอระบบชื่อเสียง (reputation system) ที่นักวิจัยสามารถให้การรับรองบทความได้ สร้างทางเลือกแบบ เว็บแห่งความไว้วางใจ (web-of-trust) แทนที่การทบทวนโดยเพื่อนระดับเดียวกันแบบดั้งเดิม บางคนแนะนำให้มีค่าธรรมเนียมการส่งเล็กน้อยเพื่อยับยั้งสแปม หรือแม้แต่บทลงโทษทางอาญาสำหรับสิ่งพิมพ์ที่สร้างโดย AI โดยไม่เปิดเผย
ฉันเคยคาดหวังว่าจะมีระบบเว็บแห่งความไว้วางใจมาแทนที่การทบทวนโดยเพื่อน ใครๆ ก็สามารถรับรองบทความได้ คุณสามารถตัดสินใจได้ว่าคุณเชื่อถือผู้รับรองคนไหน และใช้คณิตศาสตร์เครือข่ายเพื่อค้นหาสิ่งที่คุณคิดว่าควรอ่าน
ข้อเสนอระบบการรับรองสะท้อนให้เห็นถึงความต้องการที่กว้างขึ้นสำหรับการประเมินคุณภาพแบบกระจายศูนย์ ถึงแม้ว่าผู้วิจารณ์จะชี้ให้เห็นอย่างรวดเร็วถึงช่องโหว่ต่อการสร้างเครือข่ายการอ้างอิงแบบวงปิดและเครือข่ายผู้รับรองปลอม ความท้าทายพื้นฐานยังคงอยู่ที่การแยกแยะระหว่างความเชี่ยวชาญของมนุษย์และเนื้อหาที่สร้างโดย AI ซึ่งมีลักษณะผิวเผินคล้ายคลึงกับงานวิชาการ
ผลกระทบในวงกว้างต่อการตีพิมพ์ทางวิชาการ
การเปลี่ยนแปลงนโยบายครั้งนี้เป็นสัญญาณของช่วงเวลาสำคัญสำหรับการตีพิมพ์ทางวิชาการ ขณะที่มันปรับตัวเข้ากับเทคโนโลยี AI แม้ว่าขณะนี้จะจำกัดอยู่เพียงหมวดหมู่ CS ของ arXiv แต่การประกาศระบุว่าหมวดหมู่อื่นๆ อาจปฏิบัติตามหากประสบปัญหาการส่งงานที่ไหลบ่าจาก LLM ในลักษณะเดียวกัน สถานการณ์นี้เน้นย้ำว่าอุปกรณ์ AI กำลังบังคับให้มีการทบทวนแนวปฏิบัติและกลไกการควบคุมคุณภาพทางวิชาการที่มีมาอย่างยาวนานอีกครั้ง
ความตึงเครียดหลักอยู่ระหว่างการเผยแพร่แบบเปิดและการประกันคุณค่า arXiv สร้างชื่อเสียงมาจากการเปิดให้แบ่งปันงานวิจัยอย่างรวดเร็วก่อนการทบทวนโดยเพื่อนระดับเดียวกันอย่างเป็นทางการ แต่ตอนนี้ต้องเผชิญกับความเป็นจริงที่ความเปิดกว้างนี้สามารถถูกใช้ประโยชน์โดยเนื้อหาที่สร้างโดย AI ดังที่ผู้แสดงความคิดเห็นหนึ่งกล่าวไว้อย่างกระชับว่า พวกสแปมเมอร์ทำลายทุกสิ่ง นี่ทำให้พวกสแปมเมอร์มีตัวคูณกำลัง
ชุมชนวิชาการตอนนี้เผชิญกับความท้าทายในการพัฒนาระบบใหม่ที่รักษาข้อดีของพรีพรินต์แบบเปิด ในขณะที่นำมาตรการป้องกันที่มีประสิทธิภาพต่อเนื้อหาที่สร้างโดย AI ไม่ว่าจะเป็นผ่านทางแนวทางแก้ไขด้วยเทคโนโลยี การเปลี่ยนแปลงนโยบาย หรือการเปลี่ยนแปลงทางวัฒนธรรม การสนทนาที่จุดประกายโดยการตัดสินใจของ arXiv มีแนวโน้มที่จะกำหนดทิศทางการตีพิมพ์ทางวิชาการไปอีกหลายปีข้างหน้า
การทดสอบครั้งสุดท้ายจะอยู่ที่ว่ามาตรการเหล่านี้จะสามารถกรองเนื้อหา AI คุณภาพต่ำออกไปได้สำเร็จหรือไม่ โดยไม่เป็นการกีดขวางนักวิจัยที่ทำวิจัยอย่างถูกต้องโดยไม่สมควร โดยเฉพาะผู้ที่อยู่นอกสถาบันวิชาการแบบดั้งเดิมซึ่งได้รับประโยชน์สูงสุดจากแพลตฟอร์มการตีพิมพ์แบบเปิด
อ้างอิง: Attention Authors: Updated Practice for Review Articles and Position Papers in arXiv CS Category