ความพยายามอย่างทะเยอทะยานของนักคณิตศาสตร์ในการสร้างการทดสอบที่เข้มงวดสำหรับความสามารถทางคณิตศาสตร์ของปัญญาประดิษฐ์ได้เผชิญกับอุปสรรคสำคัญ ซึ่งเน้นย้ำถึงการถกเถียงที่ยังคงดำเนินต่อไปเกี่ยวกับความสามารถในการแก้ปัญหาที่แท้จริงของ AI เทียบกับการจับคู่รูปแบบ
โครงการนี้เปิดตัวโดยนักวิจัยที่ต้องการก้าวข้ามความโอ้อวดของ AI มีเป้าหมายในการรวบรวมฐานข้อมูลลับของปัญหาทฤษฎีจำนวนที่ท้าทายซึ่งจะทดสอบอย่างแท้จริงว่าระบบ AI สามารถคิดทางคณิตศาสตร์ในระดับการวิจัยได้หรือไม่ เป้าหมายคือการแยกแยะระหว่างการใช้เหตุผลทางคณิตศาสตร์ที่แท้จริงกับการจดจำรูปแบบที่ซับซ้อนซึ่งเป็นลักษณะเฉพาะของประสิทธิภาพ AI ในปัจจุบัน
ข้อกำหนดเป้าหมาย: ปัญหาทฤษฎีจำนวนระดับการวิจัยอย่างน้อย 20 ข้อ โดยคำตอบเป็นจำนวนเต็ม และต้องการความรู้ระดับปริญญาเอกที่ไม่ได้สอนให้นักศึกษาปริญญาตรี
ความท้าทายหลัก: การจับคู่รูปแบบเทียบกับความเข้าใจที่แท้จริง
ปัญหาพื้นฐานที่ขับเคลื่อนการทดลองนี้เกิดจากความสงสัยเกี่ยวกับความเชี่ยวชาญทางคณิตศาสตร์ของ AI แม้ว่าระบบ AI จะสามารถจัดการกับคณิตศาสตร์ระดับปริญญาตรีได้อย่างมีประสิทธิภาพ แต่นักวิจารณ์โต้แย้งว่าความสำเร็จนี้มาจากการจับคู่รูปแบบอย่างชาญฉลาดมากกว่าความเข้าใจทางคณิตศาสตร์ที่แท้จริง ประสิทธิภาพ AI ในปัจจุบันสำหรับงานทางคณิตศาสตร์มักอาศัยการจดจำประเภทปัญหาที่คุ้นเคยและการใช้รูปแบบการแก้ปัญหาที่จำได้
ข้อจำกัดนี้เห็นได้ชัดเจนเป็นพิเศษเมื่อระบบ AI เผชิญกับเอกสารทางคณิตศาสตร์ขั้นสูง การสนทนาในชุมชนเผยให้เห็นว่า AI ล้มเหลวอย่างสิ้นเชิงเมื่อถูกขอให้ให้คำอธิบายประกอบโดยละเอียดหรือตัวอย่างตัวเลขสำหรับการวิจัยทางคณิตศาสตร์ที่ซับซ้อน โดยเฉพาะเมื่อไม่มีคำอธิบายที่คล้ายกันอยู่ออนไลน์สำหรับระบบให้อ้างอิง
ปัญหาการสร้างฐานข้อมูลและการตอบสนองของอุตสาหกรรม
แผนเดิมเรียกร้องให้รวบรวมปัญหาทฤษฎีจำนวนระดับการวิจัยอย่างน้อย 20 ข้อ โดยบริษัท AI รายใหญ่แต่ละแห่งได้รับอนุญาตให้ลองแก้ปัญหาได้หนึ่งครั้ง อย่างไรก็ตาม ตามข้อเสนอแนะจากชุมชน โครงการนี้ล้มเหลวในการรวบรวมปัญหาที่เพียงพอและถูกยกเลิกในที่สุดหลังจากประมาณหกเดือน
ความท้าทายนี้เน้นย้ำถึงปัญหาการทดสอบที่สำคัญ: เมื่อคำถามทางคณิตศาสตร์เปิดเผยต่อสาธารณะผ่านการประเมิน AI แล้ว คำถามเหล่านั้นจะเสียหายและไม่สามารถใช้สำหรับการประเมินในอนาคตได้ สิ่งนี้สร้างข้อจำกัดพื้นฐานสำหรับความพยายามในการประเมินคณิตศาสตร์ AI ที่ดำเนินต่อไป
ไทม์ไลน์ของโครงการ: การเรียกรับปัญหาเบื้องต้นในช่วงปลายเดือนมกราคม 2025 โดยมีกำหนดปิดรับสมัครวันที่ 28 กุมภาพันธ์ 2025 โครงการถูกยกเลิกหลังจากผ่านไปประมาณ 6 เดือน เนื่องจากมีการส่งปัญหาเข้ามาไม่เพียงพอ
ผลกระทบที่กว้างขึ้นต่อความสามารถทางคณิตศาสตร์ของ AI
การทดลองที่ล้มเหลวสะท้อนถึงคำถามที่ใหญ่กว่าเกี่ยวกับบทบาทของ AI ในการวิจัยคณิตศาสตร์ แม้ว่าเทคโนโลยีจะแสดงให้เห็นความหวังในการเร่งความเร็วในด้านต่างๆ ของงานทางคณิตศาสตร์ แต่ก็ยังไม่สามารถทดแทนความเข้าใจและความคิดสร้างสรรค์ทางคณิตศาสตร์ของมนุษย์ได้
การอ่านเอกสาร การให้ตัวอย่างตัวเลขของสิ่งที่เอกสารระบุ และการให้สรุปภาษาธรรมดาสำหรับส่วนที่หนาแน่นที่สุด ควรเป็นสิ่งที่ระบบประมวลผลภาษาทำได้ดีที่สุด เราไม่ได้ขอให้มันคิดแนวคิดต้นฉบับแม้แต่ตรงนี้
ชุมชนคณิตศาสตร์ยังคงแบ่งแยกเกี่ยวกับผลกระทบที่อาจเกิดขึ้นของ AI บางคนเห็นคุณค่าใน AI ในฐานะเครื่องมือเร่งการวิจัย ในขณะที่คนอื่นๆ ตั้งคำถามว่าแนวทางปัจจุบันจะสามารถบรรลุการใช้เหตุผลทางคณิตศาสตร์ที่แท้จริงได้หรือไม่ มากกว่าการเลียนแบบที่ซับซ้อน
ความท้าทายที่ถูกยกเลิกนี้เป็นเครื่องเตือนใจว่าแม้จะมีความก้าวหน้าที่น่าประทับใจในความสามารถของ AI แต่ยังคงมีช่องว่างสำคัญระหว่างประสิทธิภาพในปัจจุบันกับการคิดทางคณิตศาสตร์เชิงลึกที่ขับเคลื่อนการค้นพบในการวิจัย ขณะที่ AI ยังคงพัฒนาต่อไป ชุมชนคณิตศาสตร์ยังคงแสวงหาวิธีที่ดีกว่าในการประเมินความสามารถในการใช้เหตุผลที่แท้จริงเทียบกับความเชี่ยวชาญในการจดจำรูปแบบ
อ้างอิง: Xena