การทดลองของนักพัฒนาคนหนึ่งกับ GPT-5-Codex สำหรับงานวิจัย AI ได้จุดประกายการถกเถียงเกี่ยวกับความสามารถและข้อจำกัดปัจจุบันของการวิจัยที่มี AI เป็นผู้ช่วย โครงการนี้เกี่ยวข้องกับการฝึกโมเดลภาษาขนาดเล็กภายในกรอบเวลาห้านาที เผยให้เห็นทั้งศักยภาพและขอบเขตของเครื่องมือ AI ปัจจุบัน
โครงสร้างต้นทุน:
- การใช้งาน GPT-5-Codex : 200 ดอลลาร์สหรัฐต่อเดือนสำหรับการวิจัยเชิงลึก
- การใช้โทเค็น: ต้องรีสตาร์ททุกหนึ่งล้านโทเค็น
- ข้อจำกัดเวลาการฝึก: สูงสุด 5 นาทีสำหรับการฝึกโมเดล
การตรวจสอบความเป็นจริง: งานวิจัยระดับมือสมัครเล่นเทียบกับระดับมืออาชีพ
การตอบสนองจากชุมชนเน้นย้ำถึงความแตกต่างที่สำคัญซึ่งการทดลองเดิมมองข้ามไป ผู้ปฏิบัติงานที่มีประสบการณ์หลายคนชี้ให้เห็นว่าการเปรียบเทียบนั้นไม่มีความหมายเท่าไหร่ เนื่องจากเป็นการแข่งขันระหว่างบุคคลที่ไม่มีพื้นฐานการวิจัย AI อย่างเป็นทางการกับระบบ AI ในงานที่ค่อนข้างง่าย งานที่อธิบายถูกจัดให้อยู่ในระดับของนักศึกษาปริญญาตรีที่เรียนวิชาการประมวลผลภาษาธรรมชาติเป็นครั้งแรก มากกว่าการวิจัยที่แท้จริง
การสังเกตนี้ทำให้เกิดคำถามสำคัญเกี่ยวกับวิธีที่เราประเมินความสามารถของ AI เมื่อเครื่องมือ AI มีประสิทธิภาพเหนือกว่ามือสมัครเล่นในสาขาเฉพาะทาง ไม่ได้หมายความจำเป็นว่างานระดับมืออาชีพจะตกอยู่ในความเสี่ยง แต่บ่งบอกว่า AI ปัจจุบันมีประสิทธิภาพสูงสุดในการยกระดับพื้นฐาน - ช่วยให้ผู้เริ่มต้นบรรลุความสามารถขั้นพื้นฐานได้เร็วขึ้น
การเปรียบเทียบผลลัพธ์ทางเทคนิค:
- วิธีการแบบแมนนวลเดิม: transformer พารามิเตอร์ 1.8M, perplexity 9+
- ผลลัพธ์ที่ดีที่สุดด้วยความช่วยเหลือของ AI: perplexity 8.53 (3 layers, 4 heads, 1441 dimension)
- วิธี N-gram distillation: ผลลัพธ์เชิงคุณภาพที่ดีที่สุดพร้อมโครงสร้างเรื่องราวที่สอดคล้องกัน
- วิธี Shallow fusion: perplexity 7.38 แต่คุณภาพข้อความแย่
ผลกระทบทางเศรษฐกิจของงานที่มี AI เป็นผู้ช่วย
ความกังวลที่สำคัญเกิดขึ้นเกี่ยวกับผลกระทบทางเศรษฐกิจของเครื่องมือเหล่านี้ สมาชิกชุมชนแสดงความกังวลเกี่ยวกับการลดค่าของทักษะและการแทนที่งาน โดยเฉพาะสำหรับผู้เชี่ยวชาญที่อยู่ในช่วงกลางอาชีพ การอภิปรายเผยให้เห็นความวิตกกังวลเกี่ยวกับสถานการณ์ที่ผู้บริหารอาจลดขนาดทีมโดยอิงจากการรับรู้ถึงการเพิ่มประสิทธิภาพจาก AI ในขณะที่พนักงานที่เหลือต้องเผชิญกับภาระงานที่เพิ่มขึ้นในการตรวจสอบโค้ดที่ AI สร้างขึ้น แทนที่จะได้ทำงานแก้ปัญหาเชิงสร้างสรรค์
บางคนมองว่าเป็นวิธีกำจัดปัญหายากเพื่อให้พวกเขาได้โฟกัสกับงานน่าเบื่อ คุณรักการเขียนโค้ด แต่เกลียดการตรวจสอบโค้ดใช่ไหม? เดาสิว่าตอนนี้คุณจะได้ทำอะไรมากขึ้น!
ค่าใช้จ่าย 200 ดอลลาร์สหรัฐ ต่อเดือนสำหรับการใช้งาน AI อย่างเข้มข้นยังเน้นย้ำถึงความกังวลเรื่องการเข้าถึง บ่งบอกว่าการวิจัยที่มี AI เป็นผู้ช่วยอย่างมีประสิทธิภาพอาจกลายเป็นสิทธิพิเศษที่มีให้เฉพาะบุคคลหรือองค์กรที่มีเงินทุนเพียงพอเท่านั้น
ข้อจำกัดทางเทคนิคและปัญหาความไว้วางใจ
การทดลองเผยให้เห็นข้อจำกัดทางเทคนิคหลายประการที่ผู้ใช้ที่มีประสบการณ์เคยพบเจอในเครื่องมือวิจัย AI ที่แตกต่างกัน หลายคนรายงานว่าระบบ AI ทำงานได้ดีในตอนแรก แต่ในที่สุดก็จะติดขัดและต้องการการแทรกแซงและการแก้ไขจากมนุษย์ รูปแบบนี้บ่งบอกว่าเครื่องมือ AI ปัจจุบันมีประสิทธิภาพสูงสุดสำหรับการตั้งค่าและการสำรวจเบื้องต้น มากกว่าการแก้ปัญหาที่ซับซ้อนอย่างต่อเนื่อง
ความไว้วางใจกลายเป็นประเด็นสำคัญอีกประการหนึ่ง โดยเฉพาะกับระบบวิจัย AI ที่มีการเข้าถึงแหล่งข้อมูลบางอย่างอย่างจำกัด หรือแสดงความสามารถในการให้เหตุผลที่ไม่สม่ำเสมอ ผู้ใช้สังเกตเห็นปัญหาเกี่ยวกับระบบ AI ที่นำแหล่งข้อมูลที่ไม่น่าเชื่อถือมาใช้ หรือไม่สามารถแยกแยะระหว่างข้อมูลทางวิทยาศาสตร์ที่ถูกต้องกับวิทยาศาสตร์เทียม โดยเฉพาะในสาขาเช่นสุขภาพและการแพทย์
ขั้นตอนการทำงานของการวิจัย AI:
- Codex ปรับแก้สคริปต์การฝึกอบรมและทำการทดลอง 3-4 ครั้ง (~20 นาที)
- AI เสนอแนะแนวทาง 2-3 วิธีถัดไปตามผลลัพธ์ที่ได้
- มนุษย์เลือกแนวทางหรือบางครั้งเสนอทางเลือกอื่น
- กระบวนการทำซ้ำพร้อมการปรึกษา GPT-5-Pro เป็นระยะ
อนาคตของการวิจัยที่มี AI เป็นผู้ช่วย
แม้จะมีข้อจำกัด ผู้ปฏิบัติงานบางคนรายงานประสบการณ์เชิงบวกกับการเขียนโค้ดตามอารมณ์และเวิร์กโฟลว์การวิจัยที่มี AI เป็นผู้ช่วย กุญแจสำคัญดูเหมือนจะอยู่ที่การเข้าใจเครื่องมือเหล่านี้ในฐานะตัวเพิ่มประสิทธิภาพสำหรับงานเฉพาะ มากกว่าตัวทดแทนความเชี่ยวชาญเชิงลึก การประยุกต์ใช้ที่ประสบความสำเร็จมากที่สุดดูเหมือนจะเกี่ยวข้องกับการใช้ AI สำหรับการสร้างต้นแบบอย่างรวดเร็ว การปรับพารามิเตอร์ และการจัดการงานเขียนโค้ดประจำ ในขณะที่มนุษย์โฟกัสไปที่กลยุทธ์ระดับสูงและการตรวจสอบ
การถกเถียงในที่สุดสะท้อนถึงคำถามที่กว้างขึ้นเกี่ยวกับการพัฒนาและการนำ AI ไปใช้ ในขณะที่เครื่องมือปัจจุบันแสดงศักยภาพในการเร่งด้านต่างๆ ของการวิจัยและพัฒนา แต่ยังคงห่างไกลจากความสามารถในการวิจัยอย่างอิสระที่เอกสารการตลาดบางฉบับอาจแนะนำ