การศึกษาล่าสุดได้ท้าทายความเชื่อที่แพร่หลายว่าเครื่องมือ AI สำหรับเขียนโค้ดช่วยเพิ่มประสิทธิภาพของนักพัฒนา ในขณะที่บริษัทเทคโนโลยียักษ์ใหญ่อย่าง Microsoft อ้างว่าผู้ช่วย AI ของพวกเขากำลังเปลี่ยนแปลงการพัฒนาซอฟต์แวร์ แต่การวิจัยชี้ให้เห็นว่าความเป็นจริงอาจแตกต่างไปจากนั้นสำหรับโปรแกรมเมอร์ที่มีประสบการณ์
กลุ่มวิจัย AI แบบไม่แสวงหากำไร METR ได้ทำการศึกษาอย่างครอบคลุมกับนักพัฒนาโอเพนซอร์สที่มีประสบการณ์ 16 คน โดยแต่ละคนมีประสบการณ์เฉลี่ยมากกว่า 10 ปี พวกเขาไม่ใช่มือใหม่ที่กำลังเรียนรู้การเขียนโค้ด แต่เป็นผู้เชี่ยวชาญที่ทำงานกับการแก้ไขบั๊กและฟีเจอร์จริงในโค้ดเรปอสิทอรีที่พวกเขาคุ้นเคย
ผู้เข้าร่วมการศึกษา: นักพัฒนา open-source ที่มีประสบการณ์ 16 คน โดยมีประสบการณ์เฉลี่ย 10+ ปี
 |
|---|
| นักพัฒนาที่มีประสบการณ์กำลังต่อสู้กับความซับซ้อนของเครื่องมือเขียนโค้ด AI ซึ่งสะท้อนถึงความท้าทายที่เปิดเผยในการศึกษาล่าสุด |
ความขัดแย้งของประสิทธิภาพ
ผลลัพธ์ที่ได้น่าแปลกใจ นักพัฒนาที่ใช้เครื่องมือ AI อย่าง Cursor Pro และ Claude 3.5/3.7 Sonnet ใช้เวลานานขึ้น 19% ในการทำงานให้เสร็จเมื่อเปรียบเทียบกับผู้ที่ทำงานโดยไม่มีความช่วยเหลือจาก AI สิ่งที่ทำให้การค้นพบนี้น่าสนใจยิ่งขึ้นคือนักพัฒนาเองคาดหวังว่า AI จะช่วยให้พวกเขาทำงานเร็วขึ้น 24% ก่อนเริ่มต้น และยังคงเชื่อว่ามันช่วยให้พวกเขาทำงานเร็วขึ้น 20% แม้หลังจากทำการศึกษาเสร็จสิ้นแล้ว
ความไม่สอดคล้องกันระหว่างการรับรู้และความเป็นจริงนี้เน้นย้ำถึงประเด็นสำคัญในการประเมินประสิทธิผลของเครื่องมือ AI ชุมชนได้สังเกตว่าแม้ AI สามารถสร้างโค้ดจำนวนมากได้อย่างรวดเร็ว แต่ต้นทุนที่ซ่อนอยู่มักจะมีน้ำหนักมากกว่าการเพิ่มความเร็วในตอนแรก
ความคาดหวังของนักพัฒนาเทียบกับความเป็นจริง: คาดหวังให้เร็วขึ้น 24% รับรู้ว่าดีขึ้น 20% แต่ความเป็นจริงช้าลง 19%
ต้นทุนเวลาที่ซ่อนอยู่
การศึกษาเผยให้เห็นปัจจัยหลายประการที่ส่งผลให้เกิดความช้าลง ประการแรก นักพัฒนาใช้เวลามากในการสร้างพรอมต์ที่มีประสิทธิภาพสำหรับเครื่องมือ AI การเขียนพรอมต์การเขียนโปรแกรมที่ดีต้องใช้ทักษะและการฝึกฝน ไม่ใช่เรื่องง่ายเหมือนการขอให้ AI เขียนฟังก์ชัน
ประการที่สอง และอาจสำคัญกว่านั้น นักพัฒนาพบว่าตนเองใช้เวลามากในการตรวจสอบโค้ดที่ AI สร้างขึ้นและแก้ไขข้อผิดพลาด ผู้เข้าร่วมคนหนึ่งซึ่งเป็นนักพัฒนา Google Chrome รู้สึกประหลาดใจเป็นพิเศษกับการที่โมเดล AI จัดการกับการใช้งานข้อกำหนดเว็บได้แย่มาก
ประสบการณ์ของผมคือ [AI] สามารถผลิต 80% ได้ในไม่กี่นาที แต่ใช้เวลานานมากในการลบโค้ดที่ซ้ำซ้อน การออกแบบระบบที่แย่หรือไม่มีเลย และการแก้ไขบั๊ก
เครื่องมือ AI ที่ทดสอบ: Cursor Pro และ Claude 3.5/3.7 Sonnet
การแลกเปลี่ยนระหว่างคุณภาพและความเร็ว
การอภิปรายในชุมชนเผยให้เห็นรูปแบบที่ขยายไปเกินกว่าการศึกษาเดียวนี้ การวิจัย DevOps และการประเมินของ Google ในปี 2024 พบปัญหาที่คล้ายกัน แม้ว่าเครื่องมือ AI จะเพิ่มความเร็วในการตรวจสอบโค้ด แต่คุณภาพมักจะแย่เกินไปสำหรับการใช้งานจริง ทีมงานรายงานข้อผิดพลาดมากขึ้นและใช้เวลาเพิ่มเติมในการทำความสะอาดข้อผิดพลาดที่ AI สร้างขึ้น
สิ่งนี้สร้างสิ่งที่นักพัฒนาบางคนเรียกว่าลูปซอมบี้ - วงจรไม่สิ้นสุดที่ AI ผลิตโค้ดที่มีข้อบกพร่อง นักพัฒนาแก้ไข แต่ AI กลับไปทำข้อผิดพลาดที่คล้ายกันหรือสร้างปัญหาใหม่
ผลกระทบในวงกว้าง
การค้นพบนี้ไม่ได้จำกัดอยู่แค่การเขียนโปรแกรมเท่านั้น ปัญหาคุณภาพที่คล้ายกันปรากฏในสาขาต่างๆ ที่มีการนำเครื่องมือ AI มาใช้ ปัญหาหลักดูเหมือนจะเป็นที่ AI เก่งในการผลิตงานที่ดูถูกต้องภายนอก แต่มักจะมีข้อผิดพลาดที่ละเอียดอ่อนหรือข้อบกพร่องในการออกแบบที่ต้องใช้ความรู้ของผู้เชี่ยวชาญในการระบุและแก้ไข
สำหรับผู้เชี่ยวชาญที่มีประสบการณ์ นี่หมายความว่าเครื่องมือ AI ทำงานได้ดีที่สุดเมื่อเป็นเครื่องช่วยมากกว่าการทดแทน พวกมันมีประสิทธิภาพสูงสุดเมื่อคุณรู้แล้วว่าต้องการทำอะไรและสามารถสังเกตได้อย่างรวดเร็วเมื่อ AI หลงทาง อย่างไรก็ตาม สำหรับผู้ใช้ที่มีประสบการณ์น้อยกว่าซึ่งพึ่งพาผลลัพธ์ของ AI อย่างมาก เครื่องมือเหล่านี้อาจสร้างการพึ่งพาที่อันตรายซึ่งผู้คนสามารถสร้างโค้ดได้ แต่ดิ้นรนในการเข้าใจ แก้ไขข้อผิดพลาด หรือดูแลรักษา
การศึกษาชี้ให้เห็นว่าแม้เครื่องมือ AI สำหรับเขียนโค้ดจะมีศักยภาพ แต่ข้อจำกัดในปัจจุบันหมายความว่าพวกมันอาจขัดขวางประสิทธิภาพสำหรับงานพัฒนาที่ซับซ้อนและใช้งานจริง เมื่อเทคโนโลยียังคงพัฒนาต่อไป สิ่งสำคัญจะเป็นการหาสมดุลที่เหมาะสมระหว่างความช่วยเหลือจาก AI และความเชี่ยวชาญของมนุษย์
อ้างอิง: Wait a minute — developers who use genAI tools are slower?