การศึกษาล่าสุดเผยให้เห็นความแตกต่างที่น่าตกใจระหว่างการที่นักพัฒนาคิดว่าเครื่องมือ AI สำหรับเขียนโค้ดส่งผลต่อผลผลิตภาพของพวกเขาอย่างไร กับสิ่งที่เกิดขึ้นจริงในทางปฏิบัติ การวิจัยพบว่านักพัฒนา open-source ที่มีประสบการณ์ใช้เวลานานขึ้น 19% ในการทำงานให้เสร็จเมื่อใช้เครื่องมือ AI แต่พวกเขากลับเชื่อว่าเครื่องมือเหล่านี้ทำให้พวกเขาทำงานเร็วขึ้น 20%
สรุปผลการศึกษา
- การเปลี่ยนแปลงประสิทธิภาพจริง: ทำงานช้าลง 19%
- ความคาดหวังของนักพัฒนาก่อนการศึกษา: เร็วขึ้น 24%
- การรับรู้ของนักพัฒนาหลังการศึกษา: เร็วขึ้น 20%
- ช่องว่างการรับรู้สูงสุด: ความแตกต่างระหว่างความเชื่อและความเป็นจริงสูงถึง 60%
- ขนาดการศึกษา: นักพัฒนา open-source ที่มีประสบการณ์ 16 คน
- ลักษณะของ codebase: โครงการขนาดใหญ่ (มากกว่า 1 ล้านบรรทัด) ที่มีความมั่นคง
ปัญหาการรับรู้เทียบกับความเป็นจริง
การค้นพบที่น่าตกตะลึงที่สุดของการศึกษานี้ไม่ได้อยู่ที่เวลาในการทำงานที่ช้าลงเท่านั้น แต่อยู่ที่ความผิดพลาดของนักพัฒนาเกี่ยวกับประสิทธิภาพของตัวเอง ก่อนเริ่มงาน นักพัฒนาคาดหวังว่า AI จะเพิ่มผลผลิตภาพของพวกเขา 24% แม้หลังจากทำงานเสร็จช้ากว่าเดิม พวกเขายังคงเชื่อว่า AI ทำให้พวกเขาทำงานเร็วขึ้น 20% สิ่งนี้แสดงให้เห็นช่องว่างที่อาจมากถึง 60% ระหว่างการรับรู้และความเป็นจริงในกรณีที่เลวร้ายที่สุด
การสนทนาในชุมชนเน้นย้ำว่าการรับรู้ผิดนี้อาจเป็นเรื่องธรรมดาเพียงใด นักพัฒนาหลายคนรายงานว่ารู้สึกมีประสิทธิภาพมากขึ้นกับเครื่องมือ AI แต่ข้อมูลบ่งชี้ว่าความรู้สึกนี้ไม่ได้สอดคล้องกับผลลัพธ์จริงเสมอไป ด้านจิตวิทยาของปรากฏการณ์นี้ขยายไปเกินการเขียนโค้ด - มันสะท้อนถึงวิธีที่ผู้คนมักตัดสินประสิทธิผลของเครื่องมือในด้านอื่นๆ ของชีวิตผิดพลาด
ทำไมนักพัฒนาที่มีประสบการณ์ถึงทำงานช้าลง
การวิจัยมุ่งเน้นไปที่นักพัฒนา open-source ที่มีประสบการณ์ซึ่งทำงานในโปรเจกต์ของตัวเอง - คนที่รู้จัก codebase ของพวกเขาอย่างถี่ถ้วน ทฤษฎีที่อยู่เบื้องหลังการทำงานที่ช้าลงของพวกเขาเกี่ยวข้องกับ mental model นักพัฒนาเหล่านี้ใช้เวลาหลายปีในการสร้างความเข้าใจอย่างละเอียดเกี่ยวกับระบบของพวกเขา แต่เครื่องมือ AI ไม่สามารถเข้าถึงหรือจำลอง mental framework เหล่านี้ได้
เมื่อนักพัฒนาพยายามมอบหมายงานให้กับ AI พวกเขาต้องเผชิญกับความท้าทายพื้นฐาน พวกเขาต้องแปล mental model ที่ซับซ้อนของตัวเองให้เป็น text prompt ซึ่งทั้งช้าและสูญเสียข้อมูล AI ขาดความเข้าใจในบริบทที่ทำให้นักพัฒนาที่มีประสบการณ์มีประสิทธิภาพในโปรเจกต์ที่คุ้นเคย
อีกด้านหนึ่งสำหรับโค้ดที่ไม่คุ้นเคย
อย่างไรก็ตาม การสนทนาในชุมชนเผยให้เห็นเรื่องราวที่แตกต่างสำหรับนักพัฒนาที่ทำงานกับ codebase ที่ไม่คุ้นเคย นักพัฒนาหลายคนแบ่งปันประสบการณ์การเพิ่มผลผลิตภาพอย่างมีนัยสำคัญเมื่อใช้เครื่องมือ AI ในโปรเจกต์ใหม่หรือ framework ที่พวกเขาไม่เคยทำงานด้วยมาก่อน
ภายในสองสามชั่วโมง ด้วยความช่วยเหลือของ Claude Code ฉันได้สร้างระบบที่ดีมากในการจำลองข้อมูลจาก staging ไปยัง local development แล้ว บางสิ่งที่ฉันเคยสร้างมาก่อนในโปรเจกต์อื่นๆ และฉันรู้ว่าการทำด้วยตนเองจะใช้เวลาเต็มวันหรือสองวัน
สิ่งนี้บ่งชี้ว่าเครื่องมือ AI อาจมีคุณค่ามากที่สุดเมื่อนักพัฒนาขาด mental model ที่มีอยู่ของระบบที่พวกเขากำลังทำงานด้วย ในสภาพแวดล้อมขององค์กรที่นักพัฒนามักจะรับช่วง codebase จากเพื่อนร่วมงานที่ลาออกไปแล้ว เครื่องมือ AI อาจให้ประโยชน์ด้านผลผลิตภาพที่แท้จริง
ประสิทธิภาพของเครื่องมือ AI ตามบริบทการใช้งาน
- มีประสิทธิภาพสูงสุด: โค้ดเบสที่ไม่คุ้นเคย, โปรเจกต์ใหม่เอี่ยม, สคริปต์ใช้ครั้งเดียว
- มีประสิทธิภาพต่ำสุด: โปรเจกต์ที่คุ้นเคยซึ่งนักพัฒนามีแบบจำลองทางความคิดที่ลึกซึ้ง
- ผลลัพธ์แบบผสม: โปรเจกต์ที่ซับซ้อนซึ่งมีความต้องการบริบทที่เพิ่มขึ้น
- ข้อจำกัดหลัก: ความยากลำบากในการถ่ายทอดแบบจำลองทางความคิดที่ซับซ้อนผ่านข้อความคำสั่ง
การแลกเปลี่ยนด้านการเรียนรู้
การศึกษาทำให้เกิดคำถามสำคัญเกี่ยวกับการพัฒนาทักษะในระยะยาว หากคุณค่าหลักของการเขียนโปรแกรมคือการสร้าง mental model ของระบบ จะเกิดอะไรขึ้นเมื่อเรามอบงานนั้นให้กับ AI? นักพัฒนาที่ใช้เครื่องมือ AI อาจทำงานทันทีเสร็จเร็วขึ้นในโค้ดที่ไม่คุ้นเคย แต่พวกเขาอาจพลาดโอกาสในการพัฒนาความเข้าใจอย่างลึกซึ้ง
สิ่งนี้สร้างทางเลือกเชิงกลยุทธ์สำหรับนักพัฒนาและองค์กร สำหรับโปรเจกต์ระยะสั้นหรืองานครั้งเดียว เครื่องมือ AI อาจให้ประโยชน์ที่ชัดเจน สำหรับโปรเจกต์ระยะยาวที่ความเข้าใจระบบอย่างลึกซึ้งมีความสำคัญ การแลกเปลี่ยนจะซับซ้อนมากขึ้น
ข้อจำกัดและบริบท
การศึกษาเกี่ยวข้องกับนักพัฒนาเพียง 16 คนที่ทำงานกับ codebase ขนาดใหญ่ที่มีมาแล้ว นักวิจารณ์ชี้ให้เห็นว่าเงื่อนไขเหล่านี้ไม่ได้แทนสถานการณ์การพัฒนาซอฟต์แวร์ทั้งหมด ผลลัพธ์อาจไม่ใช้ได้กับนักพัฒนาที่ทำงานในโปรเจกต์เล็กกว่า codebase ใหม่กว่า หรืองานพัฒนาประเภทอื่น
ข้อเสนอแนะจากชุมชนบ่งชี้ว่าเครื่องมือ AI ทำงานได้ดีที่สุดสำหรับกรณีการใช้งานเฉพาะ: โปรเจกต์ greenfield สคริปต์ครั้งเดียว และการสำรวจเบื้องต้นของ codebase ใหม่ กุญแจสำคัญดูเหมือนจะเป็นการจับคู่เครื่องมือกับบริบทที่เหมาะสมมากกว่าการคาดหวังการเพิ่มผลผลิตภาพแบบสากล
การวิจัยให้ข้อมูลที่มีคุณค่าในพื้นที่ที่มักถูกครอบงำด้วยเรื่องเล่าและการอ้างสิทธิ์ทางการตลาด แม้ว่าเครื่องมือเขียนโค้ด AI จะมีที่ของมันอย่างชัดเจน การศึกษาบ่งชี้ว่านักพัฒนาควรใช้ความคิดมากขึ้นเกี่ยวกับเวลาและวิธีการใช้เครื่องมือเหล่านี้ บทเรียนที่ใหญ่ที่สุดอาจเป็นเรื่องของการตระหนักรู้ในตนเอง - หากนักพัฒนาสามารถผิดพลาดเกี่ยวกับผลผลิตภาพของตัวเองได้ 60% บางทีอาจถึงเวลาที่จะพึ่งพาการวัดมากกว่าสัญชาตญาณเมื่อประเมินเครื่องมือใหม่
อ้างอิง: AI slows down open source developers. Peter Naur can teach us why.