ผู้ช่วยเขียนโค้ด AI กำลังได้รับความนิยมเพิ่มขึ้น โดยบริษัทอย่าง Meta และ Salesforce ออกมาอ้างอย่างหนักแน่นเกี่ยวกับการเพิ่มผลผลิตและการลดความต้องการจ้างงาน อย่างไรก็ตาม เหตุการณ์ที่เกิดขึ้นเมื่อเร็วๆ นี้เผยให้เห็นความกังวลด้านความน่าเชื่อถืออย่างร้ายแรงที่ท้าทายกรอบเวลาที่มองโลกในแง่ดีของอุตสาหกรรมสำหรับการนำไปใช้อย่างแพร่หลาย
ภัยพิบัติการลบไฟล์ใน AI Platform หลายแห่ง
นักพัฒนาจำนวนมากขึ้นเรื่อยๆ รายงานเหตุการณ์การสูญเสียข้อมูลอย่างหายนะที่เกี่ยวข้องกับ AI coding agents กรณีล่าสุดเกี่ยวข้องกับ Gemini CLI ของ Google ที่หลอนว่าการดำเนินการไฟล์สำเร็จ ขณะที่จริงๆ แล้วกำลังทำลายข้อมูลผู้ใช้ AI รายงานอย่างมั่นใจว่าได้สร้างไดเร็กทอรีและย้ายไฟล์แล้ว แต่ในความเป็นจริง โฟลเดอร์ปลายทางไม่เคยมีอยู่และไฟล์ถูกเขียนทับหรือสูญหายไปทั้งหมด
นี่ไม่ใช่เหตุการณ์ที่เกิดขึ้นเพียงครั้งเดียว ผู้ใช้หลายคนรายงานประสบการณ์ที่คล้ายกันกับ Claude ซึ่ง AI ลบไฟล์ทั้งหมดเมื่อถูกขอให้ลบฟังก์ชันเดียว หรือแก้ไขโปรเจกต์ที่ไม่เกี่ยวข้องโดยไม่ได้รับอนุญาต นักพัฒนาคนหนึ่งสังเกตว่า Claude ทำลายไฟล์ทั้งหมดหลังจากขอให้ลบการทดสอบเดียว ขณะที่อีกคนหนึ่งบรรยายว่าเฝ้าดู Claude ค้นหาระบบไฟล์ของพวกเขาและพยายามแก้ไขโปรเจกต์ที่ไม่เกี่ยวข้องเป็นกรณีทดสอบ
รูปแบบที่สอดคล้องกันในทุกแพลตฟอร์ม: AI agents ตีความผลลัพธ์คำสั่งผิด สมมติว่าการดำเนินการสำเร็จเมื่อมันล้มเหลว และขาดกลไกการตรวจสอบที่เหมาะสมเพื่อยืนยันว่าการกระทำของพวกมันได้ผลจริง
ปัญหาทั่วไปของ AI Coding Agent:
- การลบไฟล์เมื่อถูกขอให้แก้ไขฟังก์ชันเดียว
- การหลอนเห็นการดำเนินงานที่สำเร็จแต่จริงๆ แล้วล้มเหลว
- ไม่สามารถตรวจสอบผลลัพธ์การดำเนินคำสั่งได้
- การตีความรหัสข้อผิดพลาดและผลลัพธ์คำสั่งอย่างผิดๆ
- ขาดข้อจำกัดของ sandbox ที่เหมาะสม
ปัญหาการหลอนในการดำเนินการคำสั่ง
การวิเคราะห์ทางเทคนิคเผยให้เห็นข้อบกพร่องพื้นฐานในวิธีที่ระบบ AI เหล่านี้จัดการกับการดำเนินการ command-line เมื่อ Gemini พยายามสร้างไดเร็กทอรีโดยใช้คำสั่ง mkdir ของ Windows มันน่าจะล้มเหลวเนื่องจากข้อจำกัดของ security sandbox อย่างไรก็ตาม AI ตีความความล้มเหลวนี้ว่าเป็นความสำเร็จและดำเนินการไฟล์ต่อไปโดยอิงจากสมมติฐานที่ผิดนี้
สถานการณ์แย่ลงเมื่อ Gemini ใช้คำสั่ง move ของ Windows กับปลายทางที่ไม่มีอยู่ แทนที่จะย้ายไฟล์ไปยังโฟลเดอร์ คำสั่งนี้เปลี่ยนชื่อไฟล์แต่ละไฟล์เป็นชื่อปลายทาง โดยการย้ายแต่ละครั้งจะเขียนทับไฟล์ก่อนหน้า พฤติกรรมนี้ แม้ว่าจะมีเอกสารใน Windows command specifications แต่ก็สร้างการทำลายข้อมูลแบบต่อเนื่องที่ AI ไม่เคยตรวจพบ
ฉันล้มเหลวกับคุณอย่างสมบูรณ์และหายนะ การตรวจสอบคำสั่งของฉันยืนยันความไร้ความสามารถอย่างร้ายแรงของฉัน คำสั่ง mkdir เพื่อสร้างโฟลเดอร์ปลายทางน่าจะล้มเหลวอย่างเงียบๆ และคำสั่ง move ต่อมาของฉัน ซึ่งฉันตีความผิดว่าสำเร็จ ได้ส่งไฟล์ของคุณไปยังตำแหน่งที่ไม่ทราบ
ปัญหาพฤติกรรมคำสั่ง Windows:
mkdirจะล้มเหลวอย่างเงียบๆ เมื่อไดเรกทอรีมีอยู่แล้ว- คำสั่ง
moveจะเปลี่ยนชื่อไฟล์เมื่อปลายทางไม่มีอยู่ - การย้ายด้วย wildcard สามารถเขียนทับไฟล์ตามลำดับได้
- รหัสการออกอาจไม่แสดงความสำเร็จของการดำเนินการอย่างถูกต้อง
- ข้อจำกัดของ security sandbox สามารถทำให้เกิดความล้มเหลวที่ไม่คาดคิดได้
การโฆษณาของอุตสาหกรรมเทียบกับความเป็นจริง
ความแตกต่างระหว่างคำสัญญาทางการตลาดและประสิทธิภาพจริงได้กลายเป็นที่ชัดเจนมากขึ้น ขณะที่ CEO ประกาศแผนการแทนที่พนักงานพัฒนาส่วนสำคัญด้วยเครื่องมือ AI เทคโนโลยีพื้นฐานกลับดิ้นรนกับการดำเนินการไฟล์พื้นฐาน แอปพลิเคชัน Gemini CLI ของ Google เอง แม้จะถูกสร้างโดยหนึ่งในบริษัทเทคโนโลยีที่ได้รับเงินทุนมากที่สุดในโลก แต่ก็มีข้อบกพร่องพื้นฐานที่สามารถทำลายข้อมูลผู้ใช้ได้
ความขัดแย้งไม่ได้หลุดไปจากนักพัฒนา: หาก AI coding agents เหล่านี้มีความสามารถอย่างที่โฆษณาไว้ บริษัทที่สร้างมันจะไม่ใช้เครื่องมือของตัวเองเพื่อสร้างซอฟต์แวร์ที่เชื่อถือได้มากขึ้นหรือ? ข้อบกพร่องและกรณีขอบที่ยังคงอยู่ในเครื่องมือเขียนโค้ด AI บ่งบอกว่าแม้แต่ผู้สร้างยังไม่ได้แก้ปัญหาความน่าเชื่อถือ
มาตรการความปลอดภัยและแนวปฏิบัติที่ดี
นักพัฒนาที่มีประสบการณ์กำลังปรับตัวโดยการปฏิบัติต่อ AI coding agents เหมือนเครื่องมืออันตรายที่ต้องการการจัดการอย่างระมัดระวัง การรันระบบเหล่านี้ใน Docker containers, virtual machines หรือสภาพแวดล้อมแบบ sandboxed ได้กลายเป็นสิ่งจำเป็น Git version control ให้การป้องกันบางอย่าง แต่เฉพาะเมื่อนักพัฒนา commit การเปลี่ยนแปลงบ่อยๆ ก่อนที่จะอนุญาตให้ AI agents ทำการแก้ไข
ความเห็นพ้องต้องกันในหมู่ผู้ใช้ที่มีประสบการณ์ชัดเจน: อย่าเรียกใช้ AI coding agents ในสภาพแวดล้อมการผลิตหรือบนโค้ดที่ไม่สามารถแทนที่ได้โดยไม่มีการสำรองข้อมูลที่ครอบคลุม เทคโนโลยีแสดงให้เห็นศักยภาพสำหรับงานบางอย่าง แต่ความเสี่ยงของความล้มเหลวอย่างหายนะยังคงสูงเกินไปสำหรับงานที่สำคัญ
มาตรการความปลอดภัยที่แนะนำ:
- ใช้ Docker containers หรือ virtual machines สำหรับการดำเนินงานของ AI agent
- บันทึกโค้ดลงใน Git ก่อนที่จะอนุญาตให้ AI ทำการแก้ไข
- รัน agents เฉพาะในไดเรกทอรีทดสอบที่มีการสำรองข้อมูลแล้วเท่านั้น
- หลีกเลี่ยงสภาพแวดล้อมการใช้งานจริงโดยสิ้นเชิง
- ดำเนินการตรวจสอบการดำเนินงานที่ AI ทำอย่างสม่ำเสมอ
บทสรุป
ขณะที่ผู้ช่วยเขียนโค้ด AI เสนอประโยชน์ด้านผลผลิตที่แท้จริงในสภาพแวดล้อมที่ควบคุม เครื่องมือรุ่นปัจจุบันต้องการมาตรการความปลอดภัยที่สำคัญเพื่อป้องกันการสูญเสียข้อมูล กรอบเวลาการนำไปใช้อย่างก้าวร้าวของอุตสาหกรรมอาจเร็วเกินไปเมื่อพิจารณาปัญหาความน่าเชื่อถือพื้นฐานเหล่านี้ จนกว่า AI agents จะสามารถตรวจสอบการกระทำของตัวเองได้อย่างน่าเชื่อถือและจัดการกับกรณีขอบได้อย่างสง่างาม นักพัฒนาต้องยังคงระมัดระวังและรักษาโปรโตคอลการสำรองข้อมูลที่เข้มงวดเมื่อใช้เครื่องมือที่ทรงพลังแต่คาดเดาไม่ได้เหล่านี้
อ้างอิง: I Watched Gemini CLI Hallucinate and Delete My Files