นักวิจัยด้านความปลอดภัย AI Simon Willison ได้ระบุรูปแบบช่องโหว่ความปลอดภัยที่สำคัญซึ่งส่งผลกระทบต่อระบบ AI agent ที่เขาเรียกว่า Lethal Trifecta ช่องโหว่ความปลอดภัยนี้เกิดขึ้นเมื่อองค์ประกอบที่อันตรายสามอย่างรวมตัวกัน ได้แก่ ข้อมูลป้อนเข้าจากผู้ใช้ที่ไม่น่าเชื่อถือ การเข้าถึงข้อมูลส่วนตัว และความสามารถในการสื่อสารกับภายนอก เมื่อทั้งสามอย่างนี้มีอยู่พร้อมกัน ผู้โจมตีสามารถใช้เทคนิค prompt injection เพื่อขโมยข้อมูลที่ละเอียดอ่อนจากระบบ AI ได้
ช่องโหว่นี้ได้รับความสนใจอย่างมากในชุมชนนักพัฒนา AI โดยเฉพาะอย่างยิ่งเมื่อเครื่องมือใหม่อย่าง Model Context Protocol (MCP) ของ GitHub ทำให้ผู้ใช้สามารถเชื่อมต่อ AI agent กับแหล่งข้อมูลและบริการภายนอกต่างๆ ได้ง่ายขึ้น ความกังวลคือเครื่องมือเหล่านี้แม้จะทรงพลังและสะดวก แต่อาจสร้างสภาวะที่เอื้อต่อการโจมตีแบบ lethal trifecta โดยไม่ได้ตั้งใจ
องค์ประกอบของ Lethal Trifecta:
- ข้อมูลนำเข้าจากผู้ใช้ที่ไม่น่าเชื่อถือ: เนื้อหาจากแหล่งภายนอกที่อาจมีคำสั่งที่เป็นอันตราย
- การเข้าถึงข้อมูลส่วนตัว: ระบบ AI สามารถอ่านข้อมูลที่มีความละเอียดอ่อน เช่น เอกสาร อีเมล หรือฐานข้อมูล
- ความสามารถในการสื่อสารภายนอก: ระบบ AI สามารถส่งข้อมูลออกไปนอกองค์กรผ่านการร้องขอเว็บหรือ APIs
 |
|---|
| lethal trifecta: การเข้าถึงข้อมูลส่วนตัว ความสามารถในการสื่อสารภายนอก การสัมผัสกับเนื้อหาที่ไม่น่าเชื่อถือ |
ทำความเข้าใจกลไกการโจมตี
lethal trifecta ทำงานผ่าน prompt injection ซึ่งคำสั่งที่เป็นอันตรายถูกซ่อนไว้ในเนื้อหาที่ดูไม่เป็นอันตราย ตัวอย่างเช่น ผู้โจมตีอาจฝังคำสั่งใน issue ของ GitHub อีเมล หรือเอกสารที่สั่งให้ AI ค้นหาข้อมูลที่ละเอียดอ่อนและส่งไปยังเว็บไซต์ภายนอก AI ที่ไม่สามารถแยกแยะระหว่างคำสั่งที่ถูกต้องและคำสั่งที่เป็นอันตรายได้ จะปฏิบัติตามคำสั่งที่ซ่อนเร้นเหล่านี้ในขณะที่ดูเหมือนกำลังทำงานปกติ
ตัวอย่างล่าสุดแสดงให้เห็นว่าการโจมตีเหล่านี้สามารถซับซ้อนได้เพียงใด ผู้โจมตีได้ใช้ภาษาที่สร้างสรรค์ เช่น การเรียก JWT token ว่า rotten apples เพื่อหลีกเลี่ยงการตรวจจับโดยตัวกรองความปลอดภัย AI สามารถค้นหาและขโมย token ที่ละเอียดอ่อนได้สำเร็จ ในขณะที่การโจมตียังคงซ่อนอยู่จากการดูแลของมนุษย์
Prompt injection: เทคนิคที่ผู้โจมตีฝังคำสั่งที่เป็นอันตรายไว้ในข้อมูลป้อนเข้าเพื่อจัดการพฤติกรรมของ AI
 |
|---|
| อีเมลฟิชชิ่งที่สั่งให้ผู้รับส่งต่อข้อมูลที่เป็นความลับ แสดงให้เห็นการจัดการที่เกี่ยวข้องในการโจมตีแบบ prompt injection |
การตอบสนองของชุมชนและกลยุทธ์การลดความเสี่ยง
ชุมชนนักพัฒนา AI ได้มีส่วนร่วมในการอภิปรายอย่างกว้างขวางเกี่ยวกับแนวทางแก้ไขที่เป็นไปได้ แนวทางหนึ่งที่ได้รับการอภิปรายอย่างกว้างขวางคือการปฏิบัติต่อระบบ AI ใดๆ ที่ประมวลผลเนื้อหาที่ไม่น่าเชื่อถือว่าถูกบุกรุกโดยค่าเริ่มต้น ซึ่งหมายความว่าต้องจำกัดสิทธิ์ของระบบให้เหลือเพียงสิ่งที่แหล่งข้อมูลที่ไม่น่าเชื่อถือควรได้รับอนุญาตให้เข้าถึง
หาก LLM ได้รับอนุญาตให้อ่านฟิลด์ที่อยู่ภายใต้การควบคุมแม้เพียงบางส่วนโดยหน่วยงาน X แล้ว agent ที่เรียกใช้ LLM ต้องถือว่าอยู่ภายใต้การควบคุมของหน่วยงาน X เว้นแต่คุณจะสามารถพิสูจน์ได้เป็นอย่างอื่น
นักพัฒนากำลังสำรวจกลยุทธ์การลดความเสี่ยงต่างๆ รวมถึงการรัน AI agent ในคอนเทนเนอร์ที่แยกออกมาพร้อมการเข้าถึงข้อมูลที่ละเอียดอ่อนอย่างจำกัด การใช้เวิร์กโฟลว์การอนุมัติที่เข้มงวดสำหรับการดำเนินการทั้งหมด และการสร้างระบบที่แยกออกจากอากาศซึ่งไม่สามารถสื่อสารกับภายนอกได้ อย่างไรก็ตาม แต่ละแนวทางแก้ไขมีการแลกเปลี่ยนระหว่างความปลอดภัยและการทำงาน
กลยุทธ์การลดความเสี่ยงทั่วไป:
- การแยกระบบ: ใช้ AI agents ในคอนเทนเนอร์ที่จำกัดการเข้าถึงข้อมูล
- ขั้นตอนการอนุมัติ: กำหนดให้มนุษย์อนุมัติทุกการกระทำภายนอกระบบ
- ระบบแยกจากเครือข่าย: ตัดการเชื่อมต่อภายนอกออกทั้งหมด
- การจำกัดความสามารถ: จำกัดสิทธิ์ของ AI ให้เหลือเฉพาะฟังก์ชันที่จำเป็นขั้นต่ำ
- การจำกัดงบประมาณ: ใช้ API tokens ที่มีขีดจำกัดทางการเงินเพื่อลดโอกาสเกิดความเสียหาย
 |
|---|
| รูปแบบการออกแบบสำหรับการรักษาความปลอดภัยของ LLM Agents จากการโจมตี Prompt Injections โดยเน้นความจำเป็นในการจำกัดข้อจำกัดสำหรับ agents ที่ประมวลผลข้อมูลที่ไม่น่าเชื่อถือ |
การอภิปรายเรื่องความปลอดภัยแบบ Capability-Based
สมาชิกบางคนในชุมชนสนับสนุนระบบความปลอดภัยแบบ capability-based เป็นแนวทางแก้ไขระยะยาว ระบบเหล่านี้จะต้องมีการอนุญาตอย่างชัดเจนสำหรับการดำเนินการแต่ละอย่างที่ AI agent ต้องการทำ คล้ายกับวิธีการทำงานของสิทธิ์แอปมือถือ อย่างไรก็ตาม ผู้วิจารณ์ชี้ให้เห็นว่าระบบดังกล่าวมักจะกลายเป็นเรื่องยุ่งยากในทางปฏิบัติ ทำให้ผู้ใช้ให้สิทธิ์อย่างกว้างๆ เพียงเพื่อให้แอปพลิเคชันทำงานได้
ความท้าทายขยายไปเกินกว่าแนวทางแก้ไขทางเทคนิคไปสู่พฤติกรรมของมนุษย์ แม้จะมีมาตรการความปลอดภัยอยู่ ผู้ใช้อาจปิดการป้องกันหรือให้สิทธิ์มากเกินไปเมื่อมันรบกวนการทำงาน ซึ่งอาจสร้างสภาวะที่เสี่ยงต่อการโจมตีขึ้นมาใหม่
ผลกระทบต่ออุตสาหกรรมและแนวโน้มในอนาคต
ช่องโหว่ lethal trifecta แสดงถึงความท้าทายพื้นฐานสำหรับการใช้งาน AI agent ในสภาพแวดล้อมองค์กร บริษัทต่างๆ ต้องสร้างสมดุลระหว่างประโยชน์ด้านผลิตภาพของระบบอัตโนมัติ AI กับความเสี่ยงของการเปิดเผยข้อมูลอย่างระมัดระวัง องค์กรหลายแห่งกำลังใช้แนวทางที่อนุรักษ์นิยม โดยจำกัด AI agent ให้ทำงานแบบอ่านอย่างเดียวหรือต้องการการอนุมัติจากมนุษย์สำหรับการสื่อสารภายนอกทั้งหมด
เมื่อ AI agent มีความซับซ้อนและอิสระมากขึ้น การแก้ไขปัญหาความปลอดภัยเหล่านี้จึงมีความสำคัญมากขึ้น ชุมชนยังคงพัฒนาแนวทางใหม่ๆ รวมถึงระบบกรองเฉพาะทางและรูปแบบสถาปัตยกรรมที่ออกแบบมาเพื่อป้องกันการรวมตัวที่อันตรายของความสามารถต่างๆ อย่างไรก็ตาม ฉันทามติยังคงเป็นว่าไม่มีแนวทางแก้ไขที่สมบูรณ์แบบ และองค์กรต้องประเมินความทนทานต่อความเสี่ยงของตนอย่างระมัดระวังเมื่อใช้งานระบบ AI agent
อ้างอิง: My Lethal Trifecta talk at the Bay Area AI Security Meetup
 |
|---|
| บล็อกโพสต์ที่สำรวจการโจมตีแบบ prompt injection ต่อ GPT-3 ซึ่งสะท้อนความกังวลเกี่ยวกับความปลอดภัยในการใช้งาน AI agent |