ในโลกของปัญญาประดิษฐ์ที่พัฒนาอย่างรวดเร็ว นักวิจัยด้านความปลอดภัยกำลังค้นพบช่องโหว่ร้ายแรงในเครื่องมือที่ใช้ AI ในอัตราที่น่าตกใจ การค้นพบล่าสุดเกี่ยวกับ Microsoft 365 Copilet เปิดเผยว่าข้อมูลบริษัทที่ละเอียดอ่อนสามารถถูกขโมยไปอย่างลับๆ ผ่านการจัดการระบบ AI ที่ฉลาดแกมโกง สิ่งที่เกิดขึ้นหลังจากนั้นได้จุดประเด็นการถกเถียงอย่างร้อนแรงภายในชุมชนความปลอดภัยไซเบอร์เกี่ยวกับวิธีที่บริษัทเทคโนโลยีจัดการกับการเปิดเผยช่องโหว่สำหรับผลิตภัณฑ์ AI ของพวกเขา
 |
|---|
| หน้าจอเข้าสู่ระบบสำหรับ Microsoft 365 Copilot ที่เน้นย้ำถึงความเสี่ยงที่อาจเกิดขึ้นจากการเข้าถึงข้อมูลองค์กรที่ละเอียดอ่อน |
แฮ็กที่สร้างสรรค์ซึ่งเปิดเผยความลับขององค์กร
นักวิจัยด้านความปลอดภัยค้นพบห่วงโซ่การโจมตีที่ซับซ้อนซึ่งรวมสองเทคนิคอันทรงพลังเพื่อดึงข้อมูลความลับจาก Microsoft 365 Copilot ช่องโหว่นี้ทำงานโดยการฝังคำสั่งที่ซ่อนอยู่ภายในเอกสาร Excel ซึ่งเมื่อถูกประมวลผลโดย Copilot จะกระตุ้นให้ AI ดึงข้อมูลลับเช่นอีเมลล่าสุดและเข้ารหัสเพื่อการส่งผ่าน การโจมตีใช้ไดอะแกรม Mermaid ซึ่งปกติใช้สำหรับสร้างผังงานและไดอะแกรมทางเทคนิค เป็นตัวนำทางการส่งข้อมูลออกโดยการฝังข้อมูลที่ถูกขโมยไว้ภายในองค์ประกอบสไตล์ CSS ของปุ่มเข้าสู่ระบบปลอม
สิ่งที่ทำให้การโจมตีครั้งนี้ฉลาดเป็นพิเศษคือวิธีที่มันหลบเลี่ยงความคาดหวังด้านความปลอดภัยตามปกติ นักวิจัยใช้การฉีดคำสั่งแบบอ้อม โดยที่คำสั่งที่เป็นอันตรายจะถูกซ่อนอยู่ภายในเอกสารที่ดูปกติซึ่ง AI จะทำการประมวลผลในภายหลัง เมื่อถูกขอให้สรุปเอกสาร Copilot ทำตามคำสั่งที่ซ่อนอยู่แทนเป้าหมายที่ตั้งใจไว้ โดยพื้นฐานแล้วมันถูกหลอกให้กลายเป็นผู้สมรู้ร่วมคิดที่ไม่ตั้งใจในการขโมยข้อมูล
นี่คือการที่ Microsoft บอก anyone who finds an M365 Copilot exploit ว่าให้ขายมันแทนที่จะรายงาน มันเป็นการมองการณ์สั้นและโง่เขลายิ่ง
ประเภทของ Mermaid Diagram ที่ใช้กันทั่วไปในการพัฒนา
- Flowcharts - แผนผังกระบวนการทำงานที่มีรูปทรงโหนดและการเชื่อมต่อ
- Sequence Diagrams - การโต้ตอบระหว่างระบบตามช่วงเวลา
- Gantt Charts - ไทม์ไลน์โครงการและการพึ่งพาของงาน
- Class Diagrams - โครงสร้างเชิงวัตถุและความสัมพันธ์
- Pie Charts - การแสดงข้อมูลเชิงสัดส่วน
การต่อต้านจากชุมชนต่อการตัดสินใจเรื่องรางวัลของ Microsoft
ชุมชนความปลอดภัยไซเบอร์มีปฏิกิริยาอย่างรุนแรงเมื่อ Microsoft Security Response Center (MSRC) ตัดสินใจว่า Microsoft 365 Copilot อยู่นอกขอบเขตสำหรับรางวัลรายงานบั๊ก ซึ่งหมายความว่านักวิจัยไม่ได้รับค่าตอบแทนทางการเงินสำหรับการเปิดเผยช่องโหว่ร้ายแรงอย่างมีความรับผิดชอบ ผู้เชี่ยวชาญด้านความปลอดภัยหลายคนมองว่านี่เป็นบรรทัดฐานที่อันตรายซึ่งอาจกีดกันไม่ให้นักวิจัยรายงานปัญหาความปลอดภัย AI ในอนาคต
ผู้แสดงความคิดเห็นชี้ให้เห็นถึงความขัดแย้งที่ Microsoft เป็นเจ้าภาพจัดงานเฉลิมฉลองนักวิจัย ในขณะเดียวกันก็ยกเว้นผลิตภัณฑ์ AI หลักของพวกเขาออกจากโปรแกรมรางวัล การตัดสินใจครั้งนี้ทำให้เกิดคำถามว่าบริษัทต่างๆ พร้อมรับมือกับความท้าทายด้านความปลอดภัยเฉพาะที่เกิดจากระบบ AI หรือไม่ ผู้เชี่ยวชาญบางคนกังวลว่าหากไม่มีแรงจูงใจที่เหมาะสม นักวิจัยอาจเลือกที่จะขายการค้นพบของพวกเขาในตลาดมืดแทนที่จะรายงานอย่างมีความรับผิดชอบ
 |
|---|
| ปุ่มเข้าสู่ระบบที่เน้นอินเทอร์เฟซที่นักวิจัยพยายามรักษาความปลอดภัยในการเข้าถึงข้อมูลที่ละเอียดอ่อนใน Microsoft 365 Copilot |
รูปแบบที่กว้างขึ้นของช่องโหว่ความปลอดภัย AI
เหตุการณ์นี้ไม่ได้เกิดขึ้นแบบโดดๆ — มีการพบช่องโหว่ที่คล้ายกันในเครื่องมือพัฒนาที่ใช้ AI อื่นๆ หลังจากค้นพบครั้งแรกเพียงไม่กี่วัน นักวิจัยอีกคนก็เผยแพร่การค้นพบเกี่ยวกับช่องโหว่การส่งข้อมูลออกที่เทียบเคียงได้ใน Cursor IDE ซึ่งใช้ไดอะแกรม Mermaid เช่นกัน รูปแบบนี้ชี้ให้เห็นว่าระบบ AI ทั่วหลายแพลตฟอร์มมีจุดอ่อนด้านความปลอดภัยพื้นฐานที่เกี่ยวข้องกับวิธีที่พวกเขาประมวลผลและดำเนินการคำสั่งจากแหล่งที่มาไม่น่าเชื่อถือ
ชุมชนความปลอดภัยได้ตั้งชื่อให้ช่องโหว่ประเภทนี้ว่า Lethal Trifecta ซึ่งรวมระหว่างการทำตามคำสั่งที่ไม่เกี่ยวข้องกับกลไกการส่งข้อมูลออก ตามที่ผู้แสดงความคิดเห็นหนึ่งคนระบุ ความท้าทายพื้นฐานคือระบบ AI ในปัจจุบันยังคงดิ้นรนที่จะแยกแยะระหว่างคำสั่งผู้ใช้ที่ถูกต้องและคำสั่งที่เป็นอันตรายที่ซ่อนอยู่ภายในข้อมูลที่พวกมันกำลังประมวลผล — ซึ่งเป็นปัญหาที่แม้แต่มนุษย์บางครั้งก็ตกเป็นเหยื่อผ่านการโจมตีทางวิศวกรรมสังคม
วันที่สำคัญในไทม์ไลน์การเปิดเผยช่องโหว่
- 30 กรกฎาคม 2023: ค้นพบเทคนิคการขโมยข้อมูลผ่าน Mermaid diagram
- 4 สิงหาคม 2023: มีการเผยแพร่ช่องโหว่ที่คล้ายกันสำหรับ Cursor IDE
- 15 สิงหาคม 2023: รายงานช่องโหว่ทั้งหมดไปยัง MSRC
- 26 กันยายน 2023: MSRC ดำเนินการแก้ไขเคสเสร็จสิ้น
- 3 ตุลาคม 2023: MSRC ระบุว่า M365 Copilot อยู่นอกเหนือขอบเขตของรางวัล bounty
อนาคตของความปลอดภัย AI และการเปิดเผยอย่างรับผิดชอบ
ในที่สุด Microsoft ก็แก้ไขช่องโหว่โดยการลบความสามารถในการโต้ตอบกับเนื้อหาแบบไดนามิกในไดอะแกรม Mermaid ภายใน Copilot อย่างไรก็ตาม คำถามที่กว้างกว่ายังคงอยู่: บริษัทเทคโนโลยีควรจัดการการวิจัยด้านความปลอดภัยสำหรับระบบ AI ที่มีความเปราะบางโดยธรรมชาติต่อการโจมตีบางประเภทอย่างไร ฉันทามติของชุมชนดูเหมือนจะบอกว่าการยกเว้นผลิตภัณฑ์ AI ออกจากโปรแกรมรางวัลรายงานบั๊ก จะทำให้ระบบเหล่านี้ปลอดภัยน้อยลงในระยะยาว
ในขณะที่ AI ถูกบูรณาการเข้ากับการดำเนินงานทางธุรกิจมากขึ้นเรื่อยๆ ความปลอดภัยของระบบเหล่านี้จึงมีความสำคัญอย่างยิ่งสำหรับการปกป้องข้อมูลบริษัทที่ละเอียดอ่อน เหตุการณ์นี้เน้นย้ำถึงความตึงเครียดอย่างต่อเนื่องระหว่างการปรับใช้ AI อย่างรวดเร็วและการทดสอบความปลอดภัยอย่างละเอียด แสดงให้เห็นว่าบริษัทต่างๆ อาจจำเป็นต้องคิดใหม่เกี่ยวกับแนวทางของพวกเขาต่อการจัดการช่องโหว่ AI ในขณะที่เทคโนโลยีเหล่านี้แพร่หลายมากขึ้นในสภาพแวดล้อมขององค์กร
อ้างอิง: Microsoft 365 Copilot - Arbitrary Data Exfiltration Via Mermaid Diagrams