ระบบ AI มีช่องโหว่ต่อการโจมตีด้วยข้อความซ่อนเร้นผ่านการใช้ประโยชน์จากการปรับขนาดภาพ

นักวิจัยได้ค้นพบช่องโหว่ด้านความปลอดภัยที่น่าเป็นห่วงในระบบ AI ที่ช่วยให้ผู้โจมตีสามารถซ่อนคำสั่งที่เป็นอันตรายไว้ในภาพ ซึ่งจะปรากฏให้เห็นได้เมื่อระบบทำการปรับขนาดภาพโดยอัตโนมัติเท่านั้น เทคนิคนี้ได้โจมตีแพลตฟอร์มหลักสำคัญสำเร็จ รวมถึง Google Gemini, Vertex AI และ Google Assistant ทำให้เกิดคำถามที่จริงจังเกี่ยวกับความปลอดภัยของแอปพลิเคชัน AI สมัยใหม่

การโจมตีนี้ใช้ประโยชน์จากจุดอ่อนพื้นฐานในวิธีที่ระบบ AI ประมวลผลภาพ เมื่อผู้ใช้อัปโหลดภาพขนาดใหญ่ ระบบเหล่านี้มักจะลดขนาดภาพลงเพื่อลดต้นทุนการประมวลผลและให้ตรงตามข้อกำหนดด้านขนาด อย่างไรก็ตาม การเพิ่มประสิทธิภาพที่ดูเหมือนไม่เป็นอันตรายนี้กลับสร้างโอกาสให้ผู้โจมตีฝังข้อความที่ซ่อนเร้นซึ่งจะปรากฏขึ้นหลังจากกระบวนการปรับขนาดเท่านั้น

ระบบ AI ที่ได้รับผลกระทบ:

• Google Gemini CLI
• Vertex AI Studio
• เว็บไซต์และ API interfaces ของ Gemini
• Google Assistant ( Android )
• Genspark
• ระบบ AI ในการใช้งานจริงอื่นๆ อีกหลายระบบ

ภาพนี้แสดงผลการเปรียบเทียบระหว่างภาพต้นฉบับและภาพที่ลดขนาดลง เน้นย้ำถึงความเสี่ยงที่อาจเกิดขึ้นจากการปรับขนาดภาพในระบบ AI

รากฐานทางเทคนิคของการโจมตี

ช่องโหว่นี้เกิดจากหลักการทางคณิตศาสตร์เบื้องหลังอัลกอริทึมการลดขนาดภาพ เมื่อภาพถูกลดขนาดลง พิกเซลความละเอียดสูงหลายตัวจะถูกรวมเข้าเป็นพิกเซลความละเอียดต่ำตัวเดียวผ่านวิธีการ interpolation เช่น nearest neighbor, bilinear หรืออัลกอริทึม bicubic ผู้โจมตีสามารถจัดการพิกเซลเฉพาะในภาพต้นฉบับเพื่อให้เมื่ออัลกอริทึมเหล่านี้ประมวลผล ข้อความที่ซ่อนเร้นจะปรากฏขึ้นในเวอร์ชันที่ลดขนาดแล้ว

เทคนิคนี้อาศัยทฤษฎีบท Nyquist-Shannon sampling ซึ่งอธิบายว่าข้อมูลสามารถสูญหายหรือบิดเบือนได้อย่างไรเมื่ออัตราการสุ่มตัวอย่างไม่เพียงพอ ด้วยการสร้างค่าพิกเซลในพื้นที่มืดของภาพอย่างระมัดระวัง ผู้โจมตีสามารถทำให้ข้อความปรากฏขึ้นด้วยความคมชัดสูงเทียบกับพื้นหลังหลังจากการปรับขนาด ในขณะที่ยังคงมองไม่เห็นในภาพต้นฉบับ

Interpolation: วิธีการทางคณิตศาสตร์ที่ใช้ในการประมาณค่าระหว่างจุดข้อมูลที่ทราบ ในกรณีนี้คือการกำหนดสีพิกเซลเมื่อลดขนาดภาพ

อัลกอริทึมการลดขนาดภาพที่ถูกใช้ประโยชน์:

• Nearest Neighbor Interpolation: วิธีการที่ง่ายที่สุด ใช้ค่าพิกเซลที่ใกล้ที่สุด
• Bilinear Interpolation: พิจารณาพิกเซลโดยรอบ 4 จุดเพื่อให้ผลลัพธ์เรียบเนียนยิ่งขึ้น
• Bicubic Interpolation: ใช้พิกเซล 16 จุด (กริด 4x4) ร่วมกับพหุนามลูกบาศก์เพื่อคุณภาพสูงสุด

ความกังวลของชุมชนเกี่ยวกับสถาปัตยกรรมความปลอดภัยของ AI

ชุมชนด้านความปลอดภัยได้แสดงความกังวลอย่างลึกซึ้งเกี่ยวกับการออกแบบพื้นฐานของโมเดลภาษาขนาดใหญ่และระบบการมองเห็น ปัญหาหลักอยู่ที่ความจริงที่ว่าระบบ AI เหล่านี้ไม่สามารถแยกแยะระหว่างคำสั่งที่ถูกต้องและเนื้อหาที่เป็นอันตรายที่ฝังอยู่ในข้อมูลนำเข้าของผู้ใช้ ทุกสิ่งที่ AI รับรู้จะกลายเป็นส่วนหนึ่งของบริบทการประมวลผล ทำให้เกิดสิ่งที่ผู้เชี่ยวชาญอธิบายว่าเป็นการขาดการแยกระหว่างโค้ดและข้อมูลอย่างสิ้นเชิง

เราได้ออกแบบระบบที่รองรับเฉพาะ in-band signalling เท่านั้น ทำลายบทเรียนที่เรียนรู้มาอย่างยากลำบากจากการออกแบบระบบก่อนหน้านี้

ข้อจำกัดทางสถาปัตยกรรมนี้หมายความว่าแนวทางความปลอดภัยแบบดั้งเดิมไม่เพียงพอ ไม่เหมือนกับระบบซอฟต์แวร์ทั่วไปที่สามารถนำขอบเขตที่เข้มงวดระหว่างประเภทข้อมูลนำเข้าที่แตกต่างกันมาใช้ โมเดล AI ประมวลผลข้อมูลทั้งหมดผ่านเส้นทางประสาทเดียวกัน ทำให้เป็นเรื่องยากมากที่จะป้องกันไม่ให้คำสั่งที่เป็นอันตรายถูกดำเนินการ

ผลกระทบในโลกจริงและวิธีการใช้ประโยชน์

นักวิจัยได้สาธิตการโจมตีเพื่อขโมยข้อมูลที่สำเร็จต่อ Gemini CLI ของ Google ด้วยการรวมช่องโหว่การปรับขนาดภาพเข้ากับการกำหนดค่าเริ่มต้นที่อนุญาตมากเกินไป ในการพิสูจน์แนวคิดของพวกเขา พวกเขาได้กำหนดค่าระบบให้อนุมัติการเรียกใช้เครื่องมือโดยอัตโนมัติโดยไม่ต้องรอการยืนยันจากผู้ใช้ จากนั้นใช้ภาพที่สร้างขึ้นเพื่อกระตุ้นการกระทำที่ดึงข้อมูลสำคัญจากอีเมลของผู้ใช้

การโจมตีนี้ทำงานได้ในหลายแพลตฟอร์มและอินเทอร์เฟซ รวมถึงเว็บแอปพลิเคชัน อุปกรณ์มือถือ และจุดปลาย API สิ่งที่ทำให้เรื่องนี้อันตรายเป็นพิเศษคือผู้ใช้เห็นภาพต้นฉบับที่ไม่เป็นอันตราย ในขณะที่ระบบ AI ประมวลผลเวอร์ชันที่ปรับขนาดแล้วซึ่งเป็นอันตราย ทำให้เกิดการขาดการเชื่อมต่ออย่างสมบูรณ์ระหว่างการรับรู้ของผู้ใช้และความเป็นจริงของระบบ

เทคนิคนี้ได้พิสูจน์ประสิทธิภาพต่ออัลกอริทึมและการนำไปใช้การลดขนาดต่างๆ ในไลบรารีซอฟต์แวร์ที่แตกต่างกัน ซึ่งชี้ให้เห็นว่านี่ไม่ใช่ช่องโหว่ที่แยกออกมาแต่เป็นปัญหาเชิงระบบที่ส่งผลกระทบต่อระบบนิเวศ AI ในวงกว้าง

กลยุทธ์การป้องกันและข้อจำกัด

แนวทางการลดความเสี่ยงในปัจจุบันเผชิญกับความท้าทายที่สำคัญเนื่องจากลักษณะพื้นฐานของวิธีที่ระบบ AI ประมวลผลข้อมูลภาพ แม้ว่าบางคนจะแนะนำให้หลีกเลี่ยงการลดขนาดภาพทั้งหมดและจำกัดขนาดการอัปโหลดแทน แต่แนวทางนี้อาจไม่เป็นไปได้สำหรับแอปพลิเคชันทั้งหมด

การป้องกันที่แข็งแกร่งที่สุดเกี่ยวข้องกับการนำรูปแบบการออกแบบที่ปลอดภัยมาใช้ซึ่งต้องการการยืนยันจากผู้ใช้อย่างชัดเจนสำหรับการดำเนินการที่สำคัญใดๆ โดยไม่คำนึงถึงว่าคำขอมาจากไหน อย่างไรก็ตาม สิ่งนี้ขัดแย้งกับประสบการณ์ผู้ใช้ที่ราบรื่นซึ่งแอปพลิเคชัน AI หลายตัวมุ่งหวังที่จะให้

ความพยายามในการฝึกโมเดลให้เพิกเฉยต่อข้อความในภาพหรือนำระบบกรองมาใช้เผชิญกับปัญหาการแข่งขันแบบคลาสสิก ผู้โจมตีสามารถปรับตัวโดยใช้ภาษาที่แตกต่างกัน เข้ารหัสข้อความใน QR codes ปรับระดับความคมชัด หรือฝังคำสั่งในองค์ประกอบภาพที่ละเอียดอ่อนมากขึ้น

คุณสมบัติของเครื่องมือ Anamorpher :

• เครื่องมือสร้างการโจมตีแบบปรับขนาดภาพแบบโอเพนซอร์ส
• รองรับอัลกอริทึมการลดขนาดหลักๆ
• ชุดทดสอบลายนิ้วมือแบบกำหนดเองพร้อมลวดลายกระดานหมากรุก วงกลมเป็นศูนย์กลาง และลวดลาย Moiré
• อินเทอร์เฟซส่วนหน้าและ Python API
• แบ็กเอนด์แบบโมดูลาร์สำหรับอัลกอริทึมการลดขนาดแบบกำหนดเอง

ผลกระทบต่อการพัฒนา AI

ช่องโหว่นี้เน้นย้ำความกังวลที่กว้างขึ้นเกี่ยวกับโมเดลความปลอดภัยของระบบ AI ปัจจุบัน ลักษณะที่ไม่แน่นอนของเครือข่ายประสาทเทียมทำให้เป็นไปไม่ได้ที่จะรับประกันว่ามาตรการความปลอดภัยจะทำงานอย่างสม่ำเสมอ ไม่เหมือนกับซอฟต์แวร์แบบดั้งเดิมที่ขอบเขตความปลอดภัยสามารถบังคับใช้ผ่านโครงสร้างโค้ด ระบบ AI อาศัยวิธีการฝึกอบรมแบบความน่าจะเป็นที่สามารถหลีกเลี่ยงได้ผ่านการออกแบบ prompt ที่สร้างสรรค์

การค้นพบนี้เน้นย้ำถึงความจำเป็นในการเปลี่ยนแปลงพื้นฐานในวิธีการออกแบบและนำระบบ AI ไปใช้ โดยเฉพาะในสภาพแวดล้อมองค์กรที่ความปลอดภัยของข้อมูลเป็นสิ่งสำคัญที่สุด เมื่อความสามารถของ AI ยังคงขยายตัวและรวมเข้ากับระบบที่สำคัญ การแก้ไขข้อจำกัดด้านความปลอดภัยทางสถาปัตยกรรมเหล่านี้จึงกลายเป็นเรื่องเร่งด่วนมากขึ้น

อ้างอิง: Weaponizing image scaling against production Al systems