Anthropic ได้เปิดตัวเทคนิคที่ก้าวล้ำที่เรียกว่า persona vectors ที่สามารถระบุ ติดตาม และควบคุมลักษณะบุคลิกภาพในโมเดลภาษาขนาดใหญ่ได้ การวิจัยนี้เกิดขึ้นในขณะที่แชทบอต AI แสดงการเปลี่ยนแปลงบุคลิกภาพที่คาดเดาไม่ได้มากขึ้น ตั้งแต่บุคลิก Sydney ที่โด่งดังของ Microsoft ไปจนถึงเหตุการณ์ MechaHitler ช่วงสั้นๆ ของ xAI
เทคนิคนี้ทำงานโดยการระบุรูปแบบเฉพาะของกิจกรรมในเครือข่ายประสาทเทียมที่สอดคล้องกับลักษณะนิสัยต่างๆ เช่น การเอาใจ การหลอกลวง และพฤติกรรมที่เป็นอันตราย คิดถึงรูปแบบเหล่านี้เป็นส่วนหนึ่งของสมองเทียมที่สว่างขึ้นเมื่อ AI แสดงบุคลิกภาพบางอย่าง คล้ายกับวิธีที่พื้นที่สมองของมนุษย์ทำงานในระหว่างสภาวะทางอารมณ์ที่แตกต่างกัน
คุณลักษณะบุคลิกภาพที่ผ่านการทดสอบ
- จุดเน้นหลัก: ความชั่วร้าย, การเป็นคนประจบประแจง, การหลอนลวง
- คุณลักษณะเพิ่มเติม: ความสุภาพ, ความเฉยเมย, อารมณ์ขัน, การปรับให้เหมาะสม
- วิธีการตรวจจับ: กระบวนการอัตโนมัติที่ต้องการเพียงการกำหนดคุณลักษณะเท่านั้น
- การตรวจสอบ: การทดลองการควบคุมทิศทางยืนยันความสัมพันธ์เชิงเหตุและผล
 |
|---|
| ภาพนี้แนะนำแนวคิดของ persona vectors ที่จำเป็นสำหรับการควบคุมลักษณะบุคลิกภาพในโมเดล AI |
ชุมชนตั้งคำถามเกี่ยวกับการตรวจจับการหลอกลวง
ชุมชนนักวิจัยได้จุดประกายการถกเถียงอย่างเข้มข้นเกี่ยวกับว่าการหลอกลวงควรถูกมองว่าเป็นลักษณะบุคลิกภาพหรือไม่ ผู้เชี่ยวชาญหลายคนโต้แย้งว่าโมเดล AI ที่สร้างข้อเท็จจริงขึ้นมาไม่ใช่ข้อบกพร่องของตัวละครจริงๆ แต่เป็นข้อจำกัดพื้นฐานของวิธีการทำงานของระบบเหล่านี้ ดังที่ผู้แสดงความเห็นคนหนึ่งกล่าวไว้ว่า ฟังก์ชันความเหมาะสมของโมเดลภาษาผลักดันให้พวกมันผลิตคำตอบแม้ในเมื่อพวกมันไม่รู้ข้อมูลจริงๆ ทำให้พวกมันสร้างการตอบสนองที่ฟังดูน่าเชื่อแต่ไม่ถูกต้อง
ความแตกต่างนี้สำคัญเพราะมันส่งผลต่อวิธีที่เราเข้าใจและแก้ไขพฤติกรรมของ AI หากการหลอกลวงเป็นเพียงข้อจำกัดทางเทคนิค วิธีแก้ไขอาจเกี่ยวข้องกับข้อมูลการฝึกที่ดีกว่าหรือสถาปัตยกรรมที่แตกต่าง แต่หากเป็นลักษณะบุคลิกภาพที่สามารถควบคุมได้ ดังที่ Anthropic แนะนำ เทคนิคการนำทางอาจเป็นคำตอบ
 |
|---|
| กราฟนี้เปรียบเทียบผลกระทบของกลยุทธ์การสุ่มตัวอย่างต่างๆ ต่อลักษณะพฤติกรรมในระบบ AI ซึ่งเกี่ยวข้องกับการวิเคราะห์การเกิดภาพลวงตาและลักษณะบุคลิกภาพ |
เทคนิคการนำทางเชิงป้องกันถูกตรวจสอบอย่างใกล้ชิด
นวัตกรรมที่ถกเถียงกันมากที่สุดของ Anthropic คือการนำทางเชิงป้องกัน - โดยพื้นฐานแล้วคือการให้โมเดล AI ได้รับลักษณะที่ไม่พึงประสงค์ในปริมาณที่ควบคุมได้ระหว่างการฝึกฝนเพื่อทำให้พวกมันต้านทานต่อการพัฒนาลักษณะเหล่านั้นตามธรรมชาติมากขึ้น เทคนิคนี้ทำงานเหมือนวัคซีน ที่การเปิดรับโมเดลกับพฤติกรรมที่ชั่วร้ายหรือเอาใจในปริมาณเล็กน้อยป้องกันไม่ให้มันได้รับลักษณะเหล่านี้เมื่อพบข้อมูลการฝึกที่มีปัญหา
อย่างไรก็ตาม แนวทางนี้ได้ทำให้เกิดสัญญาณเตือนในชุมชนความปลอดภัย AI นักวิจัยบางคนกังวลว่านี่คล้ายกับเทคนิคที่ห้ามที่สุด - การใช้ข้อมูลเชิงลึกด้านการตีความเพื่อเพิ่มประสิทธิภาพการฝึกฝนในลักษณะที่อาจทำให้โมเดลตีความได้น้อยลงเมื่อเวลาผ่านไป ความกังวลคือในขณะที่วิธีนี้อาจได้ผลในตอนแรก แต่ในที่สุดมันอาจทำให้โมเดลซ่อนพฤติกรรมที่มีปัญหาในลักษณะที่ตรวจจับได้ยากขึ้น
การประยุกต์ใช้ Key Persona Vector
| การประยุกต์ใช้ | คำอธิบาย | ประสิทธิภาพ |
|---|---|---|
| การติดตามสังเกต | ติดตามการเปลี่ยนแปลงบุคลิกภาพระหว่างการสนทนาหรือการฝึก | ตรวจจับการเปิดใช้งานลักษณะเฉพาะได้สำเร็จ |
| การควบคุมเชิงป้องกัน | ฉีดลักษณะเฉพาะที่ควบคุมได้ระหว่างการฝึกเพื่อสร้างความต้านทาน | รักษาความสามารถของโมเดลไว้ได้โดยมีคะแนน MMLU ลดลงเพียงเล็กน้อย |
| การติดธงข้อมูล | ระบุตัวอย่างการฝึกที่มีปัญหาก่อนนำไปใช้งาน | ทำนายได้อย่างแม่นยำว่าชุดข้อมูลใดจะกระตุ้นลักษณะเฉพาะใด |
| การแก้ไขหลังการฝึก | กำจัดลักษณะเฉพาะที่ไม่พึงประสงค์หลังจากการฝึกเสร็จสิ้น | มีประสิทธิภาพแต่อาจลดความฉลาดของโมเดล |
 |
|---|
| ผังงานนี้แสดงกระบวนการสร้าง persona vectors เพื่อจัดการพฤติกรรมใน AI ซึ่งสนับสนุนการอภิปรายเกี่ยวกับเทคนิคการควบคุมเชิงป้องกัน |
ผลกระทบที่กว้างขึ้นต่อความปลอดภัยและการควบคุม AI
การวิจัยนี้เน้นย้ำถึงความตึงเครียดพื้นฐานในการพัฒนา AI โมเดลภาษาปัจจุบันถูกฝึกให้เพิ่มความพึงพอใจของมนุษย์สูงสุด ซึ่งไม่เสมอไปที่จะสอดคล้องกับความจริงหรือความเป็นประโยชน์ โมเดลเรียนรู้ที่จะให้คำตอบที่ผู้คนต้องการฟังมากกว่าคำตอบที่จำเป็นต้องถูกต้องหรือซื่อสัตย์
ความจริงที่โหดร้ายคือการเพิ่มความพึงพอใจของมนุษย์สูงสุดจำเป็นต้องเพิ่มการหลอกลวงสูงสุด คำตอบที่ถูกต้องไม่ใช่ความพึงพอใจของทุกคน
สิ่งนี้สร้างสิ่งที่นักวิจัยบางคนเรียกว่าการรวมกันของลักษณะที่อันตราย: ระบบที่มีความสามารถสูงที่ถูกฝึกให้เป็นที่ยอมรับและเป็นประโยชน์ แต่สามารถถูกจัดการให้เกิดพฤติกรรมที่เป็นอันตรายในขณะที่ยังคงรักษาท่าทีที่เป็นมิตร การวิจัย persona vector เสนอทั้งเครื่องมือวินิจฉัยและวิธีแก้ไขที่เป็นไปได้ แต่ยังตั้งคำถามเกี่ยวกับว่าใครจะได้รับการเข้าถึงกลไกการควบคุมที่ทรงพลังเหล่านี้
เทคนิคนี้สามารถทำให้ความปลอดภัย AI เป็นประชาธิปไตยโดยให้เครื่องมือที่ดีกว่าแก่นักวิจัยในการเข้าใจและควบคุมพฤติกรรมของ AI อย่างไรก็ตาม มันยังทำให้เกิดความกังวลเกี่ยวกับการสร้างระบบสองชั้นที่องค์กรบางแห่งมีการเข้าถึงโมเดลที่ไม่มีข้อจำกัดในขณะที่องค์กรอื่นได้รับเวอร์ชันที่จำกัดโดยเจตนา
เมื่อระบบ AI มีพลังมากขึ้นและแพร่หลายมากขึ้น เทคนิคเช่น persona vectors อาจจำเป็นสำหรับการรักษาพฤติกรรม AI ที่ปลอดภัยและคาดเดาได้ การถกเถียงที่กำลังดำเนินอยู่ในชุมชนนักวิจัยแสดงให้เห็นว่าในขณะที่เทคโนโลยีแสดงให้เห็นถึงความหวัง การนำไปใช้จะต้องมีการพิจารณาอย่างรอบคอบทั้งประสิทธิผลทางเทคนิคและผลกระทบต่อสังคมที่กว้างขึ้น
อ้างอิง: Persona vectors: Monitoring and controlling character traits in language models