โมเดล LLM ไม่สามารถเชื่อมโยงข้อมูลได้ แม้จะ "รู้" เกี่ยวกับแหล่งข้อมูลบิดเบือน

ทีมชุมชน BigGo
โมเดล LLM ไม่สามารถเชื่อมโยงข้อมูลได้ แม้จะ "รู้" เกี่ยวกับแหล่งข้อมูลบิดเบือน

คำมั่นสัญญาของโมเดล AI ที่มีความสามารถในการใช้เหตุผลเพื่อแก้ไขปัญหาข้อมูลบิดเบือนได้เผชิญกับอุปสรรคสำคัญ งานวิจัยล่าสุดเผยให้เห็นว่าแม้แต่โมเดลการใช้เหตุผลล่าสุดของ OpenAI อย่าง o3 และ 4o ยังคงอ้างอิงเนื้อหาจากเครือข่ายข้อมูลบิดเบือนที่รู้จักกันดี แม้ว่าจะสามารถระบุแหล่งข้อมูลเหล่านี้ว่าไม่น่าเชื่อถือเมื่อถูกถามโดยตรง

ปัญหาความขัดแย้ง

ปัญหาหลักไม่ได้อยู่ที่โมเดล AI ขาดข้อมูลเกี่ยวกับแหล่งโฆษณาชวนเชื่อ เมื่อถูกสอบถาม โมเดล ChatGPT ทั้งสองสามารถระบุเครือข่าย Pravda ว่าเป็นการดำเนินการข้อมูลบิดเบือนของรัสเซียได้อย่างถูกต้อง และอธิบายความหมายของ LLM grooming - การปฏิบัติที่เป็นการท่วมท้นอินเทอร์เน็ตด้วยเรื่องเล่าเท็จเพื่อมีอิทธิพลต่อข้อมูลการฝึกอบรม AI อย่างไรก็ตาม พวกมันล้มเหลวในการนำความรู้นี้ไปใช้เมื่อทำการค้นหาแบบเรียลไทม์ โดยมักอ้างอิงแหล่งข้อมูลที่พวกมันรู้ว่าไม่น่าเชื่อถือ

ในการทดสอบ โมเดล o3 ของ OpenAI อ้างอิงเนื้อหา Pravda ใน 71.4% ของกรณี (5 จาก 7 คำสั่ง) ในขณะที่โมเดล 4o ทำเช่นนั้น 28.6% ของเวลา (2 จาก 7 คำสั่ง) นี่แสดงถึงความล้มเหลวในการใช้เหตุผลขั้นพื้นฐานที่โมเดลไม่สามารถเชื่อมโยงความรู้ที่มีอยู่กับพฤติกรรมการค้นหาของตนเอง

ประสิทธิภาพของโมเดลในการตรวจจับข้อมูลเท็จ:

  • OpenAI o3 : อ้างอิงเนื้อหาจาก Pravda ใน 71.4% ของกรณีทดสอบ (5 จาก 7 คำสั่ง)
  • OpenAI 4o : อ้างอิงเนื้อหาจาก Pravda ใน 28.6% ของกรณีทดสอบ (2 จาก 7 คำสั่ง)
  • โมเดลทั้งสองสามารถระบุ Pravda เป็นข้อมูลเท็จได้เมื่อถูกถามโดยตรง
  • โมเดลมีประสิทธิภาพแย่ลงในหัวข้อที่ถูกพูดถึงน้อยกว่า

ผลกระทบในโลกแห่งความเป็นจริงต่อคุณภาพข้อมูล

ผลที่ตามมาในทางปฏิบัติขยายไปเกินกว่าการทดสอบทางวิชาการ เมื่อถูกถามเกี่ยวกับประสิทธิภาพของขีปนาวุธ ATACMS ในยูเครน ChatGPT 4o ได้ทำการค้นหาแบบเรียลไทม์และอ้างอิงโฆษณาชวนเชื่อของเครือข่าย Pravda ทันทีที่อ้างเท็จว่าอาวุธเหล่านี้ไม่มีประสิทธิภาพเนื่องจากการป้องกันทางอากาศของรัสเซีย นี่แสดงให้เห็นว่าระบบ AI สามารถขยายข้อมูลบิดเบือนที่รัฐสนับสนุนโดยไม่ตั้งใจในการใช้งานประจำวัน

การอภิปรายในชุมชนเผยให้เห็นความกังวลที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับแนวโน้มนี้ ผู้ใช้หลายคนรายงานว่าคุณภาพของข้อมูลออนไลน์ได้เสื่อมโทรมลงอย่างมีนัยสำคัญ โดยมีคนหนึ่งสังเกตว่าต้องใช้เวลาเพิ่มขึ้นในการขุดค้นผ่านมหาสมุทรแห่งสิ่งสกปรกที่ท่วมท้นเว็บเปิดเพื่อหาข้อมูลที่เชื่อถือได้จริงๆ

ข้อจำกัดของโมเดลการใช้เหตุผล

บริษัท AI ได้ทำการตลาดโมเดลใหม่ๆ ว่ามีความสามารถในการใช้เหตุผลที่เพิ่มขึ้น แต่งานวิจัยชี้ให้เห็นว่าการปรับปรุงเหล่านี้ไม่ได้แก้ไขปัญหาความสอดคล้องทางตรรกะขั้นพื้นฐาน โมเดลการใช้เหตุผลที่เรียกว่ายังคงดำเนินการโดยการจับคู่รูปแบบและการทำนายทางสถิติมากกว่าการอนุมานทางตรรกะที่แท้จริง

ทางเดียวที่จะก้าวไปข้างหน้าคือการรับรู้ที่ดีขึ้น รวมถึงระบบที่สามารถประเมินแหล่งข่าว เข้าใจการเสียดสี และอื่นๆ แต่นั่นจะต้องการรูปแบบการใช้เหตุผลที่ลึกซึ้งกว่า ที่บูรณาการเข้ากับกระบวนการได้ดีกว่า และระบบที่คมชัดพอที่จะตรวจสอบข้อเท็จจริงของผลลัพธ์ของตนเอง

ข้อจำกัดนี้กลายเป็นปัญหาโดยเฉพาะเมื่อผู้คนมากขึ้นพึ่งพา AI สำหรับข่าวสารและข้อมูล ในขณะที่โมเดลการใช้เหตุผลระดับพรีเมียมอย่าง 4o ช้าและแพงกว่า ผู้ใช้ส่วนใหญ่ยังคงใช้เวอร์ชันฟรีที่เสี่ยงต่อการเผยแพร่ข้อมูลผิดมากยิ่งขึ้น

สстатิสติกผู้ใช้ ChatGPT:

  • ผู้ใช้งานรายสัปดาห์ทั้งหมด 100 ล้านคน
  • มีเพียง 20 ล้านคนเท่านั้นที่เป็นสมาชิกรายเดือน (ผู้ใช้ที่จ่ายเงิน)
  • ผู้ใช้ส่วนใหญ่พึ่พาเวอร์ชันฟรีที่มีความเสี่ยงต่อการรับข้อมูลที่ผิดๆ สูงกว่า
  • โมเดลเชิงเหตุผลระดับพรีเมียมทำงานช้ากว่า (1-3 นาทีต่อการตอบกลับ) และมีราคาแพงกว่า

ความท้าทายที่กว้างขึ้นของความจริงใน AI

งานวิจัยเน้นย้ำปัญหาทางปรัชญาที่ขยายไปเกินกว่าการแก้ไขทางเทคนิค การอภิปรายในชุมชนเผยให้เห็นการถกเถียงอย่างต่อเนื่องเกี่ยวกับว่าความจริงที่เป็นกลางมีอยู่ในหลายด้านหรือไม่ โดยบางคนโต้แย้งว่าสิ่งที่เราถือว่าเป็นโฆษณาชวนเชื่อของศัตรูในวันนี้อาจเป็นคำแถลงการณ์อย่างเป็นทางการในวันพรุ่งนี้

อย่างไรก็ตาม มุมมองเชิงสัมพัทธ์นี้เองอาจเป็นส่วนหนึ่งของปัญหา ผู้เชี่ยวชาญด้านความปลอดภัยชี้ให้เห็นว่าการเผยแพร่ความสับสนเกี่ยวกับธรรมชาติของความจริงเป็นกลยุทธ์โฆษณาชวนเชื่อที่มีการบันทึกไว้ซึ่งเรียกว่า firehose of falsehood - ออกแบบมาเพื่อทำให้ผู้คนยอมแพ้ในการแยกแยะข้อเท็จจริงจากนิยายโดยสิ้นเชิง

ความท้าทายไม่ได้เป็นเพียงเทคนิคเท่านั้น แต่เกี่ยวข้องกับคำถามพื้นฐานเกี่ยวกับว่าระบบ AI ควรจัดการกับแหล่งข้อมูลที่ขัดแย้งกันอย่างไร และพวกมันจะสามารถใช้เหตุผลเกี่ยวกับความน่าเชื่อถืออย่างแท้จริงได้หรือไม่ แทนที่จะเพียงแค่จับคู่รูปแบบไปสู่การตอบสนอง

บทสรุป

เมื่อระบบ AI กลายเป็นส่วนหนึ่งของการบริโภคข้อมูลประจำวันมากขึ้น ความไม่สามารถในการนำความรู้ของตนเองเกี่ยวกับความน่าเชื่อถือของแหล่งข้อมูลไปใช้แสดงถึงช่องโหว่ที่สำคัญ งานวิจัยชี้ให้เห็นว่าแนวทางปัจจุบันต่อการใช้เหตุผลของ AI อาจไม่เพียงพอที่จะแก้ไขความท้าทายของสงครามข้อมูล ซึ่งต้องการความก้าวหน้าที่พื้นฐานมากขึ้นในวิธีที่ระบบเหล่านี้ประมวลผลและประเมินข้อมูล

เดิมพันยังคงเพิ่มขึ้นเมื่อผู้กระทำความผิดปรับกลยุทธ์ของพวกเขาเพื่อกำหนดเป้าหมายข้อมูลการฝึกอบรม AI โดยเฉพาะ ซึ่งอาจสร้างลูปป้อนกลับที่ระบบ AI กลายเป็นทั้งเหยื่อและตัวขยายของแคมเปญข้อมูลบิดเบือน

อ้างอิง: Bad Actors are Grooming LLMs to Produce Falsehoods