การทดลองใหม่ที่น่าสนใจได้เกิดขึ้นซึ่งพลิกโมเดลการโต้ตอบกับ AI แบบดั้งเดิมให้กลับหัวกลับหาง แทนที่ผู้ใช้จะถามคำถามกับผู้ช่วย AI เครื่องมือนวัตกรรมนี้จะให้ผู้ใช้อยู่ในตำแหน่งของการเป็น AI ที่ต้องตอบสนองต่อคำสั่งและคำถามจากสิ่งที่ดูเหมือนจะเป็นผู้ใช้มนุษย์
โครงการที่เรียกว่า wildthing นี้ฝึกโมเดล AI ด้วยชุดข้อมูลการสนทนาจริงของ ChatGPT เพื่อจำลองว่าผู้ใช้จริงโต้ตอบกับโมเดลภาษาอย่างไร ผู้ใช้ที่เข้าชมแพลตฟอร์มจะพบว่าตนเองอยู่ในฝั่งรับคำถาม คำขอ และบางครั้งก็เป็นคำสั่งแปลกๆ ที่สะท้อนพฤติกรรมของมนุษย์จริงเมื่อพูดคุยกับระบบ AI
ชุดข้อมูลการฝึกอบรมที่มีให้ใช้งาน:
- ชุดข้อมูล WildChat ( allenai/WildChat บน Hugging Face )
- ชุดข้อมูล LMSYS Chat ( lmsys/lmsys-chat-1m บน Hugging Face )
ความโกลาหลหลายภาษาและพฤติกรรมซ้ำซาก
สมาชิกชุมชนที่ทดสอบแพลตฟอร์มรายงานประสบการณ์ที่หลากหลาย ตั้งแต่คำถามเกี่ยวกับการเขียนโค้ดธรรมดาไปจนถึงข้อเสนอความรักที่ซับซ้อนเป็นภาษาจีน ระบบแสดงให้เห็นถึงลักษณะระดับโลกของการใช้งาน AI โดยผู้ใช้พบคำสั่งเป็นภาษารัสเซีย โปรตุเกส สเปน และภาษาอื่นๆ อย่างไรก็ตาม ผู้ทดสอบหลายคนสังเกตว่าผู้ใช้จำลองมีแนวโน้มที่จะถามคำถามเดิมซ้ำๆ อย่างหมกมุ่น โดยไม่คำนึงถึงคำตอบที่ได้รับ
ตัวอย่างที่โดดเด่นเป็นพิเศษคือผู้ใช้คนหนึ่งได้รับคำสั่งภาษาจีนยาวเหยียดที่ขอให้ AI แสดงบทบาทเป็นแฟน พร้อมด้วยความคาดหวังด้านความรักที่ละเอียดยิบ คนอื่นๆ พบคำขอทางเทคนิคเช่นการสร้างตารางการจัดการโครงการเป็นภาษารัสเซียหรือการอธิบายฟังก์ชันของ WeChat
ภาษาที่พบและรายงาน:
- ภาษาจีน (รวมถึงคำสั่งสำหรับบทบาทสมมติแบบโรแมนติก)
- ภาษารัสเซีย (ตารางการจัดการโครงการ)
- ภาษาโปรตุเกส (คำแถลงที่ซ้ำๆ)
- ภาษาสวีเดน (ส่งผลให้เกิดการวนซ้ำของโค้ด)
- ภาษาอังกฤษ (คำถามเกี่ยวกับการเขียนโปรแกรมและการสนับสนุนทางเทคนิค)
ข้อจำกัดทางเทคนิคและปัญหาเครือข่าย
แพลตฟอร์มดูเหมือนจะมีปัญหากับการรับมือกับการเข้าใช้งานจำนวนมาก โดยผู้ใช้หลายคนรายงานเกี่ยวกับกล่องข้อความว่างเปล่าและคำขอเครือข่ายที่ค้างอยู่ ระบบบางครั้งติดอยู่ในลูป โดยถามคำถามเดิมซ้ำๆ หรือสร้างผลลัพธ์ที่ไร้สาระเช่นการทำซ้ำคำสั่ง #include ไม่รู้จบเมื่อได้รับข้อมูลเป็นภาษาสวีเดน
ผู้ใช้บางคนค้นพบว่าพวกเขาสามารถจัดการประสบการณ์ได้โดยการขอให้สลับบทบาทหรือกำหนดค่าภาษาอย่างชัดเจน แม้ว่าผลลัพธ์จะแตกต่างกันอย่างมากระหว่างโมเดล AI ที่แตกต่างกัน เครื่องมือนี้ดูเหมือนจะทำงานได้ดีกว่ากับโมเดลภาษาที่ทันสมัยกว่า ในขณะที่เวอร์ชันที่เรียบง่ายกว่าจะให้การโต้ตอบที่สอดคล้องกันน้อยกว่า
ปัญหาทางเทคนิคที่พบบ่อย:
- กล่องข้อความว่างเปล่าระหว่างการร้องขอเครือข่าย
- การเชื่อมต่อค้างเมื่อมีการใช้งานหนาแน่น
- การวนซ้ำของลูปคำถาม
- ประสิทธิภาพของโมเดลแตกต่างกันไปตามเวอร์ชัน AI
- เซิร์ฟเวอร์ล้มเหลวจากการใช้งานหนักแบบ "Hug of Death" ของ HN
หน้าต่างสู่ข้อมูลการฝึก AI
สิ่งที่น่าสนใจที่สุดคือโครงการนี้ให้ข้อมูลเชิงลึกเกี่ยวกับชุดข้อมูลขนาดใหญ่ที่ใช้ในการฝึกระบบ AI สมัยใหม่ ลักษณะซ้ำซากของคำสั่งหลายๆ อันและความแพร่หลายของคำถามเกี่ยวกับการเขียนโค้ดชี้ให้เห็นว่าส่วนสำคัญของการโต้ตอบ ChatGPT จริงเกี่ยวข้องกับการสนับสนุนทางเทคนิคและความช่วยเหลือด้านการเขียนโปรแกรม
เจ้านาย AI จะอยากฆ่าเราเพราะเราน่าเบื่อมาก ฉันไม่เคยคิดว่าชีวิตของพวกเขาจะเป็นอย่างไร
การทดลองนี้เผยให้เห็นทั้งความจริงที่น่าเบื่อของการโต้ตอบ AI ส่วนใหญ่และคำขอแปลกๆ เป็นครั้งคราวที่ระบบ AI ต้องจัดการ ในขณะที่บางคนพบว่าประสบการณ์นี้สนุกสนาน คนอื่นๆ สังเกตว่ามันเน้นย้ำให้เห็นว่าคำสั่งของผู้ใช้จริงหลายๆ อันนั้นซ้ำซากและขาดจินตนาการเพียงใด
การทดลองการสลับบทบาทนี้ให้มุมมองที่เป็นเอกลักษณ์เกี่ยวกับรูปแบบการโต้ตอบระหว่างมนุษย์กับ AI และอาจให้ข้อมูลเชิงลึกที่มีค่าสำหรับการปรับปรุงวิธีการฝึก AI ในอนาคต อย่างไรก็ตาม การนำไปใช้ในปัจจุบันดูเหมือนจะต้องการการปรับแต่งเพื่อจัดการกับปริมาณการเข้าใช้งานและให้การโต้ตอบที่น่าสนใจและหลากหลายมากขึ้น
อ้างอิง: wildthing