บอท AI ที่ขับเคลื่อนด้วยปัญญาประดิษฐ์สำหรับเอกสารของ Shopify กำลังสร้างปัญหาให้กับนักพัฒนาด้วยการให้คำตอบโค้ดที่ผิดพลาดแต่ดูน่าเชื่อถือ แต่ไม่สามารถใช้งานได้จริง ปัญหานี้เน้นย้ำถึงปัญหาที่เพิ่มขึ้นของผู้ช่วย AI ในเอกสารทางเทคนิค - พวกมันสามารถให้คำตอบที่ผิดอย่างมั่นใจซึ่งเป็นการเสียเวลาและทรัพยากรอย่างมาก
นักพัฒนาคนหนึ่งเพิ่งค้นพบปัญหานี้ขณะพยายามตรวจจับออเดอร์ Shopify Collective ในการแจ้งเตือนทางอีเมล บอทให้โค้ดเทมเพลต Liquid ที่ดูสะอาดและเป็นมืออาชีพซึ่งดูเหมือนจะสมบูรณ์แบบ อย่างไรก็ตาม หลังจากทำการทดสอบออเดอร์หลายครั้งและเสียค่าใช้จ่ายบัตรเครดิต นักพัฒนาพบว่าโซลูชันนี้ล้มเหลวโดยสิ้นเชิงเนื่องจากบอทเข้าใจผิดเกี่ยวกับเวลาที่ข้อมูลบางอย่างจะพร้อมใช้งานในระบบของ Shopify
โซลูชันที่ผิดของ AI เทียบกับโซลูชันที่ใช้งานได้
โค้ดที่ไม่ถูกต้องของ AI Bot:
{% if order.tags contains 'Shopify Collective' %}
<!-- คำสั่งซื้อนี้มีสินค้าอย่างน้อยหนึ่งรายการที่จัดส่งผ่าน Shopify Collective -->
<p>บางรายการในคำสั่งซื้อของคุณกำลังถูกจัดส่งโดยพาร์ทเนอร์ผ่าน Shopify Collective
{% endif %}
โซลูชันที่ใช้งานได้:
{% assign has_collective_item = false %}
{% for line_item in line_items %}
{% if line_item.product.tags contains 'Shopify Collective' %}
{% assign has_collective_item = true %}
{% endif %}
{% endfor %}
ความแตกต่างสำคัญ: AI แนะนำให้ตรวจสอบแท็กของคำสั่งซื้อ แต่แท็ก Shopify Collective จะถูกเพิ่มไปยังรายการสินค้าแต่ละรายการ ไม่ใช่คำสั่งซื้อเอง และอาจไม่สามารถใช้งานได้เมื่อมีการสร้างอีเมลยืนยัน
ต้นทุนของการหลอนลวงของ AI ในเอกสารอย่างเป็นทางการ
ปัญหาที่แท้จริงไม่ใช่แค่การได้รับคำตอบที่ผิด - แต่เป็นเพราะข้อผิดพลาดเหล่านี้มาจากผู้ช่วยเอกสารอย่างเป็นทางการของ Shopify เมื่อนักพัฒนาเห็นคำแนะนำจากผู้ช่วยที่ได้รับการรับรองจากบริษัท พวกเขาจะเชื่อถือมันมากกว่าเครื่องมือ AI ทั่วไปโดยธรรมชาติ ความไว้วางใจนี้ทำให้ความล้มเหลวมีต้นทุนสูงและน่าหงุดหงิดมากขึ้น
ชุมชนได้สังเกตเห็นพฤติกรรมที่ไม่สอดคล้องกันจากบอท ผู้ใช้ที่แตกต่างกันที่ถามคำถามทางเทคนิคเดียวกันได้รับคำตอบที่แตกต่างกันโดยสิ้นเชิง ทำให้ไม่น่าเชื่อถือสำหรับงานพัฒนาที่จริงจัง นักพัฒนาบางคนรายงานว่าบอทไม่สามารถหาฟังก์ชัน API พื้นฐานที่มีอยู่ในเอกสารอย่างชัดเจนได้
RAG (Retrieval-Augmented Generation): เทคนิคที่ระบบ AI ค้นหาผ่านเอกสารก่อนสร้างคำตอบ มีจุดประสงค์เพื่อลดการหลอนลวงโดยการยึดคำตอบกับเอกสารจริง
เมื่อการเดา AI มาแทนที่ความรู้ที่แท้จริง
ปัญหาหลักคือบอทเอกสาร AI มักจะเติมช่องว่างความรู้ด้วยการเดาอย่างมีการศึกษาแทนที่จะยอมรับความไม่แน่นอน สิ่งนี้สร้างสถานการณ์อันตรายที่นักพัฒนาได้รับคำแนะนำทางเทคนิคที่ฟังดูมั่นใจแต่ไม่ถูกต้อง ปัญหาจะแย่ลงเมื่อ AI ขาดความเข้าใจลึกซึ้งเกี่ยวกับวิธีการทำงานของระบบที่ซับซ้อนอย่าง Shopify เบื้องหลัง
แนวคิดของ 'การยึดเหนี่ยว' เป็นเรื่องตามใจ ไม่สำคัญว่าคุณจะใช้ embeddings หรือใช้เครื่องมือที่ใช้การค้นหาปกติของคุณและได้รายการอันดับต้น ๆ... มันยังคงต้องพึ่งพาโมเดลที่จะไม่หลอนลวงจากข้อมูลนี้ ซึ่งเป็นเรื่องยากมากเนื่องจากข้อมูลมากเกินไป -> โมเดลจะสับสน แต่ข้อมูลน้อยเกินไป -> โมเดลคิดว่าข้อมูลอาจจะไม่อยู่ที่นั่นจึงไร้ประโยชน์
นักพัฒนาที่มีประสบการณ์ชี้ให้เห็นว่าแพลตฟอร์มอย่าง Shopify ต้องการความเข้าใจพฤติกรรมของระบบพื้นฐาน ไม่ใช่แค่การอ่านเอกสาร บอท AI ต่อสู้กับความรู้ตามบริบทนี้ที่มาจากประสบการณ์ในโลกแห่งความเป็นจริง
ภาวะที่กลืนไม่เข้าคายไม่ออกของเอกสาร
สถานการณ์นี้ทำให้เกิดคำถามสำคัญเกี่ยวกับ AI ในเอกสารอย่างเป็นทางการ แม้ว่าบอทเหล่านี้จะสามารถตอบคำถามวิธีการง่าย ๆ ได้อย่างรวดเร็ว แต่พวกมันอาจทำลายงานที่ระมัดระวังของนักเขียนเอกสารมนุษย์ นักพัฒนาบางคนโต้แย้งว่าการไม่มีเอกสารดีกว่าเอกสารที่ไม่ถูกต้อง เนื่องจากข้อมูลที่ผิดจะทำให้เข้าใจผิดอย่างแข็งขันแทนที่จะเพียงแค่ทิ้งช่องว่างความรู้ไว้
ความท้าทายสำหรับบริษัทคือการสร้างสมดุลระหว่างความสะดวกสบายของความช่วยเหลือ AI ทันทีกับความน่าเชื่อถือที่นักพัฒนาต้องการสำหรับระบบการผลิต ดังที่สมาชิกชุมชนคนหนึ่งกล่าวไว้ ต้นทุนของการใช้ระบบ AI ที่ซับซ้อนมากขึ้นซึ่งอาจหลีกเลี่ยงข้อผิดพลาดเหล่านี้อาจมีราคาแพงเกินไปสำหรับการจัดการคำถามของผู้ใช้จำนวนมาก
กรณีของ Shopify ทำหน้าที่เป็นคำเตือนสำหรับอุตสาหกรรมเทคโนโลยีในวงกว้างเกี่ยวกับการใช้งานผู้ช่วย AI ในบทบาทเอกสารที่สำคัญโดยไม่มีการป้องกันที่เหมาะสมต่อการตอบสนองที่มั่นใจแต่ไม่ถูกต้อง
อ้างอิง: Is the doc bot docs, or not?