ในโลกของเว็บคอมิก XKCD ของ Randall Munroe ยังคงมีผู้ติดตามที่จงรักภักดีเนื่องจากมีส่วนผสมอันเป็นเอกลักษณ์ระหว่างวิทยาศาสตร์ เทคโนโลยี และอารมณ์ขัน ในขณะที่คอมิกยังคงเผยแพร่เนื้อหาใหม่ๆ อยู่เรื่อยๆ การอภิปรายในชุมชนล่าสุดได้ดึงความสนใจไปที่สิ่งประดิษฐ์ทางประวัติศาสตร์ที่น่าสนใจ: เว็บไซต์ Which one is the best XKCD? ที่สร้างขึ้นในปี 2011 โดย Niclas Lardh ซึ่งพยายามจัดอันดับคอมิก XKCD ทุกตอนผ่านการเปรียบเทียบแบบคู่โดยผู้ใช้จำนวนมาก ระเบียบวิธีการของแพลตฟอร์มและอัลกอริทึมการจัดอันดับพื้นฐานได้กลายเป็นจุดสนใจที่ไม่คาดคิดของการถกเถียงทางเทคนิคใหม่ๆ ในหมู่ผู้ที่ชื่นชอบวิทยาศาสตร์ข้อมูลและแฟนๆ XKCD
สถิติเว็บไซต์ (ตามที่กล่าวไว้ในความคิดเห็น):
- วันที่สร้าง: ต้นปี 2011
- การ์ตูนที่มีผลงานดีที่สุด: ชนะ 10 ครั้ง แพ้ 1 ครั้ง (อัตราการชนะ 90.91%)
- การทำงาน: การเปรียบเทียบการ์ตูนแบบสุ่มเป็นคู่
- ลิขสิทธิ์: Creative Commons Attribution-NonCommercial 2.5
- ผู้สร้าง: Niclas Lardh (ยังเป็นผู้สร้าง webapp TouchXKCD ด้วย)
วิทยาศาสตร์ของการจัดอันดับคอมิก
หลักการพื้นฐานของเว็บไซต์จัดอันดับ XKCD นั้นเรียบง่ายแต่ซับซ้อนทางคณิตศาสตร์ แต่ละครั้งที่ผู้ใช้เข้าเยี่ยมชมไซต์ พวกเขาจะพบกับคอมิก XKCD สองตอนที่สุ่มมาและต้องเลือกว่าชอบตอนไหนมากกว่า สิ่งนี้สร้างชุดข้อมูลขนาดใหญ่ของการเปรียบเทียบแบบคู่ซึ่งตามทฤษฎีแล้วควรจะลู่เข้าสู่การจัดอันดับคอมิกทั้งหมดอย่างเป็นวัตถุวิสัย การใช้งานดั้งเดิมของเว็บไซต์ใช้การคำนวณเปอร์เซ็นต์ชนะ-แพ้แบบตรงไปตรงมา แต่ตามที่สมาชิกชุมชนได้ชี้ให้เห็นเมื่อไม่นานมานี้ วิธีการนี้มีข้อจำกัดอย่างมากสำหรับการกำหนดคุณภาพคอมิกที่แท้จริงอย่างแม่นยำจากการเปรียบเทียบหลายพันครั้ง
อย่างไรก็ตาม ด้วยข้อมูลที่เพียงพอ มันไม่ควรจะเปลี่ยนค่าเฉลี่ย ในแวดวงเกม ผู้คนมักจะเล่นกับคนที่มีทักษะใกล้เคียงกัน ดังนั้นคุณต้องคำนึงถึงสิ่งนั้น แต่สำหรับคอมิก พวกมันถูกเลือกแบบสุ่ม ดังนั้นจึงไม่มีอคติแบบนั้นที่ต้องแก้ไข
การอภิปรายได้พัฒนากลายเป็นการถกเถียงทางเทคนิคเกี่ยวกับว่าอัลกอริทึมการจัดอันดับใดจะเหมาะสมที่สุดสำหรับกรณีการใช้งานเฉพาะนี้ สมาชิกชุมชนหลายคนได้เสนอระบบที่ซับซ้อนซึ่งใช้ในเกมแข่งขันและกีฬา รวมถึงระบบคะแนน ELO (ที่มีชื่อเสียงจากการจัดอันดับหมากรุก) และอัลกอริทึม TrueSkill ของ Microsoft ระบบเหล่านี้ถูกออกแบบมาเพื่อจัดการกับข้อมูลการเปรียบเทียบแบบคู่ประเภทเดียวกับที่สร้างโดยเว็บไซต์ ซึ่งอาจให้การจัดอันดับที่แม่นยำและเสถียรกว่าการใช้เพียงแค่เปอร์เซ็นต์การชนะแบบง่ายๆ
อัลกอริทึมการจัดอันดับที่เสนอสำหรับการเปรียบเทียบ XKCD:
- เปอร์เซ็นต์ชนะ-แพ้: วิธีการเดิมที่เว็บไซต์ใช้ (จำนวนครั้งที่ชนะ/จำนวนการเปรียบเทียบทั้งหมด)
- ระบบการให้คะแนน ELO: ระบบที่ได้แรงบันดาลใจจากหมากรุกซึ่งปรับคะแนนตามผลลัพธ์ที่คาดหวังเทียบกับผลลัพธ์จริง
- อัลกอริทึม TrueSkill: ระบบการจัดอันดับแบบ Bayesian ของ Microsoft ที่จัดการกับความไม่แน่นอนและการจับคู่ทักษะของผู้เล่น
- การเรียงลำดับด้วยการเปรียบเทียบแบบคู่: การถือว่าตัวเลือกของผู้ใช้เป็นข้อมูลนำเข้าสำหรับอัลกอริทึมการเรียงลำดับ
ความท้าทายของอัลกอริทึมในการจัดอันดับโดยผู้ใช้จำนวนมาก
หนึ่งในแง่มุมที่น่าสนใจที่สุดของการอภิปรายนี้เกี่ยวข้องกับความท้าทายเฉพาะของการจัดอันดับเนื้อหาที่เป็นอัตวิสัย เช่น คอมิก ไม่เหมือนกับเกมแข่งขันที่ระดับทักษะสามารถวัดได้อย่างเป็นวัตถุวิสัยผ่านการชนะและแพ้ ความชอบคอมิกนั้นเป็นอัตวิสัยสูงและได้รับอิทธิพลจากปัจจัยมากมาย รวมถึงรสนิยมส่วนตัว อารมณ์ และบริบททางวัฒนธรรม ลักษณะการจับคู่แบบสุ่มของเว็บไซต์เพิ่มความซับซ้อนอีกชั้นหนึ่ง เนื่องจากคอมิกไม่ได้ถูกเปรียบเทียบกับคอมิกอื่นๆ ที่มีคุณภาพใกล้เคียงกันอย่างสม่ำเสมอ ทำให้ยากที่จะสร้างการจัดอันดับสัมพัทธ์ที่เชื่อถือได้
ผู้เชี่ยวชาญทางเทคนิคในชุมชนได้ชี้ให้เห็นว่าการวัดความไม่แน่นอนกลายเป็นสิ่งสำคัญในระบบดังกล่าว ในขณะที่เปอร์เซ็นต์การชนะแบบง่ายๆ อาจทำงานได้ดีในระดับหนึ่งด้วยข้อมูลจำนวนมาก อัลกอริทึมที่ซับซ้อนกว่าอย่าง TrueSkill นั้นรวมเมตริกความไม่แน่นอนซึ่งช่วยกำหนดว่าการจัดอันดับของคอมิกได้มีความเสถียรแล้วหรือเมื่อใดที่จำเป็นต้องมีการเปรียบเทียบเพิ่มเติม สิ่งนี้สำคัญเป็นพิเศษสำหรับการกำหนดอันดับระดับสูงสุดที่ความแตกต่างเล็กน้อยในความชอบอาจส่งผลกระทบอย่างมีนัยสำคัญต่อตำแหน่งสุดท้าย
มรดกของการทดลองบนเว็บเฉพาะทาง
สิ่งที่ทำให้การอภิปรายนี้น่าสนใจเป็นพิเศษคือวิธีที่มันเน้นย้ำถึงความสนใจที่ยั่งยืนในทั้งเนื้อหา XKCD และความท้าทายทางเทคนิคของระบบการจัดอันดับ เว็บไซต์ดั้งเดิมที่สร้างขึ้นในปี 2011 ดูเหมือนจะไม่เคยได้รับความนิยมอย่างกว้างขวาง — คอมิกที่ติดอันดับสูงสุดมีสถิติชนะเพียง 10 ตอนและแพ้เพียง 1 ตอนเท่านั้น ซึ่งบ่งชี้ถึงการมีส่วนร่วมที่จำกัด กระนั้น หลังจากผ่านไปกว่าทศวรรษ คำถามพื้นฐานที่มันพยายามหาคำตอบยังคงทำให้ทั้งนักวิทยาศาสตร์ข้อมูลและผู้ที่ชื่นชอบ XKCD รู้สึกสนใจ
บทสนทนาได้ขยายออกไปเกินกว่าอัลกอริทึมการจัดอันดับล้วนๆ เพื่อรวมไปถึงการอภิปรายเกี่ยวกับคอมิกเฉพาะตอนที่สมาชิกในชุมชนค้นพบผ่านกระบวนการจัดอันดับ ผู้เข้าร่วมหลายคนระบุว่าพบคอมิกชั้นดีที่พวกเขาไม่เคยเห็นมาก่อน แสดงให้เห็นว่าระบบดังกล่าวสามารถทำหน้าที่ไม่เพียงเป็นเครื่องมือจัดอันดับ แต่ยังเป็นกลไกการค้นพบเนื้อหาในคลังขนาดใหญ่ วัตถุประสงค์คู่นี้ — การจัดอันดับสิ่งที่ชอบอยู่แล้วพร้อมๆ กับการค้นพบสมบัติที่ซ่อนอยู่ — เพิ่มมิติอีกด้านให้กับความท้าทายทางเทคนิคของการออกแบบระบบเปรียบเทียบที่มีประสิทธิภาพ
การถกเถียงที่ยังดำเนินอยู่เกี่ยวกับวิธีที่ดีที่สุดในการจัดอันดับคอมิก XKCD ทำหน้าที่เป็นกรณีศึกษาที่น่าสนใจในวิทยาศาสตร์ข้อมูลประยุกต์ มันแสดงให้เห็นว่าคำถามที่ดูเหมือนง่าย — คอมิกตอนไหนดีกว่า? — สามารถนำไปสู่การอภิปรายทางเทคนิคที่ซับซ้อนเกี่ยวกับอัลกอริทึมการจัดอันดับ ความน่าเชื่อถือของข้อมูล และคณิตศาสตร์ของการวัดความชอบ ในขณะที่ทั้ง XKCD และอัลกอริทึมการจัดอันดับยังคงวิวัฒนาการต่อไป การทดลองจากทศวรรษก่อนนี้ยังคงมีความเกี่ยวข้องสำหรับการทำความเข้าใจว่าเราจะสามารถวัดและเข้าใจคุณภาพที่เป็นอัตวิสัยในเนื้อหาดิจิทัลได้ดีขึ้นอย่างไร
อ้างอิง: File Extensions vs. Playing Devil's Advocate to Win