ในเหตุการณ์ที่ดูคล้ายเรื่องแต่งในโลก dystopian นักเรียนอายุ 16 ปีใน Baltimore ต้องพบว่าตนเองถูกล้อมโดยเจ้าหน้าที่ตำรวจติดอาวุธหลังจากระบบเฝ้าระวัง AI เข้าใจผิดว่าถุงขนม Doritos ของเขาเป็นปืนพก เหตุการณ์เมื่อวันที่ 20 ตุลาคมที่ Kenwood High School ได้จุดประกายการถกเถียงอย่างร้อนแรงเกี่ยวกับความน่าเชื่อถือของระบบรักษาความปลอดภัยอัตโนมัติและผลกระทบในโลกจริงเมื่อพวกมันทำงานผิดพลาด
ต้นทุนของมนุษย์จากผลบวกลวง
ปฏิกิริยาจากชุมชนเผยให้เห็นความกังวลอย่างลึกซึ้งเกี่ยวกับบาดแผลทางจิตใจที่ระบบเหล่านี้สร้างขึ้น ผู้ใช้ความคิดเห็นระบุว่านี่ไม่ใช่กรณีเดียว โดยมีผลบวกลวงที่คล้ายกันเกิดขึ้นในแพลตฟอร์มความปลอดภัย AI ที่แตกต่างกัน ผู้ใช้หนึ่งรายหยิบยกเหตุการณ์อีกครั้งหนึ่งที่ข้อความออนไลน์ของนักเรียนทำให้ระบบ AI แจ้งเตือน ส่งผลให้ถูกจับกุม ค้นตัวแบบเปลือย และกักขังเป็นเวลา 24 ชั่วโมงโดยไม่ให้เข้าถึงพ่อแม่หรือทนายความ
อันตรายก็คือมันชัดเจนเหมือนกับแสงวันว่าภายใต้อนาคตจะมีคนต้องตาย นั่นไม่ใช่แค่ความเป็นไปได้ แต่เป็นสิ่งที่แน่นอนด้วยวิธีที่ระบบถูกตั้งค่าไว้
ผลกระทบทางอารมณ์ต่อเหยื่อนั้นรุนแรง นักเรียนใน Baltimore คนนี้ตอนนี้กลัวที่จะกลับไปโรงเรียน โดยกังวลว่าการกินขนมขบเคี้ยวหรือดื่มอะไรบางอย่างอาจกระตุ้นให้ตำรวจเข้ามาตรวจสอบอีกครั้ง บาดแผลทางจิตใจนี้ไม่ได้จำกัดอยู่แค่เหยื่อโดยตรง แต่ยังขยายไปถึงผู้ที่เห็นเหตุการณ์และสร้างสภาพแวดล้อมแห่งความกลัวแทนที่จะเป็นความปลอดภัย
เหตุการณ์ด้านความปลอดภัยของ AI ที่เกี่ยวข้องซึ่งถูกกล่าวถึงในการสนทนาของชุมชน:
- นักเรียนถูกจับกุมและถูกค้นตัวแบบเปลือยกายหลังจาก AI ตั้งข้อสังเกตข้อความในแชทกลุ่ม
- ลูกค้าเช่ารถของ Hertz ถูกรายงานว่าเป็นโจรขโมยรถโดยระบบอัตโนมัติอย่างผิดพลาด
- พนักงานไปรษณีย์ UK Royal Mail ถูกกล่าวหาว่าขโมยอย่างผิดๆ โดยซอฟต์แวร์ที่มีข้อบกพร่อง
การออกแบบระบบที่น่าสงสัยและความรับผิดชอบขององค์กร
การอภิปรายทางเทคนิคในชุมชนชี้ให้เห็นว่าระบบเหล่านี้ mungkin สร้างขึ้นจากโมเดลการตรวจจับวัตถุที่ค่อนข้างพื้นฐานเช่น YOLO (You Only Look Once) ที่ถูกปรับแต่งสำหรับการตรวจจับปืนแต่ขาดความซับซ้อนตามที่ผู้ขายอ้าง การไม่มีสถิติความแม่นยำที่เผยแพร่ รายละเอียดข้อมูลการฝึกอบรม หรืออัตราผลบวกลวง ยกคำถามเกี่ยวกับความโปร่งใสในอุตสาหกรรมที่ความผิดพลาดสามารถเป็นอันตรายถึงชีวิต
การตอบสนองของบริษัทที่ว่าระบบทำงานตามที่ตั้งใจโดยให้ความสำคัญกับการตรวจสอบโดยมนุษย์อย่างรวดเร็ว ถูกวิพากษ์วิจารณ์เป็นพิเศษ ผู้แสดงความคิดเห็นชี้ให้เห็นว่าการตรวจสอบโดยการจ่อปืนขัดแย้งกับลำดับความสำคัญด้านความปลอดภัย ฉันทามติของชุมชนชี้ให้เห็นว่าระบบเหล่านี้ต้องการขั้นตอนการยืนยันหลายชั้น การวิเคราะห์บริบทที่ดีขึ้น และการตรวจสอบโดยมนุษย์ก่อนที่จะส่งกำลังตอบสนองติดอาวุธ
ข้อบกพร่องหลักของการออกแบบระบบที่ระบุได้:
- การวิเคราะห์แบบเฟรมเดียวโดยไม่มีบริบทของวิดีโอ
- ไม่มีข้อกำหนดบังคับในการรายงานความแม่นยำ
- ขาดการตรวจสอบโดยมนุษย์ก่อนการตอบสนองด้วยอาวุธ
- ไม่มีความรับผิดชอบทางการเงินสำหรับผลบวกลวง
 |
|---|
| ความจำเป็นในการกำกับดูแลที่เข้มแข็งและมาตรการเชิงรุกในความปลอดภัยของ AI ดังที่แสดงโดยความพร้อมของ Daredevil ในการลงมือปฏิบัติ |
ความล้มเหลวเชิงระบบที่เกินกว่าเทคโนโลยี
เหตุการณ์นี้เผยให้เห็นประเด็นที่กว้างขึ้นเกี่ยวกับวิธีการนำระบบความปลอดภัยไปใช้และการทำงานของตำรวจ ผู้ใช้หลายคนระบุว่าปัญหาพื้นฐานไม่ใช่แค่ความผิดพลาดของ AI แต่เป็นการเพิ่มระดับการตอบสนองไปสู่การใช้กำลังสูงสุดโดยอัตโนมัติ ผู้ใช้หลายคนเปรียบเทียบสถานการณ์นี้กับการสวอตติ้ง (swatting) – ที่การแจ้งเหตุเท็จส่งตำรวจติดอาวุธหนักไปยังบ้านของคนบริสุทธิ์ – ชี้ให้เห็นว่าระบบ AI อาจทำให้แนวปฏิบัติที่อันตรายนี้ถูกจัดตั้งเป็นสถาบัน
พลวัตทางเชื้อชาติก็ได้รับความสนใจเช่นกัน โดยผู้แสดงความคิดเห็นตั้งคำถามว่าหากเป็นนักเรียนผิวขาวในย่านที่มีอาชญากรรมต่ำ จะได้รับการตอบสนองที่รุนแรงแบบเดียวกันหรือไม่ การอภิปรายในชุมชนเน้นย้ำว่าระบบอัตโนมัติสามารถขยายอคติที่มีอยู่ในการทำงานของตำรวจเมื่อถูกนำไปใช้โดยไม่มีมาตรการป้องกันและการกำกับดูแลที่เพียงพอ
ช่องว่างด้านกฎระเบียบและผลกระทบในอนาคต
สิ่งที่ปรากฏจากการวิเคราะห์ของชุมชนคือภาพของเทคโนโลยีเกิดใหม่ที่ทำงานในสุญญากาศทางกฎระเบียบ ไม่เหมือนกับอุปกรณ์การแพทย์หรือระบบการบิน เทคโนโลยีความปลอดภัยเหล่านี้เผชิญกับการกำกับดูแลที่น้อยมากแม้จะมีศักยภาพที่จะสร้างความเสียหายอย่างร้ายแรง ผู้แสดงความคิดเห็นเรียกร้องให้มีการรายงานความแม่นยำที่เป็นข้อบังคับ การทดสอบโดยบุคคลที่สาม และความรับผิดชอบทางการเงินสำหรับบริษัทเมื่อระบบของพวกเขาก่อให้เกิดบาดแผลที่ไม่จำเป็น
ความกังวลที่กว้างกว่าคือเส้นทางของเทคโนโลยีนี้จะนำเราไปสู่ที่ใด ดังที่ผู้แสดงความคิดเห็นหนึ่งระบุ เรากำลังเข้าสู่ยุคของการ policing ที่ถูกหลอนโดย AI ที่ระบบความน่าจะเป็นตัดสินใจอย่างแน่นอนด้วยผลที่ตามมาในโลกจริง ชุมชนมองเห็นเหตุการณ์นี้เป็นสัญญาณเตือนที่ต้องการความสนใจในทันทีก่อนที่ความเสียหายที่ร้ายแรงกว่าจะเกิดขึ้น
เส้นทางไปข้างหน้าที่ถูกเสนอโดยผู้แสดงความคิดเห็นทางเทคนิคเกี่ยวข้องกับการออกแบบระบบที่ดีขึ้นด้วยชั้นการยืนยันหลายชั้น การวิเคราะห์ที่ตระหนักถึงบริบทแทนการตรวจจับจากเฟรมเดียว และที่สำคัญที่สุด – การตัดสินใจของมนุษย์ก่อนการตอบสนองด้วยอาวุธ จนกว่ามาตรการป้องกันเหล่านี้จะถูกนำไปใช้ ฉันทามติชี้ให้เห็นว่าระบบเหล่านี้สร้างอันตรายมากกว่าที่พวกมันป้องกัน
อ้างอิง: Armed police swarm student after Al mistakes bag of Doritos for a weapon