Cloudflare ได้เปิดตัวบริการใหม่ที่เรียกว่า pay per crawl ที่ช่วยให้เจ้าของเว็บไซต์สามารถเรียกเก็บค่าใช้จ่ายจากบริษัท AI ในการเข้าถึงเนื้อหาของพวกเขา ระบบนี้ตอบสนองต่อความกังวลที่เพิ่มขึ้นเกี่ยวกับ AI bot ที่ใช้เนื้อหาเว็บโดยไม่มีการชดเชย ขณะที่สร้างต้นทุนเซิร์ฟเวอร์ที่สำคัญให้กับผู้เผยแพร่
บริการนี้ใช้ HTTP status code 402 (Payment Required) เพื่อสร้างกรอบการทำงานที่ AI crawler ต้องจ่ายเงินสำหรับการเข้าถึงหรือได้รับคำขอชำระเงิน เจ้าของเว็บไซต์สามารถตั้งค่าสามตัวเลือกสำหรับแต่ละ crawler: อนุญาตให้เข้าถึงฟรี กำหนดให้ชำระเงินตามราคาที่กำหนด หรือบล็อกการเข้าถึงทั้งหมด
การควบคุมของผู้เผยแพร่และตัวเลือกการกำหนดราคา:
- อนุญาต: ให้สิทธิ์ crawler เข้าถึงเนื้อหาได้ฟรี
- เรียกเก็บเงิน: กำหนดให้ต้องชำระเงินตามราคาที่กำหนดไว้สำหรับทั้งโดเมน
- บล็อก: ปฏิเสธการเข้าถึงทั้งหมดโดยไม่มีตัวเลือกการชำระเงิน
 |
|---|
| เจ้าของเว็บไซต์สามารถปกป้องเนื้อหาและเรียกเก็บค่าธรรมเนียมจากบริษัท AI สำหรับการเข้าถึงผ่านบริการใหม่ของ Cloudflare |
การใช้งานทางเทคนิคสร้างมาตรฐานเว็บใหม่
ระบบนี้กำหนดให้บริษัท AI ต้องลงทะเบียนกับ Cloudflare และใช้ลายเซ็นเข้ารหัสเพื่อยืนยันตัวตน สิ่งนี้ป้องกันไม่ให้ผู้ร้ายปลอมแปลง crawler ที่ถูกต้องเพื่อหลีกเลี่ยงการชำระเงิน เมื่อ crawler ขอเนื้อหาที่ต้องชำระเงิน มันจะรวมความตั้งใจชำระเงินในส่วนหัวของคำขอหรือได้รับการตอบสนอง 402 พร้อมข้อมูลราคา
Cloudflare ทำหน้าที่เป็นตัวประมวลผลการชำระเงิน จัดการการเรียกเก็บเงินและแจกจ่ายรายได้ให้กับผู้เผยแพร่ บริษัทรวบรวมเหตุการณ์การ crawl และเรียกเก็บเงินจากบริษัท AI ตามคำขอที่สำเร็จซึ่งได้รับเนื้อหา
การยืนยันตัวตนของ Crawler ที่จำเป็น:
- สร้างคู่กุญแจ Ed25519 พร้อมกุญแจสาธารณะในรูปแบบ JWK
- ลงทะเบียนกับ Cloudflare โดยระบุ URL ไดเรกทอรีกุญแจและข้อมูล user agent
- กำหนดค่า HTTP Message Signatures สำหรับแต่ละคำขอ
- รวม signature-agent, signature-input และ signature headers
ชุมชนถกเถียงเรื่องประสิทธิภาพและความยุติธรรม
การอภิปรายในชุมชนเทคโนโลยีเผยให้เห็นปฏิกิริยาที่หลากหลายต่อการประกาศนี้ บางคนชื่นชมความคิดริเริ่มนี้ว่าเป็นการชดเชยที่ล่าช้าสำหรับผู้สร้างเนื้อหา ในขณะที่คนอื่นๆ กังวลเกี่ยวกับการสร้างอุปสรรคใหม่ในการเข้าถึงข้อมูล ความกังวลหลักมุ่งเน้นไปที่ข้อได้เปรียบของ Google เนื่องจากเว็บไซต์หลายแห่งยังคงต้องการให้ search crawler ของ Google จัดทำดัชนีเนื้อหาของพวกเขาเพื่อการมองเห็น
คนส่วนใหญ่ต้องการให้ google-bot crawl เว็บไซต์ของพวกเขาเพื่อให้ได้รับ traffic มีประโยชน์ต่อทั้งสองฝ่าย และ Google จะใช้การ crawl-index สำหรับการฝึก AI
ระบบนี้เผชิญกับความท้าทายทางเทคนิคจาก scraper ที่มุ่งมั่นซึ่งอาจใช้ residential proxy หรือ headless browser เพื่อหลีกเลี่ยงการตรวจจับ อย่างไรก็ตาม ตำแหน่งของ Cloudflare ในฐานะผู้ให้บริการโครงสร้างพื้นฐานอินเทอร์เน็ตรายใหญ่ทำให้มีอำนาจต่อรองที่สำคัญในการระบุและบล็อกความพยายามดังกล่าว
 |
|---|
| บล็อกของ Cloudflare เผยให้เห็นปฏิกิริยาที่หลากหลายจากชุมชนเทคโนโลยีเกี่ยวกับบริการ "pay per crawl" |
ผลกระทบต่อเศรษฐกิจเว็บในอนาคต
บริการนี้แสดงถึงการเปลี่ยนแปลงไปสู่การสร้างรายได้จากข้อมูลการฝึก AI ในระดับอินเทอร์เน็ต ผู้เผยแพร่อย่าง Conde Nast, TIME และ The Associated Press ได้ลงนามเข้าร่วมเพื่อบล็อก AI crawler โดยค่าเริ่มต้น สิ่งนี้สร้างแรงกดดันต่อบริษัท AI ให้จ่ายเงินสำหรับการเข้าถึงหรือพัฒนาแหล่งข้อมูลทางเลือก
สมาชิกชุมชนบางคนกังวลว่าสิ่งนี้อาจนำไปสู่ตลาดที่แยกส่วนซึ่งการเข้าถึงข้อมูลต้องการการสมัครสมาชิกหลายรายการ คล้ายกับบริการสตรีมมิ่ง คนอื่นๆ มองว่าเป็นการป้องกันที่จำเป็นต่อบริษัท AI ที่ให้คุณค่าเพียงเล็กน้อยกลับคืนสู่ผู้สร้างเนื้อหา
ผลกระทบระยะยาวอาจขยายไปเกินความต้องการการฝึก AI ในปัจจุบัน เมื่อ AI agent กลายเป็นเรื่องธรรมดามากขึ้น ระบบนี้สามารถเปิดใช้งานการซื้อเนื้อหาแบบโปรแกรมที่ผู้ใช้ให้งบประมาณแก่ AI assistant เพื่อเข้าถึงแหล่งข้อมูลพรีเมียม
สำนักพิมพ์รายใหญ่ที่เข้าร่วมแล้ว:
- Conde Nast
- TIME
- The Associated Press
- The Atlantic
- ADWEEK
- Fortune
บทสรุป
ระบบ pay-per-crawl ของ Cloudflare พยายามปรับสมดุลเศรษฐกิจของเนื้อหาเว็บในยุค AI ใหม่ แม้ว่าจะเสนอแหล่งรายได้ใหม่ให้กับผู้สร้างเนื้อหา แต่ความสำเร็จขึ้นอยู่กับการยอมรับอย่างแพร่หลายและความเต็มใจของบริษัท AI ที่จะจ่ายเงินแทนที่จะหาทางหลีกเลี่ยง ความคิดริเริ่มนี้เน้นย้ำถึงความตึงเครียดที่ดำเนินอยู่ระหว่างการเข้าถึงข้อมูลแบบเปิดและการชดเชยที่ยุติธรรมสำหรับผู้สร้างเนื้อหาในภูมิทัศน์อินเทอร์เน็ตที่ขับเคลื่อนด้วย AI มากขึ้น
อ้างอิง: Introducing pay per crawl: enabling content owners to charge AI crawlers for access