AI ตัวช่วยเขียนโค้ดเผชิญวิกฤตความน่าเชื่อถือ ขณะที่การใช้ Token พุ่งสูงขึ้น 50 เท่า

ตัวช่วยเขียนโค้ดที่ขับเคลื่อนด้วย AI กำลังประสบปัญหาการเติบโตที่ทำให้นักพัฒนาหลายคนนึกถึงยุคแรกๆ ของอินเทอร์เน็ต dial-up สิ่งที่เคยรู้สึกเหมือนเวทมนตร์เมื่อไม่กี่เดือนก่อน ตอนนี้กลับทำให้ผู้ใช้หงุดหงิดมากขึ้นด้วยการขัดข้องบ่อยครั้ง เวลาตอบสนองที่ช้า และประสิทธิภาพที่ไม่น่าเชื่อถือ

การเปรียบเทียบกับอินเทอร์เน็ตยุค 1990 ไม่ใช่แค่ความคิดถึงอดีต แต่มันแม่นยำอย่างน่าประหลาด เหมือนกับที่โมเด็ม dial-up จะตัดการเชื่อมต่อเมื่อสภาพอากาศไม่ดีหรือเมื่อมีคนต้องการใช้โทรศัพท์ ตัว coding agent ในปัจจุบันก็มักจะค้าง ต้องลองใหม่หลายครั้ง และทำให้นักพัฒนาต้องรอการตอบสนองที่เคลื่อนไหวช้าๆ ที่ 30-60 token ต่อวินาทีี

การเปรียบเทียบประสิทธิภาพของโมเดล AI:

• โมเดลล่าสุดในปัจจุบัน: 30-60 โทเค็นต่อวินาที
• โมเดลเร็วในระยะทดลอง ( Cerebras ): 2,000 โทเค็นต่อวินาที (เร็วกว่า 20-50 เท่า)
• การปรับปรุงความเร็วเทียบเท่ากับการเปลี่ยนจากอินเทอร์เน็ต dial-up สู่ ADSL/cable

ความเครียดของโครงสร้างพื้นฐานจากการเติบโตของการใช้งานอย่างมหาศาล

เบื้องหลังปัญหาความน่าเชื่อถือคือการระเบิดของการใช้ AI token ข้อมูลจาก OpenRouter แสดงการเพิ่มขึ้นอย่างน่าตกใจถึง 50 เท่า แม้ว่านี่จะเป็นเพียงส่วนเล็กๆ ของการจราจร AI ทั่วโลก ตัวเลขจริงจากผู้ให้บริการรายใหญ่อย่าง Google , Anthropic และ OpenAI ยังคงเป็นความลับที่เก็บไว้อย่างแน่นหนา

การเพิ่มขึ้นนี้เกิดจากวิธีการทำงานของ coding agent ที่แตกต่างจาก chatbot ธรรมดา ในขณะที่การสนทนา AI ทั่วไปอาจใช้ token เป็นร้อยๆ แต่ workflow การเขียนโค้ดแบบ agentic สามารถใช้ token มากกว่าหลายพันเท่าขณะที่วิเคราะห์โค้ด สร้างโซลูชัน และทำซ้ำผ่านงานที่ซับซ้อน ความต้องการทรัพยากรจำนวนมหาศาลนี้กำลังสร้างความเครียดอย่างมากต่อโครงสร้างพื้นฐานที่ขับเคลื่อนบริการเหล่านี้

ผู้ให้บริการ AI รายใหญ่กำลังดิ้นรนกับภาระงานในช่วงเวลาเร่งด่วน โดยเฉพาะเมื่อเวลาทำงานของ สหรัฐอเมริกา และ ยุโรป ซ้อนทับกัน ผลลัพธ์คือรูปแบบที่คุ้นเคยของประสิทธิภาพที่ลดลงในช่วงเวลาที่มีคนใช้งานมาก เหมือนกับผู้ให้บริการ broadband ยุคแรกที่ไม่สามารถจัดการกับการจราจรอินเทอร์เน็ตในช่วงเย็นได้

การเติบโตของการใช้ Token:

• OpenRouter รายงานการเพิ่มขึ้นของการใช้ AI token ถึง 50 เท่า
• เวิร์กโฟลว์การเขียนโค้ดแบบ Agentic ใช้ token มากกว่าการโต้ตอบแชทธรรมดาถึง ~1000 เท่า
• ความต้องการสูงสุดเกิดขึ้นในช่วงเวลาทำงานที่ทับซ้อนกันระหว่างสหรัฐอเมริกาและยุโรป

ปัญหาคอขวดด้านความเร็ว

โมเดล AI ปัจจุบันทำงานด้วยความเร็วที่สร้าง workflow ที่อึดอัดสำหรับนักพัฒนา ที่ 30-60 token ต่อวินาที จังหวะนี้ช้าพอที่จะทำให้หงุดหงิด แต่เร็วพอที่การเปลี่ยนบริบทระหว่าง agent instance หลายตัวกลายเป็นเรื่องที่ครอบงำ

นักพัฒนาบางคนได้ทดลองกับโมเดลที่เร็วกว่ามากที่ทำงานที่ 2,000 token ต่อวินาที - การปรับปรุงความเร็วที่เพิ่มขึ้น 20-50 เท่า คล้ายกับการก้าวกระโดดจาก dial-up ไปสู่ broadband ยุคแรก อย่างไรก็ตาม สิ่งนี้สร้างปัญหาของมันเอง ความเร็วที่รวดเร็วทำให้เกิดแรงล่อใจที่จะยอมรับทุกอย่างโดยไม่มีการตรวจสอบที่เหมาะสม นำไปสู่คุณภาพโค้ดที่แย่

ที่ 2000tok/s ทันใดนั้นคอขวดก็กลายเป็นตัวคุณเองอย่างรวดเร็ว มันกลายเป็นเรื่องที่ล่อใจมากที่จะเริ่มยอมรับทุกอย่าง เพราะมันเข้ามาเร็วมาก ซึ่งนำไปสู่ผลลัพธ์ที่แย่มาก

ชุมชนแบ่งออกเป็นสองฝ่ายเรื่องความเร็วที่เหมาะสม นักพัฒนาบางคนชอบความเร็วปัจจุบันเพราะพวกเขาสามารถติดตามงานของ AI แบบเรียลไทม์และแทรกแซงเมื่อมันออกนอกลู่นอกทาง คนอื่นๆ โต้แย้งว่าความเร็วที่เร็วกว่ามากจะเปิดใช้งาน workflow ใหม่ เช่น การรันความพยายามหลายๆ แบบพร้อมกันในการแก้ปัญหาเดียวกัน

ผลประโยชน์ด้านผลิตภาพยังคงเป็นที่ถกเถียง

แม้จะมีการนำมาใช้อย่างแพร่หลาย แต่ประโยชน์ด้านผลิตภาพที่แท้จริงของตัวช่วย AI ในการเขียนโค้ดยังคงเป็นที่ถกเถียงกันอย่างดุเดือดในชุมชนนักพัฒนา นักวิจารณ์โต้แย้งว่าแม้ว่า AI อาจเพิ่มผลิตภาพที่รับรู้ได้ แต่มันจริงๆ แล้วลดการมีส่วนร่วมทางปัญญากับโค้ด นำไปสู่ปัญหาระยะยาวเมื่อโค้ดที่สร้างโดย AI สะสมในฐานโค้ดโดยไม่มีความเข้าใจที่เหมาะสมจากผู้ดูแลที่เป็นมนุษย์

ผู้สนับสนุนโต้กลับว่า AI เปลี่ยนวิธีการทำงานของพวกเขาโดยพื้นฐาน ทำให้พวกเขาสามารถจัดการโครงการที่พวกเขาปกติจะไม่มีเวลาทำ เทคโนโลยีนี้ดูเหมือนจะประสบความสำเร็จมากที่สุดในการสร้างเครื่องมือภายใน ต้นแบบด่วน และจัดการงานประจำมากกว่าการพัฒนาแอปพลิเคชันหลัก

การถกเถียงมักจะขึ้นอยู่กับวิธีที่นักพัฒนาใช้เครื่องมือเหล่านี้ ผู้ที่ปฏิบัติต่อ AI เป็นเครื่องมือค้นหาหรือผู้ช่วยตรวจสอบโค้ดรายงานประสบการณ์ที่ดีกว่าผู้ที่พึ่งพามันสำหรับการสร้างโค้ดหลัก

วิวัฒนาการของเวิร์กโฟลว์นักพัฒนา:

1. ยุค GPT-3.5 : การถาม-ตอบพื้นฐานที่มีการหลอนลวงบ่อยครั้ง
2. ยุค GPT-4 / Sonnet 3.5 : ผู้ช่วยที่จำเป็นสำหรับโค้ดสั้นๆ และคำถามต่างๆ
3. ยุคปัจจุบัน: เอเจนต์ CLI ที่มีการควบคุมดูแลช่วยเหลืองานพัฒนาส่วนใหญ่
4. ยุคอนาคต: การพยายามแบบขนานโดยไม่มีการควบคุมดูแลพร้อมการประเมินผลอัตโนมัติ

โมเดลการกำหนดราคาและการเข้าถึงในอนาคต

ความท้าทายด้านโครงสร้างพื้นฐานมีแนวโน้มที่จะปรับรูปแบบวิธีการกำหนดราคาและส่งมอบบริการ AI coding โมเดลปัจจุบันดิ้นรนกับความต้องการในช่วงเร่งด่วนในขณะที่มีกำลังการผลิตส่วนเกินมหาศาลในช่วงนอกเวลา สิ่งนี้สะท้อนความท้าทายของผู้ให้บริการอินเทอร์เน็ตยุคแรกและแนะนำว่าโซลูชันที่คล้ายกันอาจเกิดขึ้น

คาดว่าจะเห็นแผนการกำหนดราคานอกช่วงเร่งด่วนที่เสนอขิดจำกัดการใช้งานที่ใจกว้างมากขึ้นนอกเวลาทำงานที่ยุ่ง แม้ว่าผู้ให้บริการบางรายเสนอส่วนลดการประมวลผลแบบแบทช์อยู่แล้ว แต่สิ่งเหล่านี้ไม่เหมาะสำหรับ workflow การเขียนโค้ดแบบโต้ตอบที่ต้องการการตอบสนองแบบเรียลไทม์

อุตสาหกรรมอาจก้าวไปสู่โมเดลการกำหนดราคาที่ซับซ้อนมากขึ้นที่ออกแบบมาเพื่อปรับความต้องการให้เรียบเนียนข้ามเขตเวลาต่างๆ ช่วยให้ผู้ให้บริการจัดการโครงสร้างพื้นฐานของพวกเขาได้อย่างมีประสิทธิภาพมากขึ้นในขณะที่เสนอการเข้าถึงความช่วยเหลือ AI ที่คาดเดาได้มากขึ้นแก่นักพัฒนา

ขณะที่เทคโนโลยียังคงพัฒนาอย่างรวดเร็ว นักพัฒนาเผชิญแรงกดดันให้ติดตามเครื่องมือและแนวทางใหม่ๆ ภูมิทัศน์ยังคงไม่เสถียรอย่างมาก โดยมีการปรับปรุงที่สำคัญทั้งในด้านเครื่องมือและความสามารถของโมเดลมาถึงอย่างสม่ำเสมอ ในตอนนี้ ยุค dial-up ของ AI coding ยังคงดำเนินต่อไป แต่สิ่งที่เทียบเท่า broadband อาจไม่ไกลเกินไป

อ้างอิง: What happens when coding agents stop feeling like dialup?