อุตสาหกรรมเทคโนโลยีพบว่าตัวเองแบ่งแยกเรื่อง Large Language Models ( LLMs ) โดยนักพัฒนาบางคนอ้างว่าได้รับผลิตภาพที่เพิ่มขึ้นอย่างมหาศาล ในขณะที่คนอื่นรายงานว่าได้ประโยชน์เพียงเล็กน้อย ความแตกแยกนี้ได้จุดประกายการถกเถียงอย่างเข้มข้นว่าเทคโนโลยีนี้เป็นตัวแทนของความก้าวหน้าที่แท้จริงหรือเป็นเพียงคลื่นลูกใหม่ของคำสัญญาที่ถูกโฆษณาเกินจริง
ปัญหาบริบทที่หายไป
ประเด็นหลักที่เป็นเชื้อเพลิงให้กับความแตกแยกนี้คือการขาดรายละเอียดเฉพาะเจาะจงในการอ้างเรื่องผลิตภาพ เมื่อนักพัฒนาแบ่งปันประสบการณ์ LLM ของพวกเขา ข้อมูลสำคัญมักจะหายไป เราไม่ทราบว่าพวกเขากำลังทำงานในโครงการประเภทใด ไม่ว่าจะเป็นแอปพลิเคชันใหม่หรือระบบเก่าที่ซับซ้อน หรือใช้ภาษาการเขียนโปรแกรมและเฟรมเวิร์กใด
ระดับความเชี่ยวชาญของนักพัฒนายังคงไม่ชัดเจน วิศวกรอาวุโสที่ทำงานในโครงการ React จะได้ผลลัพธ์ที่แตกต่างอย่างมากเมื่อเปรียบเทียบกับนักออกแบบที่พยายามแก้ไขโค้ด OCaml แต่ประสบการณ์เหล่านี้ถูกรวมเข้าด้วยกันในการอภิปราย ทำให้การเปรียบเทียบที่มีความหมายเป็นไปได้ยาก
ปัจจัยสำคัญที่ทำให้การใช้งาน LLM ประสบความสำเร็จ:
- ความเชี่ยวชาญในสาขาที่เป็นเป้าหมาย
- ทักษะในการออกแบบ prompt และการแบ่งงานย่อย
- ความคาดหวังที่เหมาะสมสำหรับผลลัพธ์ที่ไม่แน่นอน
- การจับคู่ความสามารถของเครื่องมือกับกรณีการใช้งานที่เฉพาะเจาะจง
ความคาดหวังของผู้บริหารเทียบกับความเป็นจริง
ช่องว่างด้านผลิตภาพกลายเป็นปัญหามากขึ้นเมื่อการอ้างที่เกินจริงไปถึงผู้บริหาร บริษัทบางแห่งรายงานว่าได้ยินเรื่องการปรับปรุงผลิตภาพ 10 เท่า ซึ่งสร้างความคาดหวังที่ไม่สมจริงทั่วทั้งองค์กร อย่างไรก็ตาม แม้แต่นักพัฒนาที่พบว่า LLMs มีประโยชน์ก็มักจะเห็นผลตอบแทนที่เจียมเนื่องกว่า
ปัจจัยสำคัญอย่างหนึ่งที่จำกัดการปรับปรุงผลิตภาพโดยรวมคือกฎหมาย Amdahl - แม้ว่าการเขียนโค้ดจะเร็วขึ้นอย่างมีนัยสำคัญ นักพัฒนาก็ใช้เวลามากในกิจกรรมอื่นๆ เช่น การวางแผน การสื่อสาร และการแก้ไขข้อผิดพลาด ซึ่งหมายความว่าการปรับปรุง 10 เท่าในการสร้างโค้ดอาจแปลเป็นผลิตภาพโดยรวมที่เพิ่มขึ้นเพียง 10-15% เท่านั้น
ปัจจัยด้านต้นทุนก็สำคัญเช่นกัน ในขณะที่การสมัครสมาชิก LLM เช่น Claude Max มีค่าใช้จ่ายประมาณ 200 ดอลลาร์สหรัฐต่อเดือน (ประมาณ 2% ของเงินเดือนเฉลี่ยของวิศวกรซอฟต์แวร์) สมการมูลค่ารวมขึ้นอยู่กับการปรับปรุงผลิตภาพที่เกิดขึ้นจริงมากกว่าทางทฤษฎี
การตรวจสอบความเป็นจริงด้านผลิตภาพ:
- การปรับปรุงที่อ้างว่าได้: เพิ่มผลิตภาพได้สูงถึง 10 เท่า
- การปรับปรุงโดยรวมที่เกิดขึ้นจริง: โดยทั่วไปอยู่ที่ 10-15% เนื่องจาก Amdahl's Law
- การเขียนโค้ดเป็นเพียงส่วนหนึ่งของเวลาพัฒนาทั้งหมด
ธรรมชาติที่ไม่แน่นอนสร้างความไม่สอดคล้อง
LLMs นำเสนอความท้าทายอีกประการหนึ่งผ่านพฤติกรรมที่ไม่แน่นอน คำสั่งเดียวกันสามารถให้ผลลัพธ์ที่แตกต่างกันในเวลาที่แตกต่างกัน ทำให้ยากต่อการสร้างเวิร์กโฟลว์ที่เชื่อถือได้ ความไม่คาดเดาได้นี้หมายความว่าสิ่งที่ทำงานได้อย่างสมบูรณ์แบบในวันนี้อาจล้มเหลวในวันพรุ่งนี้ แม้แต่สำหรับงานที่เหมือนกัน
นักพัฒนาบางคนได้เรียนรู้ที่จะทำงานกับความไม่แน่นอนนี้โดยการปฏิบัติต่อ LLMs เหมือนกับเครื่องมือค้นหา - ต้องใช้ทักษะในการสร้างคำสั่งที่มีประสิทธิภาพและจัดการความคาดหวัง ความสำเร็จมักมาจากการแบ่งงานที่ซับซ้อนออกเป็นชิ้นเล็กๆ ที่จัดการได้ง่ายกว่า มากกว่าการคาดหวังโซลูชันที่สมบูรณ์
การใช้งานในอุตสาหกรรมนอกเหนือจากการเขียนโค้ด
ในขณะที่การใช้งานด้านการเขียนโค้ดได้รับความสนใจ LLMs แสดงให้เห็นความสามารถในด้านอื่นๆ องค์กรหลายแห่งจ้างพนักงานหลายพันคนที่ทำงานหลักในการย้ายข้อมูลระหว่างระบบ - จากสเปรดชีตไปยัง CRMs ไปยังอีเมล งานที่ทำซ้ำเหล่านี้อาจเหมาะสมกับความสามารถปัจจุบันของ LLM มากกว่าการพัฒนาซอฟต์แวร์ที่ซับซ้อน
ผู้เชี่ยวชาญด้านกฎหมายรายงานการปรับปรุงผลิตภาพอย่างมีนัยสำคัญ โดยบางคนอ้างว่าได้ผลผลิต 2 เท่าพร้อมข้อผิดพลาดที่น้อยลง สิ่งนี้สมเหตุสมผลเนื่องจากงานด้านกฎหมายมักเกี่ยวข้องกับการจัดระเบียบและจัดรูปแบบข้อความที่มีอยู่ใหม่ มากกว่าการสร้างโครงสร้างตรรกะใหม่ทั้งหมด
การเปรียบเทียบกับการโฆษณาเกินจริงของ Crypto
นักวิจารณ์เปรียบเทียบความกระตือรือร้น LLM ปัจจุบันกับรอบการโฆษณาเกินจริงของสกุลเงินดิจิทัลก่อนหน้านี้ ทั้งสองเทคโนโลยีดึงดูดผู้สนับสนุนที่หลงใหลซึ่งปฏิเสธผู้ที่สงสัยว่าเป็นเพียงการไม่เข้าใจศักยภาพที่แท้จริง พลวัตนี้สามารถปิดการอภิปรายทางเทคนิคที่มีประสิทธิผลเกี่ยวกับความสามารถและข้อจำกัดที่เกิดขึ้นจริง
อย่างไรก็ตาม ต่างจาก crypto, LLMs แสดงให้เห็นประโยชน์ที่ชัดเจนในกรณีการใช้งานเฉพาะในวันนี้ ความท้าทายอยู่ที่การแยกแยะการใช้งานที่แท้จริงจากการอ้างทางการตลาดที่เกินจริงและความคาดหวังที่ไม่สมจริง
ค่าใช้จ่ายเครื่องมือ LLM:
- Claude Max : $200 USD/เดือน (~2% ของเงินเดือนเฉลี่ยของวิศวกรซอฟต์แวร์)
- แสดงให้เห็นว่าเป็นค่าใช้จ่ายที่ค่อนข้างเล็กเมื่อเปรียบเทียบกับค่าใช้จ่ายการจ้างงานทั้งหมด
บทสรุป
การถกเถียงเรื่องผลิตภาพ LLM สะท้อนความท้าทายที่กว้างขึ้นในการประเมินเทคโนโลยีเกิดใหม่ หากไม่มีเมตริกที่มาตรฐานและบริบทที่ละเอียด ประสบการณ์ส่วนบุคคลจะยากต่อการเปรียบเทียบหรือสรุปเป็นหลักการทั่วไป ในขณะที่เครื่องมือเหล่านี้ให้คุณค่าอย่างชัดเจนในสถานการณ์บางอย่าง อุตสาหกรรมต้องการวิธีการประเมินที่เข้มงวดมากขึ้นเพื่อแยกแยะความก้าวหน้าที่แท้จริงจากรอบการโฆษณาเกินจริงชั่วคราว
ความสำเร็จกับ LLMs ดูเหมือนจะขึ้นอยู่กับการจับคู่เครื่องมือที่เหมาะสมกับงานที่เหมาะสม การจัดการความคาดหวังอย่างเหมาะสม และการพัฒนาทักษะในการทำงานอย่างมีประสิทธิภาพกับระบบที่ไม่แน่นอน เมื่อเทคโนโลยีเติบโต รูปแบบการใช้งานที่มีประสิทธิภาพที่ชัดเจนกว่าน่าจะเกิดขึ้น
อ้างอิง: Everything around LLMs is still magical and wishful thinking