อดีตวิศวกร OpenAI ได้แบ่งปันข้อมูลเชิงลึกเกี่ยวกับการดำเนินงานภายในของบริษัท โดยเปิดเผยวัฒนธรรมการทุ่มเทอย่างสุดขีดผสมกับความท้าทายทางเทคนิคที่คนภายนอกไม่เคยเห็น Calvin French-Owen ผู้ร่วมก่อตั้ง Segment ก่อนเข้าร่วม OpenAI เป็นเวลา 14 เดือน ได้เผยแพร่ข้อคิดของเขาหลังจากออกจากยักษ์ใหญ่ด้าน AI ในช่วงปลายปี 2024
บัญชีนี้ให้ภาพที่หาดูได้ยากของวิธีการดำเนินงานของหนึ่งในบริษัทเทคโนโลยีที่ถูกจับตามองมากที่สุดในโลกในช่วงเวลาที่เข้มข้นที่สุดของการพัฒนา AI ในประวัติศาสตร์
ตัวชี้วัดการเติบโตของ OpenAI :
- ขนาดบริษัท: เติบโตจากประมาณ 1,000 เป็นกว่า 3,000 พนักงานในหนึ่งปี (2021-2022)
- การพัฒนา Codex : สร้างและเปิดตัวผลิตภัณฑ์ที่สมบูรณ์ภายใน 7 สัปดาห์
- ผลกระทบของ Codex : สร้าง public pull requests จำนวน 830,000 รายการ ซึ่งคิดเป็นประมาณ 786 PRs ต่อวิศวกรหนึ่งคนใน 50 วันหลังเปิดตัว
ตารางงานสุดขีดทำให้เกิดคำถามเรื่องความยั่งยืน
French-Owen บรรยายถึงสภาพการทำงานที่ผลักดันขีดจำกัดของมนุษย์ในช่วงการเปิดตัวผลิตภัณฑ์สำคัญ การพัฒนา Codex แบบเร่งรีบต้องการให้สมาชิกทีมทำงานจนถึงเที่ยงคืนเกือบทุกคืน ตื่นเวลา 5:30 น. ทั้งที่มีลูกเล็ก และกลับมาที่ออฟฟิศเวลา 7:00 น. พร้อมทำงานเกือบทุกสุดสัปดาห์ จังหวะนี้ดำเนินต่อไปเป็นเวลาเจ็ดสัปดาห์ติดต่อกันเพื่อส่งมอบผลิตภัณฑ์ผู้ช่วยเขียนโค้ด
ชุมชนได้แสดงความกังวลอย่างจริงจังเกี่ยวกับสภาพการทำงานเหล่านี้ หลายคนตั้งคำถามว่าความเข้มข้นเช่นนี้จะยั่งยืนในระยะยาวได้หรือไม่ โดยเฉพาะสำหรับพนักงานที่มีครอบครัว บางคนชี้ให้เห็นถึงความขัดแย้งของการเฉลิมฉลองตารางงานที่สุดขีดในขณะที่ยอมรับถึงต้นทุนส่วนบุคคล โดยเฉพาะเมื่อ French-Owen กล่าวถึงการกลับมาจากการลาคลอดบุตรก่อนกำหนดเพื่อเข้าร่วมการเปิดตัว
ผมไม่สามารถจินตนาการได้ที่จะขอให้คู่ครองรับภาระการดูแลเด็กแบบนั้น ยกนิ้วให้ภรรยาของ OP ที่ทำแบบนั้น และดีใจที่เธอได้รับการกล่าวถึงในตอนท้าย แต่พระเจ้า
การอภิปรายเผยให้เห็นความแตกแยกระหว่างผู้ที่มองว่าการเร่งรีบเช่นนี้จำเป็นสำหรับนวัตกรรมที่ก้าวล้ำกับผู้อื่นที่มองว่าไม่ยั่งยืนและอาจเป็นอันตรายต่อความเป็นอยู่ที่ดีของพนักงาน
โครงสร้างพื้นฐานทางเทคนิคต่อสู้กับการเติบโตอย่างรวดเร็ว
เบื้องหลังผลิตภัณฑ์ที่ขัดเกลาของ OpenAI คือความเป็นจริงทางเทคนิคที่ซับซ้อนซึ่งสะท้อนถึงความท้าทายของการขยายขนาดด้วยความเร็วที่ไม่เคยมีมาก่อน บริษัทดำเนินงานบน Python monorepo ขนาดใหญ่ที่มีคุณภาพโค้ดแบบผสม ตั้งแต่ไลบรารีที่ซับซ้อนที่สร้างโดยผู้เชี่ยวชาญจาก Google ไปจนถึง Jupyter notebooks ที่แปลงอย่างเร่งรีบจากผู้มาใหม่
ทีมวิศวกรรมเผชิญกับข้อจำกัดที่เป็นเอกลักษณ์จากการผูกมัดกับ Microsoft Azure ซึ่งสมาชิกชุมชนสังเกตว่าขาดบริการที่แข็งแกร่งหลายอย่างที่มีใน AWS หรือ Google Cloud ข้อจำกัดนี้บังคับให้ OpenAI สร้างโซลูชันแบบกำหนดเองสำหรับความต้องการโครงสร้างพื้นฐานพื้นฐาน เพิ่มความซับซ้อนให้กับสภาพแวดล้อมทางเทคนิคที่ท้าทายอยู่แล้ว
ปัญหาการทดสอบและการปรับใช้กลายเป็นปัญหาสำคัญ โดยโค้ดเบสหลักเสียหายบ่อยกว่าที่คาดไว้และชุดทดสอบใช้เวลาถึง 30 นาทีในการรันบน GPU ปัญหาหนี้ทางเทคนิคเหล่านี้จะขยายใหญ่ขึ้นเมื่อบริษัทเติบโตจาก 1,000 เป็นกว่า 3,000 คนในเวลาเพียงหนึ่งปี
โครงสร้างพื้นฐานทางเทคนิค:
- ฐานโค้ด: โมโนเรโปขนาดใหญ่ของ Python ที่ผสมผสานกับบริการ Rust และ Go
- ผู้ให้บริการคลาวด์: Microsoft Azure โดยเฉพาะ
- การทดสอบ: ชุดทดสอบที่ใช้ GPU ซึ่งใช้เวลาประมาณ 30 นาทีในการรัน
- การสื่อสาร: ทุกอย่างทำงานผ่าน Slack แทบไม่มีการใช้อีเมลเลย
ต้นทุน GPU สูงมากกว่าค่าใช้จ่ายอื่นๆ ทั้งหมด
ความเป็นจริงทางการเงินของการฝึกโมเดล AI ขนาดใหญ่สร้างสภาพแวดล้อมทางธุรกิจที่เป็นเอกลักษณ์ซึ่งการพิจารณาต้นทุนแบบดั้งเดิมกลายเป็นเรื่องไม่เกี่ยวข้อง French-Owen เปิดเผยว่าต้นทุน GPU สูงมหาศาลจนทุกอย่างอื่นกลายเป็นข้อผิดพลาดในการปัดเศษ โดยฟีเจอร์หลักเดียวใช้ทรัพยากรการคำนวณเท่ากับโครงสร้างพื้นฐานทั้งหมดของบริษัทเทคโนโลยีใหญ่
โครงสร้างต้นทุนนี้เปลี่ยนแปลงวิธีการดำเนินงานของบริษัทโดยพื้นฐาน ทำให้การตัดสินใจเกี่ยวกับทรัพยากรบุคคล พื้นที่สำนักงาน และค่าใช้จ่ายทางธุรกิจแบบดั้งเดิมกลายเป็นเรื่องเล็กน้อยเมื่อเทียบกับความต้องการการคำนวณของการฝึกโมเดลและการอนุมาน
วัฒนธรรมความลับท่ามกลางการแข่งขันที่เข้มข้น
OpenAI ดำเนินงานภายใต้ความลับสุดขีดเนื่องจากการแข่งขันที่เข้มข้นจาก Google, Meta และ Anthropic พนักงานไม่สามารถพูดคุยเกี่ยวกับงานของพวกเขาในรายละเอียด และบริษัทรักษา Slack workspaces หลายแห่งที่มีการเข้าถึงแบบจำกัด รายได้และตัวชี้วัดทางการเงินเป็นความลับที่ถูกเฝ้าระวังอย่างใกล้ชิด
การอภิปรายของชุมชนเผยให้เห็นความสงสัยเกี่ยวกับการบรรยายในแง่บวกบางอย่างของ French-Owen เกี่ยวกับบริษัท ผู้แสดงความคิดเห็นหลายคนสังเกตว่านโยบายหุ้นที่ถกเถียงของ OpenAI ซึ่งก่อนหน้านี้อนุญาตให้บริษัทเรียกคืนหุ้นที่ได้รับแล้วจากพนักงานที่ออกจากงานซึ่งพูดในแง่ลบ อาจมีอิทธิพลต่อวิธีที่อดีตพนักงานพูดคุยเกี่ยวกับประสบการณ์ของพวกเขาในที่สาธารณะ
แม้ว่า OpenAI จะมีรายงานว่าได้ยกเลิกข้อกำหนดที่เข้มงวดเหล่านี้แล้ว แต่เงาของนโยบายดังกล่าวยังคงหล่อหลอมวิธีการอภิปรายการออกจากงานในฟอรัมสาธารณะ
ลักษณะวัฒนธรรมการทำงาน:
- โครงสร้าง: เป็นแบบ bottom-up และระบบคุณธรรมสูง
- การตัดสินใจ: ทีมงานสามารถเปลี่ยนทิศทาง "ในพริบตา" ตามข้อมูลใหม่
- แนวทางโครงการ: ความพยายามหลายทางพร้อมกัน โดยโครงการที่มีแนวโน้มดีจะได้รับทรัพยากรเพิ่มเติม
- ภาวะผู้นำ: มีการมองเห็นและมีส่วนร่วมอย่างมากในทุกทีม
นวัตกรรมจากล่างขึ้นบนพบกับการเปลี่ยนทิศทางอย่างรวดเร็ว
ไม่เหมือนบริษัทเทคโนโลยีแบบดั้งเดิมที่มีแผนงานรายละเอียด OpenAI ดำเนินงานด้วยแนวทางที่ยืดหยุ่นสูงและขับเคลื่อนด้วยการวิจัย ไอเดียดีๆ สามารถเกิดขึ้นได้จากทุกที่ในองค์กร และบริษัทสามารถหมุนเวียนได้อย่างรวดเร็วเมื่อโอกาสใหม่เกิดขึ้น ความคล่องตัวนี้ช่วยให้ทีมเล็กๆ สามารถรวมตัวกันรอบแนวคิดที่มีแนวโน้มดีและพัฒนาเป็นผลิตภัณฑ์ได้อย่างรวดเร็ว
อย่างไรก็ตาม แนวทางนี้ยังสร้างความท้าทาย ทีมหลายทีมมักทำงานในโครงการที่คล้ายกันพร้อมกัน นำไปสู่ความพยายามที่ซ้ำซ้อนและการแข่งขันภายใน การขาดโครงสร้างการวางแผนแบบดั้งเดิมอาจทำให้พนักงานบางคนรู้สึกไร้ทิศทาง โดยเฉพาะผู้ที่คุ้นเคยกับสภาพแวดล้อมองค์กรที่มีโครงสร้างมากกว่า
ชุมชนสังเกตว่าวัฒนธรรมนี้ทำงานได้ดีสำหรับบุคคลที่สามารถกำกับตนเองได้ แต่อาจไม่เหมาะกับทุกคน โดยเน้นถึงความตึงเครียดระหว่างความเร็วของนวัตกรรมกับความชัดเจนขององค์กรที่บริษัทที่เติบโตอย่างรวดเร็วหลายแห่งเผชิญ
แม้จะมีความท้าทายที่เปิดเผยในบัญชีนี้ การประเมินโดยรวมของ French-Owen ยังคงเป็นบวก โดยให้เครดิตว่าช่วงเวลาที่ OpenAI เป็นหนึ่งในการตัดสินใจด้านอาชีพที่ดีที่สุดที่เขาเคยทำ ข้อคิดของเขาให้ข้อมูลเชิงลึกที่มีค่าเกี่ยวกับวิธีการดำเนินงานของบริษัทเทคโนโลยีก้าวล้ำภายใต้ความกดดันสุดขีด เผยให้เห็นทั้งต้นทุนของมนุษย์และความสำเร็จที่น่าทึ่งที่เป็นไปได้เมื่อคนเก่งทำงานเพื่อเป้าหมายที่ทะเยอทะยาน
การอภิปรายรอบโพสต์ของเขาแสดงให้เห็นการต่อสู้อย่างต่อเนื่องของชุมชนเทคโนโลยีในการสร้างสมดุลระหว่างความเร็วของนวัตกรรมกับแนวทางการทำงานที่ยั่งยืน การอภิปรายที่น่าจะรุนแรงขึ้นเมื่อการพัฒนา AI ยังคงเร่งความเร็ว
อ้างอิง: Reflections on OpenAI