HubSpot เพิ่งเผยแพร่รายงานโดยละเอียดเกี่ยวกับวิธีที่พวกเขาขยายการใช้เครื่องมือ AI สำหรับการเขียนโค้ดจากการใช้งานในระดับทดลองไปสู่การนำไปใช้ 90% ทั่วทั้งองค์กรด้านวิศวกรรม อย่างไรก็ตาม ชุมชนเทคโนโลยีได้ตอบสนองด้วยคำถามที่ชัดเจนเกี่ยวกับวิธีการของบริษัทและความถูกต้องของการอ้างผลิตภาพของพวกเขา
ไทม์ไลน์การนำ AI มาใช้ของ HubSpot :
- ฤดูร้อน 2023: เริ่มทดลองใช้ GitHub Copilot
- ตุลาคม 2024: สร้างทีม Developer Experience AI โดยเฉพาะ
- พฤษภาคม 2024: ยกเลิกข้อจำกัดการใช้งาน การนำมาใช้เพิ่มขึ้นเป็น 60%
- ปัจจุบัน: อัตราการนำมาใช้ 90% โดยมีความชำนาญด้าน AI เป็นข้อกำหนดในการจ้างงาน
การขาดหลักฐานที่เป็นรูปธรรมดึงดูดการวิพากษ์วิจารณ์
การวิพากษ์วิจารณ์ที่สำคัญที่สุดมุ่งเน้นไปที่ความล้มเหลวของ HubSpot ในการให้ตัวชี้วัดที่เฉพาะเจาะจงหรือวิธีการที่ละเอียดเบื้องหลังการอ้างความสำเร็จของพวกเขา ในขณะที่บริษัทกล่าวถึงการปรับปรุงผลิตภาพที่วัดได้แต่เพียงเล็กน้อยและระบุว่าพวกเขาติดตามภาระการตรวจสอบโค้ด เวลาในรอบการทำงาน และการเปรียบเทียบความเร็ว พวกเขาไม่ได้เสนอตัวเลขที่เป็นรูปธรรมหรือการวิเคราะห์ทางสถิติเพื่อสนับสนุนข้อกล่าวอ้างเหล่านี้
สมาชิกในชุมชนได้เน้นปัญหาพื้นฐานเกี่ยวกับวิธีที่บริษัทนำเสนอเรื่องราวความสำเร็จของการนำ AI มาใช้ ความกังวลไม่ได้เป็นเพียงเรื่องจุดข้อมูลที่ขาดหายไป แต่เกี่ยวกับความเข้มงวดทางสถิติที่จำเป็นในการเปรียบเทียบที่ถูกต้อง หากไม่มีการเปิดเผยวิธีการที่เหมาะสม จะเป็นไปไม่ได้ที่จะแยกแยะระหว่างผลผลิตที่แท้จริงกับสิ่งประดิษฐ์ในการวัดหรืออคติในการยืนยัน
เมตริกที่อ้างว่าติดตาม:
- ภาระงานการตรวจสอบโค้ด
- เวลาในรอบการพัฒนา
- การเปรียบเทียบความเร็วในการพัฒนา
- อัตราการเกิดปัญหาในระบบจริง
- โครงสร้างต้นทุน: $19 USD/เดือน/ผู้ใช้ธุรกิจสำหรับ GitHub Copilot
คำแนะนำทั่วไปเทียบกับข้อมูลเชิงลึกที่นำไปปฏิบัติได้
นักวิจารณ์ได้สังเกตว่าคำแนะนำของ HubSpot อ่านเหมือนเนื้อหาที่สร้างโดย AI ทั่วไป - คำแนะนำที่กว้างและทั่วไปที่สามารถใช้กับการนำเทคโนโลยีใดๆ มาใช้ได้ คำแนะนำของบริษัทรวมถึงข้อเสนอแนะที่คุ้นเคยเช่น จัดหาเครื่องมือที่ดีกว่าและการตรวจสอบจากเพื่อนร่วมงาน โดยไม่เจาะลึกถึงความท้าทายเฉพาะที่พวกเขาพบหรือโซลูชันใหม่ๆ ที่พวกเขาพัฒนา
การวิพากษ์วิจารณ์นี้สะท้อนความผิดหวังที่กว้างขึ้นในชุมชนเทคโนโลยีกับกรณีศึกษาระดับผิวเผินที่สัญญาข้อมูลเชิงลึกแต่ส่งมอบคำพูดเปล่าๆ ผู้อ่านกำลังมองหาตัวอย่างที่เป็นรูปธรรม เครื่องมือเฉพาะ รายละเอียดการนำไปใช้ และการประเมินที่ซื่อสัตย์ของสิ่งที่ไม่ได้ผลควบคู่ไปกับเรื่องราวความสำเร็จ
การใช้ AI แบบบังคับทำให้เกิดคำถาม
สิ่งที่ถกเถียงกันมากที่สุดคือการตัดสินใจของ HubSpot ที่จะทำให้ความคล่องแคล่วในการใช้ AI เป็นความคาดหวังพื้นฐานสำหรับบทบาทด้านวิศวกรรม แนวทางนี้ได้รับการเปรียบเทียบกับเครื่องมือเพิ่มผลิตภาพอื่นๆ ที่บริษัทไม่ได้บังคับใช้ แม้จะมีประโยชน์ที่พิสูจน์แล้วก็ตาม ชุมชนตั้งคำถามว่าทำไมเครื่องมือ AI จึงได้รับการปฏิบัติพิเศษเมื่อนายจ้างมักจะดิ้นรนเพื่อให้การเพิ่มผลิตภาพพื้นฐาน เช่น จอภาพคุณภาพดีหรืออุปกรณ์ที่เหมาะกับสรีรศาสตร์
นโยบายการนำไปใช้แบบบังคับยังทำให้เกิดความกังวลเกี่ยวกับการตั้งค่าการทำงานส่วนบุคคลและสมมติฐานที่ว่าโซลูชันแบบเดียวกันเหมาะสำหรับนักพัฒนาทุกคน บางคนโต้แย้งว่าแนวทางนี้อาจสะท้อนความกระตือรือร้นของผู้บริหารมากกว่าการตัดสินใจที่อิงหลักฐาน
กลยุทธ์การนำไปใช้ที่สำคัญ:
- การสนับสนุนจากผู้บริหารระดับสูงจากผู้ก่อตั้ง
- โครงการนำร่องขนาดใหญ่กับทีมงานทั้งหมด
- เซสชันการติดตั้ง/การฝึกอบรมและช่องทางการสนับสนุน
- การแจกจ่ายใบอนุญาตเชิงรุกให้กับวิศวกรทุกคน
- การกำหนดค่า MCP server แบบกำหนดเองสำหรับสภาพแวดล้อมการพัฒนา
ชื่อเสียงของบริษัทส่งผลต่อการรับรู้
ประวัติศาสตร์ของ HubSpot มีอิทธิพลต่อวิธีที่ชุมชนรับเรื่องราวการนำ AI มาใช้ของพวกเขา ความขัดแย้งในอดีตและความเชื่อมโยงของบริษัทกับแนวทางการตลาดเนื้อหาที่บางคนมองว่าเป็นส่วนหนึ่งของการสร้างผลการค้นหาคุณภาพต่ำได้สร้างความสงสัยเกี่ยวกับการอ้างทางเทคนิคของพวกเขา
หากใครต้องการชื่นชมตัวเองว่าพวกเขาคิดว่าตัวเองเก่งแค่ไหน นั่นก็เท่ แต่ผมไม่คิดว่ามันคุ้มค่าที่จะพูดถึงเว้นแต่พวกเขาจะมีอะไรแสดงให้ดู โดยเฉพาะ?
ความสงสัยนี้ขยายไปสู่คำถามเกี่ยวกับความน่าเชื่อถือทางเทคนิคโดยรวมของบริษัทและว่าเรื่องราวความสำเร็จด้าน AI ของพวกเขาแสดงถึงนวัตกรรมที่แท้จริงหรือการวางตำแหน่งทางการตลาด
บริบทที่กว้างขึ้นของการอ้างผลิตภาพ AI
กรณีของ HubSpot เน้นย้ำรูปแบบทั่วไปในเรื่องราวการนำ AI มาใช้ขององค์กร - บริษัทต่างๆ อ้างผลิตภาพในวงกว้างโดยไม่ให้หลักฐานโดยละเอียดที่จำเป็นสำหรับการตรวจสอบโดยเพื่อนร่วมงานหรือการทำซ้ำ แนวโน้มนี้ได้สร้างช่องว่างระหว่างการเล่าเรื่องความสำเร็จขององค์กรกับความเข้มงวดทางวิทยาศาสตร์ที่มักคาดหวังในการประเมินเทคโนโลยี
การตอบสนองของชุมชนแสดงให้เห็นความต้องการที่เพิ่มขึ้นสำหรับการอภิปรายเกี่ยวกับประสิทธิผลของเครื่องมือ AI ที่โปร่งใสและขับเคลื่อนด้วยข้อมูลมากขึ้น พร้อมด้วยวิธีการ ข้อจำกัด และการประเมินที่ซื่อสัตย์ทั้งความสำเร็จและความล้มเหลวในการนำไปใช้