แนวทางใหม่ที่น่าสนใจได้รวมปัญญาประดิษฐ์เข้ากับเทคโนโลยีการเรนเดอร์ 3D เพื่อเปลี่ยนภาพถ่ายธรรมดาให้กลายเป็นภาพวาดเส้นสามมิติแบบโต้ตอบได้ เทคนิคนวัตกรรมนี้ผสมผสานเทคโนโลยีที่มีอยู่แล้วสองอย่าง คือ การสร้างภาพวาดเส้นด้วย AI และ 3D Gaussian Splatting เพื่อสร้างสิ่งใหม่ในโลกของศิลปะดิจิทัลและการแสดงภาพ
การทำงานของเทคนิคนี้เริ่มต้นด้วยการแปลงภาพถ่ายธรรมดาให้กลายเป็นภาพวาดเส้นศิลปะโดยใช้โครงข่ายประสาทเทียมเฉพาะทาง จากนั้นจึงนำภาพที่ประมวลผลแล้วเหล่านี้ป้อนเข้าสู่ระบบสร้างฉาก 3D ผลลัพธ์ที่ได้นั้นน่าทึ่ง คือ สภาพแวดล้อม 3D แบบโต้ตอบได้เต็มรูปแบบที่รักษาสไตล์ศิลปะของภาพร่างวาดด้วยมือ ขณะเดียวกันก็ให้ผู้ชมสามารถเคลื่อนที่และสำรวจได้จากทุกมุมมอง
เทคโนโลยีหลักที่ใช้
- งานวิจัยของ Chan และคณะเรื่อง Learning to Generate Line Drawings (การแปลงภาพด้วย GAN)
- 3D Gaussian Splatting (การสร้างฉากแบบ volumetric)
- โมเดล Segment-Anything ( SAM ) ของ Meta สำหรับการสร้างมาสก์แบบเลือกสรร
- COLMAP/Structure-from-Motion สำหรับการประมาณตำแหน่งกล้อง
- การเรนเดอร์ WebGL สำหรับการแสดงผลแบบโต้ตอบแบบเรียลไทม์
ชุมชนประทับใจผลลัพธ์ทางภาพ
เทคนิคนี้ได้รับความสนใจอย่างกว้างขวางเนื่องจากผลกระทบทางภาพที่โดดเด่น ผู้สังเกตการณ์หลายคนพบว่าผลลัพธ์นั้นทั้งสวยงามและค่อนข้างน่าตื่นเต้น ทำให้เกิดฉากที่รู้สึกเหมือนได้ก้าวเข้าไปในภาพร่างที่มีชีวิต ลักษณะการโต้ตอบโดยเฉพาะทำให้ผู้ชมประทับใจ สิ่งที่ดูเหมือนเป็นเพียงภาพวาดเส้นธรรมดาในตอนแรกจะเผยให้เห็นความลึกสามมิติเต็มรูปแบบเมื่อผู้ใช้ซูมและหมุนรอบวัตถุ
สไตล์ภาพนี้ทำให้นึกถึงวิดีโอเกมยอดนิยมที่มีชื่อเสียงในด้านทิศทางศิลปะที่โดดเด่น โดยเฉพาะเกม cel-shaded ที่ผสมผสานเรขาคณิต 3D แบบสมจริงเข้ากับเทคนิคการเรนเดอร์ศิลปะ การเชื่อมโยงนี้แสดงให้เห็นว่าเทคโนโลยีนี้เป็นสะพานเชื่อมระหว่างรูปแบบศิลปะดั้งเดิมและสื่อโต้ตอบสมัยใหม่
นวัตกรรมทางเทคนิคและการประยุกต์ใช้งานจริง
วิธีการนี้เสนอความเป็นไปได้ทางสร้างสรรค์หลายแบบผ่านแนวทางการใช้งานที่แตกต่างกัน ศิลปินสามารถสร้างฉากภาพวาดเส้นบริสุทธิ์ ผสมผสานข้อมูลสีเพื่อให้ได้เอฟเฟกต์คล้ายสีน้ำ หรือแม้แต่รวมวัตถุที่วาดร่างเข้ากับพื้นหลังแบบสมจริง เทคนิคที่ชาญฉลาดโดยเฉพาะอย่างหนึ่งคือการเปลี่ยนสไตล์แบบค่อยเป็นค่อยไปตามมุมมอง การเคลื่อนที่รอบฉากสามารถเปลี่ยนจากแบบสมจริงไปเป็นการเรนเดอร์ศิลปะได้
นี่เป็นสิ่งที่สร้างสรรค์มาก... มีสิ่งน่าสนใจมากมายที่คนที่ชอบงานฝีมือสามารถทำได้ในตอนนี้ มันค่อนข้างน่าทึ่งจริงๆ
เทคโนโลยีนี้แสดงให้เห็นแนวโน้มที่ดีสำหรับการประยุกต์ใช้งานจริงนอกเหนือจากการทดลองทางศิลปะ ผู้ที่ชื่นชอบการถ่ายภาพด้วยโดรนกำลังสำรวจศักยภาพของมันสำหรับการทำแผนที่ทางอากาศและการสำรวจ ซึ่งสไตล์ภาพวาดเส้นสามารถช่วยเน้นคุณลักษณะของโครงสร้างหรือสร้างเอกสารทางเทคนิคที่อ่านง่ายขึ้น
วิธีการดำเนินการทางเทคนิค
- การแลกเปลี่ยนก่อนการฝึก: แทนที่ภาพก่อนการฝึก 3D Gaussian Splat (เชื่อถือได้มากกว่า รักษาข้อบกพร่องของสีเล็กน้อยไว้)
- การแลกเปลี่ยนก่อน SfM: แทนที่ภาพก่อนการประมวลผล structure-from-motion (กำจัดข้อบกพร่องของสี เชื่อถือได้น้อยกว่า)
- แนวทางผสมผสาน: ผสมผสานข้อมูลสีต้นฉบับกับภาพวาดเส้นเพื่อให้ได้เอฟเฟกต์สีน้ำ
- ฉากที่ประกอบรวม: รวมมุมมองแบบ photorealistic และ line art ในฉากเดียวกัน
 |
|---|
| ภาพนี้แสดงให้เห็นศักยภาพที่สร้างสรรค์ของงานศิลปะเส้น 3 มิติ โดยแสดงยานพาหนะก่อสร้างในภาพร่างที่มีพลวัตซึ่งสะท้อนการตีความทางศิลปะ |
ลักษณะประสิทธิภาพและข้อจำกัด
การทดสอบเผยให้เห็นการแลกเปลี่ยนประสิทธิภาพที่น่าสนใจในกระบวนการเรนเดอร์ ฉากภาพวาดเส้นต้องใช้ทรัพยากรการคำนวณประมาณสองเท่าเมื่อเปรียบเทียบกับฉากแบบสมจริงมาตรฐาน ทั้งในด้านเวลาประมวลผลและขนาดไฟล์ ความต้องการที่เพิ่มขึ้นนี้เกิดจากความท้าทายในการแสดงเส้นและขีดเส้นที่บาง ซึ่งต้องการองค์ประกอบการเรนเดอร์แต่ละชิ้นมากกว่าพื้นผิวและเนื้อสัมผัสที่เป็นของแข็ง
ความละเอียดมีผลกระทบอย่างมีนัยสำคัญต่อทั้งเวลาประมวลผลและรายละเอียดศิลปะ อินพุตความละเอียดต่ำจะจับเส้นโครงสร้างหลักและรูปร่าง ในขณะที่การประมวลผลความละเอียดสูงจะรักษารายละเอียดและเนื้อสัมผัสที่ละเอียด เวลาการฝึกอบรมมีตั้งแต่การประมวลผลที่เร็วขึ้นสำหรับฉากง่ายๆ ไปจนถึงระยะเวลาการคำนวณที่ยาวนานสำหรับสภาพแวดล้อมที่ซับซ้อนและมีรายละเอียดสูง
เทคนิคนี้แสดงถึงการบรรจบกันที่น่าตื่นเต้นของการสร้างศิลปะ AI และเทคโนโลยีการแสดงภาพ 3D เปิดความเป็นไปได้ทางสร้างสรรค์ใหม่ๆ สำหรับศิลปิน นักออกแบบ และนักวิจัยที่ทำงานกับข้อมูลเชิงพื้นที่และสื่อโต้ตอบ
อ้างอิง: Creating 3D Line Drawings