นักพัฒนาสร้างเครื่องมือแปลงวิดีโอสอนเปียโนเป็นโน้ตเพลงที่อ่านได้

เครื่องมือบนเว็บใหม่ที่เรียกว่า PianoReader กำลังแก้ไขปัญหาที่นักเรียนเปียโนหลายคนประสบ คือการติดตามวิดีโอสอนยอดนิยมที่แสดงโน้ตตกลงมาบนคีย์บอร์ดเสมือน แอปพลิเคชันนี้ใช้เทคโนโลยี computer vision เพื่อวิเคราะห์วิดีโอสอนเหล่านี้และแปลงเป็นรูปแบบ tablature เปียโนแบบดั้งเดิม

ปัญหาของวิดีโอสอนเปียโนในปัจจุบัน

วิดีโอสอนเปียโนส่วนใหญ่ที่มีอยู่ออนไลน์ใช้ซอฟต์แวร์อย่าง Synthesia เพื่อสร้างการแสดงผลแบบเคลื่อนไหวของหยดฝนที่ตกลงมาและส่องสว่างที่คีย์เปียโน แม้จะดูน่าสนใจ แต่วิดีโอสอนเหล่านี้สร้างความท้าทายอย่างมากสำหรับผู้เรียน นักเรียนหลายคนพบว่ายากที่จะติดตามโน้ตที่ตกลงมาหรือระบุคอร์ดเฉพาะที่กำลังเล่น เนื่องจากต้องติดตามองค์ประกอบภาพที่เคลื่อนไหวอย่างต่อเนื่องแทนที่จะมุ่งเน้นไปที่การเรียนรู้ดนตรีเอง

ชุมชนได้รับรู้ปัญหานี้มานาน โดยผู้เรียนหลายคนแสดงความคับข้องใจที่คล้ายกันเกี่ยวกับช่องว่างระหว่างวิดีโอสอนที่หรูหราเหล่านี้กับรูปแบบการเรียนรู้ที่ใช้งานได้จริงมากกว่า เช่น guitar tabs ลักษณะเคลื่อนไหวของวิดีโอสอนเหล่านี้ แม้จะน่าสนใจ แต่มักขาดความชัดเจนแบบทีละขั้นตอนที่การสอนดนตรีที่มีประสิทธิภาพต้องการ

นวัตกรรมทางเทคนิคโดยใช้เทคโนโลยีเบราว์เซอร์

PianoReader ทำงานทั้งหมดภายในเว็บเบราว์เซอร์โดยใช้เทคโนโลジี HTML Canvas ทำให้ไม่จำเป็นต้องประมวลผลฝั่งเซิร์ฟเวอร์ เครื่องมือนี้จับภาพเฟรมวิดีโอแบบเรียลไทม์และใช้เทคนิค computer vision เพื่อตรวจจับเมื่อคีย์เปียโนถูกกด ผู้ใช้เริ่มต้นด้วยการทำเครื่องหมายตำแหน่งของคีย์ C1 และ D1 บนวิดีโอด้วยตนเอง ทำให้ระบบสามารถแมปเค้าโครงคีย์บอร์ดทั้งหมดได้

กระบวนการตรวจจับทำงานคล้ายกับเซ็นเซอร์ photoresistor โดยสุ่มตัวอย่างพื้นที่คีย์ในแต่ละเฟรมวิดีโอเพื่อกำหนดว่าคีย์ส่องสว่างหรือไม่ ระบบใช้ฟิลเตอร์ grayscale เพื่อปรับปรุงความแม่นยำและใช้ไลบรารี tonal.js เพื่อระบุการก่อตัวของคอร์ดจากการรวมกันของคีย์ที่ตรวจพบ

HTML Canvas: เทคโนโลยีเว็บที่ช่วยให้วาดกราฟิกและประมวลผลภาพได้โดยตรงในเบราว์เซอร์ Photoresistor: เซ็นเซอร์ที่ตรวจจับระดับแสง ใช้กันทั่วไปในโปรเจ็กต์อิเล็กทรอนิกส์

ข้อมูลจำเพาะทางเทคนิคของ PianoReader :

• แพลตฟอร์ม: เว็บเบส (เบราว์เซอร์เท่านั้น)
• การประมวลผล: ฝั่งไคลเอนต์โดยใช้ HTML Canvas
• อินพุต: ไฟล์วิดีโอที่ดาวน์โหลด (ไม่รองรับการนำเข้าจาก YouTube โดยตรง)
• เอาต์พุต: แทปเปียโนพร้อมสัญลักษณ์มือซ้าย/มือขวา
• การตรวจจับคีย์: คีย์สีขาวเท่านั้น
• Dependencies: Fabric.js สำหรับ UI, tonal.js สำหรับการตรวจจับคอร์ด
• ความเร็วในการประมวลผล: เรียลไทม์ (ต้องเล่นด้วยความเร็วปกติของวิดีโอ)

ข้อจำกัดปัจจุบันและศักยภาพในอนาคต

เครื่องมือนี้ประสบกับข้อจำกัดทางเทคนิคหลายประการที่จำกัดการใช้งานในทันที การประมวลผลต้องดาวน์โหลดวิดีโอไว้ในเครื่องเนื่องจากข้อจำกัดด้านความปลอดภัยของเบราว์เซอร์ที่ป้องกันการวิเคราะห์เนื้อหา cross-origin จากแพลตฟอร์มอย่าง YouTube นอกจากนี้ การวิเคราะห์ทีละเฟรมหมายความว่าวิดีโอต้องเล่นด้วยความเร็วปกติเพื่อหลีกเลี่ยงการข้ามเฟรม ทำให้กระบวนการแปลงใช้เวลานาน

ปัจจุบัน PianoReader ทำงานได้เฉพาะกับคีย์เปียโนสีขาวเท่านั้น เนื่องจากระยะห่างที่ไม่สม่ำเสมอของคีย์สีดำมีความซับซ้อนเพิ่มเติม ความแม่นยำอาจแตกต่างกันไปขึ้นอยู่กับคุณภาพวิดีโอและสภาพแสง บางครั้งต้องการการปรับแต่งด้วยตนเอง

แม้จะมีข้อจำกัดเหล่านี้ แต่การตอบรับจากชุมชนเป็นไปในทางบวก โดยนักพัฒนาได้สำรวจความเป็นไปได้ในการผสานรวมกับแพลตฟอร์มเรียนเปียโนที่มีอยู่แล้ว ผู้ใช้บางคนแสดงความสนใจในการรวมเทคโนโลยีนี้เข้ากับระบบจัดเก็บ tab บนเบราว์เซอร์เพื่อสร้างเครื่องมือเรียนรู้ที่ครอบคลุมมากขึ้น

โปรเจ็กต์นี้แสดงให้เห็นแนวทางที่น่าสนใจในการแก้ปัญหาจริงในการศึกษาดนตรี โดยแสดงให้เห็นว่า computer vision บนเบราว์เซอร์สามารถจัดการกับความท้าทายที่ส่งผลกระทบต่อผู้เรียนจำนวนมากได้อย่างไร แม้จะไม่สมบูรณ์แบบ แต่ก็เสนอโซลูชันที่ใช้งานได้จริงสำหรับการแปลงวิดีโอสอนแบบภาพเป็นรูปแบบดั้งเดิมที่อ่านได้ง่ายกว่าซึ่งนักเรียนหลายคนชอบ

อ้างอิง: Piano Reader