เครื่องมือ command-line ตัวใหม่ที่ชื่อ Sqawk ได้สร้างการถกเถียงในชุมชนนักพัฒนา ไม่ใช่เพราะความสามารถของมัน แต่เพราะสิ่งที่หลายคนมองว่าเป็นการตลาดที่ทำให้เข้าใจผิด เครื่องมือนี้ซึ่งประมวลผลไฟล์ CSV และ TSV โดยใช้ SQL queries อ้างว่าได้แรงบันดาลใจจากคำสั่ง awk แบบคลาสสิก แม้ว่าจะมีสิ่งที่เหมือนกันกับ Unix text processing utility นี้น้อยมาก
วิธีการติดตั้ง
- ติดตั้งผ่าน Cargo:
cargo install sqawk - เขียนด้วยภาษาโปรแกรม Rust
ชุมชนตั้งคำถามเกี่ยวกับความเชื่อมโยงของเครื่องมือกับ Awk
นักพัฒนาที่ลอง Sqawk โดยคาดหวังประสบการณ์แบบ awk พบว่าตัวเองผิดหวัง เครื่องมือนี้โหลดชุดข้อมูลทั้งหมดเข้าสู่หน่วยความจำก่อนการประมวลผล ซึ่งแตกต่างจากแนวทาง streaming ของ awk อย่างพื้นฐาน นักวิจารณ์ชี้ให้เห็นว่านอกจากการรองรับ flag -F สำหรับ field separators แล้ว Sqawk ไม่มีความคล้ายคลึงกับปรัชญาหรือฟังก์ชันการทำงานของ awk เลย
ผมหวังว่านี่จะเป็น awk script ที่ยอดเยี่ยมที่สามารถใช้งาน SQL parser ได้อย่างใดอย่างหนึ่ง แต่มันไม่ใช่
ความสับสนเกิดจากการวางตำแหน่งของ Sqawk ในขณะที่ awk ประมวลผล text streams ทีละบรรทัดด้วย pattern-action programming แต่ Sqawk สร้างตารางฐานข้อมูลในหน่วยความจำและรัน SQL queries กับมัน ทำให้มันคล้ายกับเครื่องมืออย่าง SQLite หรือ DuckDB มากกว่า awk
คุณสมบัติหลัก
- เครื่องมือประมวลผลคำสั่ง SQL พร้อมการดำเนินการ SELECT, INSERT, UPDATE, DELETE
- รองรับไฟล์ CSV, TSV และไฟล์ที่มีตัวคั่นแบบกำหนดเอง
- การอนุมานประเภทข้อมูลอัตโนมัติ (Integer, Float, Boolean, String)
- การดำเนินการหลายตารางพร้อมรองรับ INNER JOIN
- ฟังก์ชันการรวมข้อมูล (COUNT, SUM, AVG, MIN, MAX)
- การดำเนินการที่ปลอดภัยด้วยแฟล็ก
--writeสำหรับการแก้ไขไฟล์
ทางเลือกที่มีอยู่แล้วเติมเต็มพื้นที่นี้
การถกเถียงยังเน้นให้เห็นว่า Sqawk เข้าสู่ตลาดที่มีเครื่องมือประมวลผล CSV มากมาย สมาชิกชุมชนรีบชี้ไปยังทางเลือกที่มีอยู่แล้วอย่าง csvkit ซึ่งให้ความสามารถในการจัดการ CSV อย่างครอบคลุม คนอื่นๆ กล่าวถึงว่า SQLite รองรับไฟล์ CSV เป็น virtual tables อยู่แล้ว และ DuckDB เสนอฟีเจอร์การประมวลผล CSV ที่แข็งแกร่ง
ผู้ใช้ PostgreSQL ได้กล่าวถึงคำสั่ง \COPY สำหรับฟังก์ชันการทำงานที่คล้ายกัน ในขณะที่บางคนอ้างอิงถึงการรองรับ CSV ของ ODBC ที่มีมานาน การมีโซลูชันที่มีอยู่แล้วมากมายนี้ทำให้เกิดคำถามเกี่ยวกับข้อเสนอคุณค่าที่เป็นเอกลักษณ์ของ Sqawk ในระบบนิเวศ
เครื่องมือทางเลือกที่ชุมชนกล่าวถึง
- csvkit: ชุดเครื่องมือจัดการ CSV ที่ครอบคลุม
- SQLite: รองรับไฟล์ CSV เป็นตารางเสมือน
- DuckDB: ความสามารถในการประมวลผล CSV ที่แข็งแกร่ง
- PostgreSQL: คำสั่ง
\COPYสำหรับการดำเนินการ CSV - ODBC: การรองรับ CSV ที่มีมายาวนาน
ความกังวลเรื่องการใช้หน่วยความจำสำหรับไฟล์ขนาดใหญ่
ข้อจำกัดทางเทคนิคที่สำคัญเกิดขึ้นจากการถกเถียงของชุมชน ไม่เหมือนกับแนวทาง streaming ของ awk ที่สามารถจัดการไฟล์ที่ใหญ่กว่า RAM ที่มีอยู่ Sqawk โหลดชุดข้อมูลทั้งหมดเข้าสู่หน่วยความจำก่อนการประมวลผล การเลือกสถาปัตยกรรมนี้จำกัดประโยชน์ของมันสำหรับงานประมวลผลข้อมูลขนาดใหญ่ที่ข้อจำกัดของหน่วยความจำมีความสำคัญ
แนวทางของเครื่องมือนี้ทำงานได้ดีกับไฟล์ CSV ขนาดเล็ก แต่อาจมีปัญหากับชุดข้อมูลขนาดหลายกิกะไบต์ที่ awk จัดการได้อย่างง่ายดาย ความแตกต่างพื้นฐานในปรัชญาการออกแบบนี้อธิบายว่าทำไมนักพัฒนาที่มีประสบการณ์จึงพบว่าการเปรียบเทียบกับ awk ทำให้เข้าใจผิด
แม้ว่า Sqawk จะเสนออินเทอร์เฟซที่สะอาดสำหรับการประมวลผล CSV แบบ SQL แต่การตอบสนองของชุมชนแสดงให้เห็นว่าการวางตำแหน่งที่ชัดเจนกว่าในฐานะเครื่องมือฐานข้อมูลในหน่วยความจำที่เบา แทนที่จะเป็นทางเลือกของ awk อาจตอบสนองความคาดหวังของผู้ใช้ที่มีศักยภาพได้ดีกว่า
อ้างอิง: Sqawk