Chatterbox เป็นโมเดล TTS โอเพนซอร์สระดับใช้งานจริงตัวแรกที่ Resemble AI เปิดตัว ใช้ไลเซนส์ MIT ซึ่งหายากมากในวงการสร้างเสียง โมเดลเสียงโอเพนซอร์สส่วนใหญ่มีข้อจำกัดห้ามใช้เชิงพาณิชย์หรือให้ใช้เฉพาะการวิจัย
จุดเด่นของฟีเจอร์และสถานการณ์การใช้งาน
มันมีสเปกหลายข้อที่ควรดูจริงจัง หนึ่ง เป็น TTS โอเพนซอร์สตัวแรกที่รองรับการควบคุมระดับการเน้นอารมณ์ (emotion exaggeration) คุณปรับความเข้มของน้ำเสียงได้ ไม่ใช่ได้แค่น้ำเสียงอ่านราบเรียบแบบเดียว สอง latency ต่ำกว่า 200 มิลลิวินาที ตัวเลขนี้ทำให้มันใส่ในเอเจนต์เสียงและแอปโต้ตอบแบบเรียลไทม์ได้ ไม่ใช่แค่การสร้างเป็นชุดแบบออฟไลน์ สาม รองรับกว่า 23 ภาษา
ตัวโมเดลเองมี 500 ล้านพารามิเตอร์ อิงสถาปัตยกรรม Llama ที่ปรับแบบ CosyVoice เทรนด้วยเสียงที่ทำความสะอาดแล้วราว 500,000 ชั่วโมง ผลทดสอบแบบปิดที่ทางบริษัทเผยแพร่คือ ผู้ฟัง 65.3% ชอบ Chatterbox-Turbo 24.5% ชอบ ElevenLabs 10.2% ไม่มีความชอบ ตัวเลขนี้ต้องตัดทอนดู (เป็นการทดสอบที่ผู้ผลิตทำเอง) แต่อย่างน้อยก็บอกว่ามันเข้าสู่ระดับใช้งานได้แล้ว
การผสมไลเซนส์ MIT กับการติดตั้งบนเครื่อง ทำให้มันเหมาะกับสามสถานการณ์เป็นพิเศษ ต้องการสร้างปริมาณมากจนต้นทุน API คลาวด์รับไม่ไหว ข้อมูลออกนอกประเทศไม่ได้ และอยากฝัง TTS เข้าผลิตภัณฑ์ของตัวเองแต่ไม่อยากถูกผู้ให้บริการ API ผูก
แลกกับการที่คุณต้องจัดการการติดตั้ง ทรัพยากร GPU และการอัปเดตโมเดลเอง สำหรับทีมที่ไม่มีความสามารถวิศวกรรม ML การจ่ายเงินใช้ API ยังคุ้มกว่า เรื่องนี้อย่าเข้าใจผิดเพราะคำว่าโอเพนซอร์สฟรีสี่คำ
ฟีเจอร์เด่น
- ไลเซนส์ MIT ใช้เชิงพาณิชย์ฟรีเต็มรูปแบบ
- TTS โอเพนซอร์สตัวแรกที่รองรับการควบคุมระดับการเน้นอารมณ์
- latency ต่ำกว่า 200 มิลลิวินาที ใช้กับเอเจนต์เสียงแบบเรียลไทม์ได้
- รองรับกว่า 23 ภาษา
- 500 ล้านพารามิเตอร์ เทรนด้วยเสียงราว 500,000 ชั่วโมง
- ติดตั้งบนเครื่องหรือคลาวด์ส่วนตัวได้เต็มรูปแบบ
ข้อดี
- ไลเซนส์ MIT ทำให้ใช้เชิงพาณิชย์ต้นทุนไลเซนส์เป็นศูนย์ หายากมากในโมเดลเสียง
- ติดตั้งบนเครื่อง ข้อมูลไม่ออกนอกประเทศและไม่ถูกจำกัดอัตราจาก API
- latency ต่ำพอ ใส่ในสถานการณ์โต้ตอบแบบเรียลไทม์ได้
ข้อเสีย
- ต้องจัดการการติดตั้ง GPU และการบำรุงรักษาโมเดลเอง
- ข้อมูลการทดสอบแบบปิดเป็นการเผยแพร่เองของผู้ผลิต ควรเผื่อพื้นที่ในการตัดสิน
- ประสิทธิภาพภาษาไทยต้องพิสูจน์เอง ไม่แน่ว่าดีกว่าโมเดลภาษาไทยเฉพาะทาง
กรณีการใช้งาน
- การสร้างเสียงปริมาณมาก เลี่ยงการคิดตามปริมาณของ API
- แอปเสียงของรัฐบาลหรือการเงินที่ข้อมูลออกนอกประเทศไม่ได้
- ชั้นเอาต์พุตเสียงของเอเจนต์เสียงแบบเรียลไทม์
- ฟีเจอร์เสียงออฟไลน์ที่ฝังในผลิตภัณฑ์ของตัวเอง
บันทึกบรรณาธิการ
ปัญหาที่ใหญ่ที่สุดของ TTS โอเพนซอร์สหลายปีนี้คือไลเซนส์ ตัวที่ใช้ดีใช้เชิงพาณิชย์ไม่ได้ ตัวที่ใช้เชิงพาณิชย์ได้ก็ไม่เพราะ Chatterbox ใช้ MIT รื้อกำแพงนี้ทิ้ง แค่จุดนี้ก็ควรจับตา แต่อย่าลืมต้นทุนแฝงของการติดตั้งเอง GPU การดูแล การอัปเดต รวมกันแล้วไม่แน่ว่าถูกกว่าซื้อ API
คำถามที่พบบ่อย
ใช้เชิงพาณิชย์ได้จริงไหม
ไลเซนส์ MIT อนุญาตการใช้เชิงพาณิชย์ การแก้ไข และการเผยแพร่ต่อ เป็นหนึ่งในไลเซนส์โอเพนซอร์สที่ผ่อนปรนที่สุด แต่ตอนใช้ยังต้องระวัง ความถูกกฎหมายของข้อมูลเทรนและเนื้อหาที่คุณสร้างเองยังเป็นความรับผิดชอบของผู้ใช้ โดยเฉพาะการใช้เลียนเสียงของบุคคลเฉพาะ
ต้องใช้ฮาร์ดแวร์แบบไหนถึงรันไหว
โมเดล 500 ล้านพารามิเตอร์รันได้บน GPU ระดับผู้บริโภค latency จริงขึ้นกับการ์ดจอและการตั้งค่า quantization การจะได้ latency ต่ำกว่า 200 มิลลิวินาทีตามที่ทางบริษัทอ้าง มักต้อง GPU ที่เหมาะสมและการตั้งค่าที่ปรับแล้ว การประมวลผลด้วย CPU ล้วนจะช้ากว่ามาก