Chatterbox

Chatterbox ialah model TTS sumber terbuka bertaraf pengeluaran pertama yang dikeluarkan Resemble AI, menggunakan lesen MIT, dan ini agak jarang dalam bidang penjanaan suara — kebanyakan model suara sumber terbuka mempunyai sekatan bukan komersial atau penyelidikan.

Ciri dan senario penggunaan

Ia mempunyai beberapa spesifikasi yang berbaloi dipandang serius. Pertama, ia model TTS sumber terbuka pertama yang menyokong kawalan keterlaluan emosi (emotion exaggeration), dan anda boleh menyesuaikan tahap kekuatan nada, dan bukan hanya mendapat satu nada bacaan yang mendatar. Kedua, kependaman di bawah 200 milisaat, dan angka ini membolehkannya dimasukkan ke dalam ejen suara serta-merta dan aplikasi interaktif, dan bukan sekadar penjanaan berkelompok luar talian. Ketiga, menyokong lebih 23 bahasa.

Modelnya sendiri berparameter 500 juta, berasaskan seni bina Llama yang ditambah baik gaya CosyVoice, dilatih dengan kira-kira 500,000 jam audio yang telah dibersihkan. Keputusan ujian buta yang diumumkan pihak rasmi ialah: 65.3% pendengar lebih suka Chatterbox-Turbo, 24.5% lebih suka ElevenLabs, 10.2% tiada pilihan — angka ini perlu dilihat dengan sedikit diskaun (ujian yang dibuat sendiri oleh pengusaha), tetapi sekurang-kurangnya menunjukkan ia sudah memasuki tahap boleh guna.

Gabungan lesen MIT dan penggunaan tempatan menjadikannya amat sesuai untuk tiga situasi: keperluan penjanaan dalam jumlah besar yang kos API awannya tidak tertanggung; data yang tidak boleh keluar negara; serta yang mahu membenamkan TTS ke dalam produk sendiri tanpa mahu terikat pada pembekal API.

Harganya ialah anda perlu mengendalikan sendiri penggunaan, sumber GPU dan kemas kini model. Bagi pasukan tanpa keupayaan kejuruteraan ML, membayar untuk menggunakan API masih lebih berbaloi — jangan salah faham hanya kerana empat perkataan "sumber terbuka percuma".