Text-to-Speech • VI ↔ JP · RF-DiT • Fine-tuned từ Irodori-TTS-500M-v3

Mô hình Tổng hợp Giọng nói Song ngữ Việt – Nhật (Irodori-Sen)

LeNgocTu/Irodori-Sen-TTS

Mô hình chuyển văn bản thành giọng nói tiếng Việt (kế thừa tiếng Nhật), fine-tune từ Irodori-TTS-500M-v3 với kiến trúc Rectified-Flow Diffusion Transformer, sinh audio 48 kHz, hỗ trợ nhân bản giọng zero-shot và điều khiển phong cách bằng emoji.

Mô hình Tổng hợp Giọng nói Song ngữ Việt – Nhật (Irodori-Sen)

Mở trên Hugging Face ↗

Thông số

Mô hình gốc: Aratako/Irodori-TTS-500M-v3
Kiến trúc: Rectified-Flow Diffusion Transformer (RF-DiT)
Tần số lấy mẫu: 48 kHz
Quy mô: 500M tham số
Ngôn ngữ: Tiếng Việt, tiếng Nhật
Giấy phép: MIT

Năng lực chính

Nhân bản giọng zero-shot từ một đoạn audio mẫu ngắn, đọc được cả tiếng Việt lẫn tiếng Nhật.
Điều khiển cảm xúc và hiệu ứng âm thanh bằng emoji (khả năng kế thừa từ mô hình gốc; phần tiếng Việt còn đang nghiên cứu, chưa ổn định).

Giọng mẫu của mô hình

Giọng nữ trẻ trung
Giọng nữ bình thường

Quá trình huấn luyện

01Kế thừa nguyên vẹn kiến trúc Irodori-TTS-500M-v3: bộ mã hóa văn bản (token embedding từ llm-jp-3-150m), bộ mã hóa giọng mẫu, Diffusion Transformer và bộ dự đoán độ dài.
02Audio được biểu diễn bằng latent liên tục qua codec Semantic-DACVAE-Japanese-32dim (32 chiều), tái tạo waveform 48 kHz.
03Fine-tune cho tiếng Việt; khả năng tiếng Nhật và điều khiển bằng emoji được kế thừa từ mô hình gốc.
04Có hai cách dùng: bản đã gộp sẵn (merged) dùng trực tiếp, hoặc LoRA adapter gắn lên mô hình gốc.
05Tham số suy luận khuyến nghị: cfg_scale_speaker 2.5, cfg_scale_text 3.0, duration_scale 1.0, num_steps 40. Mô hình vẫn đang được huấn luyện tiếp.

Cách dùng nhanh

Tải bản đã gộp và chạy suy luận (cần cài mã nguồn Aratako/Irodori-TTS)

git clone https://github.com/Aratako/Irodori-TTS && cd Irodori-TTS && pip install -e .

from huggingface_hub import hf_hub_download
ckpt = hf_hub_download("LeNgocTu/Irodori-Sen-TTS", "merged/model.safetensors")

python infer.py --checkpoint <ckpt> --text "Xin chào, rất vui được gặp bạn." --ref-wav ref.wav --cfg-scale-speaker 2.5 --cfg-scale-text 3.0 --num-steps 40 --output-wav out.wav

Hạn chế

Biểu cảm emoji giảm khi nhân bản giọng trung tính; muốn biểu cảm mạnh nên dùng chế độ không giọng mẫu.
Phần tiếng Việt chưa được huấn luyện riêng trên dữ liệu emoji nên việc điều khiển bằng emoji khi đọc tiếng Việt chưa ổn định.
Đọc tiếng Nhật tốt nhất khi không dùng giọng mẫu hoặc dùng giọng mẫu tiếng Nhật; trộn Việt – Nhật trong cùng một câu còn yếu.
Đoạn quá dài (trên khoảng 8 đến 10 giây) có thể kém ổn định ở phần cuối; nên đổi văn bản về chữ thường trước khi đọc.
Mô hình 500M tham số: kỳ vọng ở mức "đủ tốt", không phải chất lượng đỉnh của các hệ lớn.

Ghi nhận và nguồn gốc

Aratako, tác giả Irodori-TTS-500M-v3: mô hình gốc mà phiên bản tiếng Việt này kế thừa kiến trúc, trọng số, codec và khả năng điều khiển bằng emoji.
llm-jp/llm-jp-3-150m (nguồn token embedding) và Aratako/Semantic-DACVAE-Japanese-32dim (codec).