Mô hình LLM Gemma Persona Tiếng Việt cho Thiết bị Biên (GGUF)

Thông số

Mô hình gốc

google/gemma-4-E2B-it

Phương pháp fine-tune

LoRA (r=16, alpha=32) với Unsloth

Dữ liệu huấn luyện

98.274 persona người Việt đã lọc

Định dạng phát hành

GGUF, từ 2-bit đến 8-bit

Ngôn ngữ

Tiếng Việt

Giấy phép

CC BY 4.0

Năng lực chính

• Tối ưu hóa bộ nhớ VRAM/RAM nhờ lượng tử hóa GGUF, chạy mượt trên máy chủ cục bộ không cần GPU đắt đỏ.
• Phản hồi tự nhiên theo đúng văn phong, xưng hô và ngữ cảnh giao tiếp chuyên nghiệp tại Việt Nam.

Quá trình huấn luyện

1. 01Dữ liệu gốc: nvidia/Nemotron-Personas-Vietnam, 100.000 bản ghi chân dung (persona) người Việt.
2. 02Audit chất lượng và lọc nhiễu (lỗi định dạng ký tự, lỗi dịch máy, thiếu thông tin nhân khẩu học), giữ lại 98.274 bản ghi sạch.
3. 03Chuyển sang định dạng hội thoại chuẩn của Gemma 4: prompt mô tả nhân vật cần đóng, phản hồi là nhân vật tự giới thiệu bằng tiếng Việt tự nhiên.
4. 04LoRA rank 16, alpha 32, dropout 0; đóng băng bộ mã hóa hình ảnh và âm thanh để giữ năng lực đa phương tiện gốc của Google.
5. 051 epoch, learning rate 2e-4 (cosine), effective batch size 8 (2 GPU T4, DDP), độ dài ngữ cảnh 2048 token, AdamW 8-bit.
6. 06Lượng tử hóa thành nhiều bản GGUF từ 2-bit đến 8-bit để phù hợp từng cấu hình phần cứng.

Kích thước một số bản GGUF

Theo thông tin trong model card trên Hugging Face.

Q4_K_M (khuyên dùng cho thiết bị biên)

~1.30 GB

Q5_K_M (khuyên dùng cho PC)

~1.55 GB

Q8_0 (gần như không suy hao)

~2.35 GB

Cách dùng nhanh

Chạy bằng llama.cpp (dùng thêm tệp mmproj để xử lý hình ảnh và âm thanh)

./llama-cli -m gemma-4-e2b-it.Q4_K_M.gguf \
  --mmproj gemma-4-e2b-it.F16-mmproj.gguf \
  -p "<|turn>user\nHãy đóng vai một giáo viên 35 tuổi sống tại Hà Nội để tự giới thiệu về bản thân.<turn|>\n<|turn>model\n" \
  -n 512 \
  --temp 0.7

Ghi nhận và nguồn gốc

• Google: mô hình nền Gemma 4 E2B.
• Unsloth: thư viện fine-tune tiết kiệm bộ nhớ.
• NVIDIA: bộ dữ liệu Nemotron-Personas-Vietnam.