本地大模型量化部署

版本说明

本文档基于 Obsidian v1.13（稳定版）整理，功能可能随版本更新，建议结合官方说明实践。

量化等级

精度	显存(7B)	质量	速度
Q8	8 GB	接近原版	慢
Q4_K_M	4.5 GB	良好	快
Q2_K	3 GB	可接受	最快

llama.cpp 示例

./llama-cli -m model-q4_k_m.gguf -p "总结这段笔记" -ngl 35

显存估算

7B-Q4 ≈ 4.5GB；14B-Q4 ≈ 9GB；需预留 1-2GB 上下文。无独显可用 CPU（慢 5-10 倍）。