Llama 本地部署
Llama 系列是开源本地模型的事实标准。根据设备算力选择合适尺寸，能让笔记助手在隐私优先的前提下保持可用的生成质量。
怎么选模型尺寸
参数量直接决定对内存和显卡的要求，也影响回复质量：
- 1B–3B（如 Llama 3.2 1B/3B）：可在无独显的笔记本上流畅运行，适合短句续写、标签建议。
- 7B–8B（Llama 3.1 8B）：质量与速度的平衡点，多数笔记任务的推荐起点。
- 70B+：需要 40GB 以上显存或多卡，适合对准确率要求高的研究整理，普通用户性价比低。
用 llama.cpp 部署
llama.cpp 比 Ollama 更轻量，适合嵌入家庭服务器：
bash
# 编译后运行
./llama-server -m models/llama-3.1-8b-q4_k_m.gguf \
--host 127.0.0.1 --port 8080 -ngl 35启动后同样以 http://127.0.0.1:8080 形式接入 Obsidian 插件，注意把监听地址限制在回环网卡。
量化对笔记任务的影响
量化会降低精度但大幅压缩体积。对摘要、分类这类任务，Q4_K_M 与无损版本差异很小；对长链推理、代码生成，建议至少 Q5_K_M。先用小模型跑通链路，再按实际效果升级量化等级。
与 Ollama 的取舍
Ollama 胜在开箱即用、模型管理方便；llama.cpp 胜在极致轻量与可定制（GPU 层数、上下文窗口、并发）。新手用 Ollama，需要细粒度控制或服务化部署时再切到 llama.cpp。