本地大模型深度实战
对隐私敏感的场景(法律、医疗、商业机密),用本地大模型在 Obsidian 内跑 AI,数据不出本机。
mermaid
flowchart LR
O[Obsidian 插件] --> I[本地推理服务<br/>Ollama / LM Studio]
I --> M[本地模型<br/>Qwen / Llama]
M -->|数据不出本机| P[隐私优先辅助]架构
text
Obsidian 插件 → 本地推理服务(Ollama/LM Studio) → 本地模型(如 Qwen/Llama)部署步骤
1. 安装推理服务
- 安装 Ollama 或 LM Studio
- 拉取模型:
ollama pull qwen2.5:14b
2. 配置插件
- Copilot / Text Generator 指向
http://localhost:11434 - 选择本地模型,关闭云端 API
3. 验证离线
断网后测试生成,确认不依赖外部服务。
能力取舍
| 维度 | 云端模型 | 本地模型 |
|---|---|---|
| 质量 | ✅ 强 | ⚠️ 取决于模型大小 |
| 隐私 | ❌ | ✅ 完全本地 |
| 成本 | 按量计费 | 一次性硬件 |
| 速度 | 依赖网络 | 依赖本地算力 |
优化建议
- 7B-14B 模型在消费级显卡即可流畅
- 用量化版本(如 Q4)降低显存占用
- 长上下文任务优先选支持 32k+ 的模型
注意
本地模型仍需警惕把机密直接粘贴进提示;确保仓库不启用任何云同步。