Skip to content

本地大模型深度实战

对隐私敏感的场景(法律、医疗、商业机密),用本地大模型在 Obsidian 内跑 AI,数据不出本机。

mermaid
flowchart LR
  O[Obsidian 插件] --> I[本地推理服务<br/>Ollama / LM Studio]
  I --> M[本地模型<br/>Qwen / Llama]
  M -->|数据不出本机| P[隐私优先辅助]

架构

text
Obsidian 插件 → 本地推理服务(Ollama/LM Studio) → 本地模型(如 Qwen/Llama)

部署步骤

1. 安装推理服务

  • 安装 Ollama 或 LM Studio
  • 拉取模型:ollama pull qwen2.5:14b

2. 配置插件

  • Copilot / Text Generator 指向 http://localhost:11434
  • 选择本地模型,关闭云端 API

3. 验证离线

断网后测试生成,确认不依赖外部服务。

能力取舍

维度云端模型本地模型
质量✅ 强⚠️ 取决于模型大小
隐私✅ 完全本地
成本按量计费一次性硬件
速度依赖网络依赖本地算力

优化建议

  • 7B-14B 模型在消费级显卡即可流畅
  • 用量化版本(如 Q4)降低显存占用
  • 长上下文任务优先选支持 32k+ 的模型

注意

本地模型仍需警惕把机密直接粘贴进提示;确保仓库不启用任何云同步。

相关资源