为什么要本地跑大模型
三个理由：数据不出本机（隐私）、断网也能用、长期成本为零。对处理敏感文档或想离线折腾的人来说，本地部署是刚需。
用 Ollama 五分钟跑通
Ollama 把本地跑模型简化到了极致，不用配 CUDA，不用管依赖。
1. 安装
macOS 和 Linux 一条命令：curl -fsSL https://ollama.com/install.sh | sh；Windows 去官网下载安装包。
2. 拉模型
先从小模型开始试水：ollama run qwen2.5:7b（通义千问 7B，中文好，约 4.7GB）。想更轻量可以用 qwen2.5:3b。
3. 对话
拉完自动进对话界面，直接打字就能聊。退出用 /bye。
硬件门槛
- 7B 模型：8GB 内存能跑（慢），16GB 比较舒服
- 13B 模型：建议 32GB 内存或有独显
- 有 NVIDIA 显卡：速度提升 5-10 倍，Ollama 自动识别
没有独显也能用，只是生成速度慢一些（每秒几个字）。
接本地知识库
单跑模型只能闲聊。想让它读你的文档，需要一个前端：
- Cherry Studio：桌面客户端，支持多模型和本地知识库，图形界面最省心
- AnythingLLM：开源，能搭团队级知识库
流程是：Ollama 跑模型 → 前端连 Ollama 的 API（默认 http://localhost:11434） → 上传文档建索引 → 开始提问。
常见坑
- 别一上来拉 70B：几十 GB 下载加跑不动，纯浪费时间
- 中文优先选 Qwen 系列：同尺寸下中文能力明显强于 Llama
- 模型文件很占空间：定期用
ollama list看看，不用的ollama rm删掉
