DeepSeekOllama本地部署AI工具大模型
上周五下午,正要给甲方演示一个方案,DeepSeek 网页版崩了。
刷新、重试、换节点……折腾了二十分钟,最后只能对着甲方说”服务器有点问题”。那一刻我下定决心:把 DeepSeek 部署到自己电脑上 。
部署完用了一周,发现本地版本有几个隐藏优势,官网还真没有。
为什么我放弃 DeepSeek 官网#
官方服务的问题不是能力差,是不稳定 。
高峰期响应慢、偶尔宕机、回答到一半突然断掉——这些我都遇到过。更重要的是,官网版本没法针对我的私有数据做定制。问它我公司的业务流程,它只能瞎编。
本地部署解决了这些问题:
| 对比项 | DeepSeek 官网 | 本地部署 |
|---|---|---|
| 稳定性 | 高峰期可能崩 | 完全自己掌控 |
| 次数限制 | 有 | 无,完全免费 |
| 数据隐私 | 上传即共享 | 数据不离本地 |
| 定制能力 | 通用模型 | 可以投喂私有数据 |
关键是,部署门槛没有想象中那么高。
两步搞定:Ollama + AnythingLLM#
第一步:安装 Ollama(模型运行环境)#
Ollama 是一个本地大模型运行工具,类似于”大模型的安卓系统”。
Mac 用户 :
- 去 ollama.com 下载安装包
- 双击安装,选择【Move to Applications】
- 打开终端,输入命令下载模型:
# 下载 DeepSeek-R1 模型(根据电脑配置选一个)plaintextollama run deepseek-r1:7b # 7B模型,约4GB显存能跑
ollama run deepseek-r1:14b # 14B模型,12GB显存能跑
# 下载 embedding 模型(投喂数据需要)
ollama pull nomic-embed-textplaintextWindows 用户 :
- 下载 Ollama 安装包,右键以管理员身份运行
- 建议把模型存储路径改到 D 盘(避免占 C 盘空间):
- 新建文件夹
D:\OllamaAI - 设置环境变量
OLLAMA_MODELS=D:\OllamaAI
- 新建文件夹
- 重启电脑,打开 Ollama(右下角会出现羊驼图标)
- 终端输入下载命令(同 Mac)
第二步:安装 AnythingLLM(可视化界面 + 数据投喂)#
Ollama 只是命令行工具,AnythingLLM 给你一个图形界面,还能投喂自己的数据。
- 下载 AnythingLLM(支持 Mac 和 Windows)
- 安装完成后打开,在设置里:
- LLM 提供商选择 Ollama
- 模型选择 deepseek-r1 (你下载的版本)
- Embedder 选择 nomic-embed-text (投喂数据需要)
重点:如何投喂私有数据#
这是本地部署最有价值的部分。
投喂步骤 :
- 在 AnythingLLM 里新建一个工作区
- 点击【上传】,支持 PDF、TXT、Word、Excel、PPT 等格式
- 勾选上传的文件,点击【Move to Workspace】
- 点击【Save and Embed】
投喂完成后,这个工作区里的 DeepSeek 就”认识”你的数据了。
举个例子 :
- 投喂前:问”我们公司的报销流程是什么”,DeepSeek 瞎编一通
- 投喂后:基于你上传的制度文档,给出准确回答
效果对比 :
| 问题 | 投喂前 | 投喂后 |
|---|---|---|
| ”伙伴神公众号是干嘛的” | 不知道/瞎编 | 准确回答 |
| ”我们公司的报销流程” | 瞎编 | 基于文档回答 |
| ”这份合同有哪些风险点” | 泛泛而谈 | 分析具体内容 |
⚠️ 注意 :AnythingLLM 只是可视化工具,实际的”投喂”是向量检索(RAG)技术,不是真正的模型训练。模型不会永久记住你的数据,每次新建对话都是独立的,但同一工作区内可以持续使用。
硬件要求一览#
根据你选择的模型大小:
| 模型 | 显存要求 | 适用场景 |
|---|---|---|
| 1.5B | 4GB | 轻度使用,Mac 日常办公 |
| 7B | 8GB | 主流选择,大多数人够用 |
| 14B | 12GB | 效果更好,RTX 3060+ |
| 32B | 24GB | 接近官网效果,RTX 4090 |
我自己的 MacBook Pro M3 跑 7B 模型完全流畅,没有任何风扇声。
什么人不适合本地部署#
说完了优点,也要说缺点:
- 轻度用户 :偶尔问个问题,官网就够了,没必要折腾
- 没有独显的 Windows 用户 :7B 模型勉强能跑,但体验一般
- 追求最新模型 :本地部署主要是开源模型,能力上限不如最新付费版
如果你需要:
- ✅ 稳定可用的 AI(不受服务器影响)
- ✅ 数据隐私(不想上传到云端)
- ✅ 私有知识库(让 AI 读懂你的文档)
本地部署值得一试。
你部署过本地大模型吗?遇到了什么问题?评论区聊聊。