halo 的技术博客

返回

DeepSeekOllama本地部署AI工具大模型

上周五下午,正要给甲方演示一个方案,DeepSeek 网页版崩了。

刷新、重试、换节点……折腾了二十分钟,最后只能对着甲方说”服务器有点问题”。那一刻我下定决心:把 DeepSeek 部署到自己电脑上

部署完用了一周,发现本地版本有几个隐藏优势,官网还真没有。

为什么我放弃 DeepSeek 官网#

官方服务的问题不是能力差,是不稳定

高峰期响应慢、偶尔宕机、回答到一半突然断掉——这些我都遇到过。更重要的是,官网版本没法针对我的私有数据做定制。问它我公司的业务流程,它只能瞎编。

本地部署解决了这些问题:

对比项DeepSeek 官网本地部署
稳定性高峰期可能崩完全自己掌控
次数限制无,完全免费
数据隐私上传即共享数据不离本地
定制能力通用模型可以投喂私有数据

关键是,部署门槛没有想象中那么高。

两步搞定:Ollama + AnythingLLM#

第一步:安装 Ollama(模型运行环境)#

Ollama 是一个本地大模型运行工具,类似于”大模型的安卓系统”。

Mac 用户

  1. 去 ollama.com 下载安装包
  2. 双击安装,选择【Move to Applications】
  3. 打开终端,输入命令下载模型:
# 下载 DeepSeek-R1 模型(根据电脑配置选一个)
plaintext
ollama run deepseek-r1:7b    # 7B模型,约4GB显存能跑
ollama run deepseek-r1:14b   # 14B模型,12GB显存能跑

# 下载 embedding 模型(投喂数据需要)
ollama pull nomic-embed-text
plaintext

Windows 用户

  1. 下载 Ollama 安装包,右键以管理员身份运行
  2. 建议把模型存储路径改到 D 盘(避免占 C 盘空间):
    • 新建文件夹 D:\OllamaAI
    • 设置环境变量 OLLAMA_MODELS=D:\OllamaAI
  3. 重启电脑,打开 Ollama(右下角会出现羊驼图标)
  4. 终端输入下载命令(同 Mac)

第二步:安装 AnythingLLM(可视化界面 + 数据投喂)#

Ollama 只是命令行工具,AnythingLLM 给你一个图形界面,还能投喂自己的数据。

  1. 下载 AnythingLLM(支持 Mac 和 Windows)
  2. 安装完成后打开,在设置里:
    • LLM 提供商选择 Ollama
    • 模型选择 deepseek-r1 (你下载的版本)
    • Embedder 选择 nomic-embed-text (投喂数据需要)

重点:如何投喂私有数据#

这是本地部署最有价值的部分。

投喂步骤

  1. 在 AnythingLLM 里新建一个工作区
  2. 点击【上传】,支持 PDF、TXT、Word、Excel、PPT 等格式
  3. 勾选上传的文件,点击【Move to Workspace】
  4. 点击【Save and Embed】

投喂完成后,这个工作区里的 DeepSeek 就”认识”你的数据了。

举个例子

  • 投喂前:问”我们公司的报销流程是什么”,DeepSeek 瞎编一通
  • 投喂后:基于你上传的制度文档,给出准确回答

效果对比

问题投喂前投喂后
”伙伴神公众号是干嘛的”不知道/瞎编准确回答
”我们公司的报销流程”瞎编基于文档回答
”这份合同有哪些风险点”泛泛而谈分析具体内容

⚠️ 注意 :AnythingLLM 只是可视化工具,实际的”投喂”是向量检索(RAG)技术,不是真正的模型训练。模型不会永久记住你的数据,每次新建对话都是独立的,但同一工作区内可以持续使用。

硬件要求一览#

根据你选择的模型大小:

模型显存要求适用场景
1.5B4GB轻度使用,Mac 日常办公
7B8GB主流选择,大多数人够用
14B12GB效果更好,RTX 3060+
32B24GB接近官网效果,RTX 4090

我自己的 MacBook Pro M3 跑 7B 模型完全流畅,没有任何风扇声。

什么人不适合本地部署#

说完了优点,也要说缺点:

  • 轻度用户 :偶尔问个问题,官网就够了,没必要折腾
  • 没有独显的 Windows 用户 :7B 模型勉强能跑,但体验一般
  • 追求最新模型 :本地部署主要是开源模型,能力上限不如最新付费版

如果你需要:

  • ✅ 稳定可用的 AI(不受服务器影响)
  • ✅ 数据隐私(不想上传到云端)
  • ✅ 私有知识库(让 AI 读懂你的文档)

本地部署值得一试。


你部署过本地大模型吗?遇到了什么问题?评论区聊聊。

把DeepSeek部署到本地后,我再也没打开过官网
https://blog.halo26812.eu.org/blog/deepseek-local-deploy
Author halo
Published at 2026年4月21日
版权声明 CC BY-NC-SA 4.0
Comment seems to stuck. Try to refresh?✨