Datawhale干货 作者:不要葱姜蒜,Datawhale成员

前天的文章《Zotero整合DeepSeek自动帮你读文献,教程来了!》中,有学习者问到有没有本地部署模型的教程,今天小白版他来了!

DeepSeek-R1

DeepSeek 开源了完整的 deepseek-r1 671B 的权重,同时也开源了一些蒸馏出来的小的Disstill 小模型。从论文给出的评测表看,蒸馏出的 qwen-14b 模型的能力完全不输 OpenAI-o1-mini。  接下来,我们可以借助 LMStudio 本地部署 DeepSeek-R1-Disstill 系列模型,并部署 API 可以接入到 cursor 等 AI IDE 中。 

LMStudio

LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作,确保数据隐私和安全,特别适合处理敏感数据的场景。它支持跨平台使用,能够在 Windows、macOS 和 Linux 系统上运行,满足不同用户的需求。无论是初学者还是资深开发者,LM Studio 都能提供灵活的工具和便捷的操作体验,助力机器学习项目的快速推进。

Step 1:下载LMStudio

大家可以在LMStudio的官网下载对应的安装包,支持 Windows,Linux,MacOS。 📌 Github Link: https://github.com/lmstudio-ai/lmstudio.js  LMStudio 官网: https://lmstudio.ai/  注:请下载0.3.9版本,本教程仅适用于该版本。 

Step 2:更换模型下载源及模型下载路径

LMStudio 的默认模型下载地址为 Hugging Face 平台,但由于众所周知的原因,我们需要设置一下国内可访问的 HF 镜像源。一共需要修改两个文件。 

Step 2.1 :修改模型下载源

  • 首先打开 LMStudio 的下载安装位置,如果你忘记刚刚下载到哪里了,可以右键点击桌面上的 LMStudio 的图标,点击属性。点击“打开文件所在位置”即可。

  • 一共需要修改两个文件,如下所示: 📌

LMStudio文件位置\resources\app.webpack\renderer\main_window.js * LMStudio文件位置\resources\app.webpack\main\index.js

main_window.js 文件有点大,使用 windows 自带的文本编辑器打开可能会有点慢,建议使用 vscode 打开,全部替换。 ``` https://huggingface.co/

https://hf-mirror.com/

将https://huggingface.co/全部替换为https://hf-mirror.com/,然后重新打开LMStudio即可。 ![](https://cdn.zhuanzhi.ai/vfiles/27bdcf2fb5cbd94a7a43e469a8fd541a)

### Step 2.2 :下载模型并进行对话

* 修改完成之后重新打开 LMStudio,首先点击左侧的放大镜按钮,在搜索框搜索r1,然后点击下面的搜索结果,进行下载即可。
注:如果此处没有搜索结果的话,请返回上一步检查是否替换完全,或是检查电脑网络问题。 ![](https://cdn.zhuanzhi.ai/vfiles/f54c5882624a9635dd0201f166a074f6)

* 然后就可以在 LMStudio 的主界面进行对话啦,这里我使用了 deepseek-r1-distill-qwen-7b 进行提问" Strawberries 有几个 r ?"经典问题哈,也是回答正确!
![](https://cdn.zhuanzhi.ai/vfiles/3a0fd029f6bf2ebfb550f7e7c1ef3e0b)
我的设备是笔记本的 3060,显存 6G。LMStudio 加载模型,当你的显存不够用时,会使用内存加载一部分参数,所以显存小也是可以本地部署一下的。 ![](https://cdn.zhuanzhi.ai/vfiles/a5b2b286df758c2c1e7c53fb85b31f87)

### Step 2.3 :部署 r1 api

* 点击 LMStudio 主界面的第二个按钮,可以进入开发者界面,打开此处的 api 部署服务,并在 Setting 中选择全部打开,这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。
![](https://cdn.zhuanzhi.ai/vfiles/87f7cd0c2708cd1afae61c9cc32603f5)

## 结语

希望这个教程可以帮到大家,在 DeepSeek 遭受 DDOS 攻击无法使用之时。 
成为VIP会员查看完整内容
2

相关内容

类O1复现项目数据和模型开源啦
专知会员服务
30+阅读 · 2024年12月24日
【干货】谷歌Joshua Gordon 《TensorFlow 2.0讲解》,63页PPT
专知会员服务
28+阅读 · 2019年11月2日
Uber开源实时多任务、多传感器融合3D目标检测方法!
计算机视觉life
11+阅读 · 2020年7月15日
AI已经逆天了,能帮你女朋友“一键脱衣”,单男的福音
手把手教你用Python实现“坦克大战”,附详细代码!
机器学习算法与Python学习
11+阅读 · 2019年6月8日
【干货】史上最全的PyTorch学习资源汇总
深度学习与NLP
24+阅读 · 2019年5月18日
收藏!CNN与RNN对中文文本进行分类--基于TENSORFLOW实现
全球人工智能
12+阅读 · 2018年5月26日
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
164+阅读 · 2023年4月20日
Arxiv
14+阅读 · 2022年5月6日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Arxiv
15+阅读 · 2021年6月27日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
19+阅读 · 2021年2月4日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
10+阅读 · 2018年2月17日
Arxiv
13+阅读 · 2018年1月20日
VIP会员
相关资讯
Uber开源实时多任务、多传感器融合3D目标检测方法!
计算机视觉life
11+阅读 · 2020年7月15日
AI已经逆天了,能帮你女朋友“一键脱衣”,单男的福音
手把手教你用Python实现“坦克大战”,附详细代码!
机器学习算法与Python学习
11+阅读 · 2019年6月8日
【干货】史上最全的PyTorch学习资源汇总
深度学习与NLP
24+阅读 · 2019年5月18日
收藏!CNN与RNN对中文文本进行分类--基于TENSORFLOW实现
全球人工智能
12+阅读 · 2018年5月26日
相关基金
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
相关论文
Arxiv
164+阅读 · 2023年4月20日
Arxiv
14+阅读 · 2022年5月6日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Arxiv
15+阅读 · 2021年6月27日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
19+阅读 · 2021年2月4日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
10+阅读 · 2018年2月17日
Arxiv
13+阅读 · 2018年1月20日
微信扫码咨询专知VIP会员