DeepSeek 本地部署

DeepSeek的爆火,让在线使用的流畅度受到了很大的冲击,部署到本地使用吧。

部署流程

Step1. 安装ollama

ollama是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。
下载地址:https://ollama.com/download。我是windows就选择windows的版本下载。

ollama

下载完运行OllamaSetup.exe。全部按照默认配置即可完成安装(默认安装在C盘上)。

安装成功后,可以通过终端查看到安装的版本号:
Ollama版本

Step2. 下载DeepSeek模型

目前最新的模型是DeepSeek-R1,在ollma网站左上角选models(排第一的就是deepseek-r1)。或是通过models中的搜索查找DeepSeek模型。

DeepSeek模型下载

在deepseek-r1模型的下拉框根据你的电脑配置选择你想安装的模型。默认的是7b的模型,如果你的电脑是集成显卡就下载1.5b。如果你的电脑配置了Nvidia或AMD的显卡,并且显存在8G以上。可以直接按照默认下载7b或8b的模型。再往上就不是一般电脑可以部署的了。


image.png

模型选择完,后面有一段命令,就是下载模型的命令。点后面的复制按钮复制下来。粘贴到命令行终端中。或者直接在命令行终端中输入这段命令。

ollama run deepseek-r1:14b

回车后就会开始下载模型。
下载模型

如果原本已经下载完模型,运行ollama run deepseek-r1 就会进入命令行对话模式:

run DeepSeek

Step3. 安装ChatboxAI

ChatboxAI 是一个基于先进自然语言处理技术的对话平台,旨在为用户提供智能、流畅且高效的对话体验。

在:https://chatboxai.app/zh 下载windows版本的ChatboxAI。

ChatboxAI

下载完成后,选择下要安装的目录,其余默认配置安装。

安装完成后会自动打开ChatboxAI设置,选择本地模式。
ChatboxAI 设置

在模型提供方选择OLLAMA API。在模型选择你刚才下载的deepseek-r1模型。
ChatboxAI 配置

最后保存,就可以在ChatboxAI中使用DeepSeek。
ChatBox
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容