中国唯一一家专业只做ARACLE认证和BDA实训的甲骨文金牌合作企业

网络授课

技术沙龙

Linux下搭建本地deepseek(附文档下载)

简单测试了一下在linux上搭建本地deepseek,需要用到:linux、ollama、chatboxai

1、 下载安装ollama ollama 是一款开源应用,可让你在 Windows、MacOS 和 Linux 上使用命令行界面在本地运行、创建和共享大型语言模型。

网址:http://ollama.com

1.1、 首页找到下载【Download】-【Linux】

1.2、 在linux下执行命令

curl -fsSL http://ollama.com/install.sh | sh

安装完成,可以输入 ollama --version 来检验是否安装成功,如果正确安装则会输出所安装 ollama 的版本号。

如果安装过程中出现警告信息,可根据提示安装需要的安装包、或者给运行需要的权限等方法解决。

2、 下载安装deepseek模型

同样在ollama的网站,在导航上找到【Models】,选择【deepseek-r1】模型,选择【1.5b】做测试,表示该模型有 15 亿个参数。

3、 下载并执行deepseek模型

ollama run deepseek-r1:1.5b

1.5b有1.1个G大小,需要下载一段时间,也可以把命令中的“run”换成“pull”,支持断点续传。

如果看到 success 字样也就说明模型下载完成了,执行命令ollama list可查看 ollama 目前所下载的模型列表。

4、 下载chatbox:

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。 地址:http://chatboxai.app/zh/

可以选择下载客户端到本地,或者直接在网页上访问,如果是本地大模型部署,选择前者。

5、 配置环境变量

在linux服务器端配置ollama服务。

5.1、修改/etc/systemd/system/ollama.service.d/override.conf文件

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

#ExecStart=/usr/local/bin/ollama serve #屏蔽掉此行

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=/usr/local/mysql8.0.30/bin:/home/gptt/myvenv/bin:/home/gptt/.local/bin:/home/gptt/anaconda3/bin:/home/gptt/anacond" #这个自动获取

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

5.2、重启ollama服务

systemctl daemon-reload

systemctl restart ollama.service

systemctl status ollama.service

查看端口状态,默认监听11434端口:

ss -tulnp

6、 配置chatbox

如果模型一开始不能显示,可以配置到第3步时先保存再设置就可以看到了,因为只有连接到本地大模型后才可以显示。

7、 开始对话

本次服务器配置比较简单,cpu为4核,内存8g,无gpu,在回答时有点滞后,但是还是可以接受的。

8、 相关网址

linux下搭建本地deepseek.docx

链接: http://pan.baidu.com/s/12eto-TO8-OaYl0j3ZEJRlg

提取码: jwgk

ollama:http://ollama.com

chatboxai:http://chatboxai.app/zh

CUUG 优技培训

中国oracle培训领航专家

CUUG -CHINA UNIX USER GROUP,是国际UNIX组织UNIFORUM的中国代表,是国内悠久的专业UNIX培训机构,被誉为中国UNIX 的摇篮。

金牌讲师

行业资深实战专家 让学习就像在就业
展开

实操环境

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

让每一个dba课程学员有真正的实操练习

院校合作

学校新闻

行业新闻

在线预约 抢先报名 获取课程排期

请输入您的手机号

申请试听
版权所有:北京神脑资讯科技有限公司
地址:北京市海淀区紫竹花园4号楼D座703
全国免费咨询电话:400-0909-964
电话:010-59426307 ,邮政编码:100089
E-mail:cuug_bj@cuug.com
拨打电话
在线咨询
首页