Deepseek linux本地部署

下载

  • 系统环境
    debian12

https://ollama.com/download

系统中执行

curl -fsSL https://ollama.com/install.sh | sh

驱动

安装依赖

apt intstall build-essential linux-headers

因为默认会安装开源驱动 所以需要屏蔽掉
vim /etc/modprobe.d/nvidia-installer-disable-nouveau.conf写入

blacklist nouveau
options nouveau modeset=0

更新 initramfs：
日志中显示 update-initramfs 命令未能正确运行。你需要手动更新 initramfs，以确保禁用 Nouveau 的设置生效。

sudo update-initramfs -u
如果你使用的是 dracut（某些发行版，如 CentOS、RHEL 等），你需要使用以下命令：
sudo dracut --force

lsmod | grep nouveau
sudo rmmod nouveau

重启后开始安装NVIDIA驱动
官网查找到对应的显卡以及系统驱动
https://www.nvidia.com/zh-tw/geforce/drivers/
运行文件 根据需要进行安装build后会去安装签名 要提前关闭BIOS中安全启动

bash NVIDIA-*****.run

安装完成后的验证

nvidia-smi

能看见显卡型号和显存即可

OLLAMA启动

https://ollama.com/library/deepseek-r1
找到对应参数
用命令拉去

ollama run deepseek-r1:8b
root@deepseek:~# ollama list
NAME              ID              SIZE      MODIFIED     
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    27 hours ago

对话框CTRL+D后并不会关闭。我们只需要工具调用接口即可。
https://cherry-ai.com/

调整ollama允许外网访问
写入

vim /etc/systemd/sytem/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

重启

systemctl restart ollama

查看11434端口能不能外网访问即可

软件配置

cherry studio为例

写入那个接口ip端口或者配置的域名，然后他会识别出接口中可用的模型