环境：PVE9（基于 Debian 13 / trixie），内核 6.17.13-2-pve，显卡 GTX 1050

一、安装NVIDIA驱动

下载官方驱动

wget https://us.download.nvidia.com/XFree86/Linux-x86_64/580.159.03/NVIDIA-Linux-x86_64-580.159.03.run

安装

sh NVIDIA-Linux-x86_64-580.159.03.run

安装过程中的选项

提示选择
Continue installation（覆盖残留）确认
自动创建 modprobe 配置禁用 nouveauYes
X 库路径警告OK（忽略）
32 位兼容库警告OK（忽略）
注册到 DKMSYes
EGL 警告OK（忽略）
Rebuild initramfs确认
更新 X 配置No（不需要）

重启并验证

reboot
nvidia-smi

二、安装CUDA Toolkit

下载runfile

wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_570.86.10_linux.run

安装（只装 toolkit，不装驱动）

sh cuda_12.8.0_570.86.10_linux.run

环境变量

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

验证

nvcc --version

三、安装Ollama

配置临时代理

国内安装ollama和拉取模型可能很慢或失败，建议临时挂代理

export all_proxy=http://192.168.0.1:1082

用完取消代理

unset all_proxy

安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

配置Ollama监听0.0.0.0

默认Ollama只监听 127.0.0.1，如果需要局域网其他设备访问，改为监听所有接口

编辑systemd服务配置/etc/systemd/system/ollama.service
添加以下内容

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

重载并重启

systemctl daemon-reload
systemctl restart ollama

验证监听

ss -ntlp | grep 11434
# 或
netstat -ntlp | grep 11434

确认显示 0.0.0.0:11434 即可

常用命令

命令说明
ollama list / ollama ls列出本地下载的模型
ollama ps查看正在运行的模型
ollama pull <model>下载/更新模型
ollama run <model>运行模型（未下载会自动pull）
ollama rm <model>删除本地模型
ollama cp <src> <dst>复制模型
ollama show <model>查看模型信息
ollama stop <model>停止正在运行的模型

标签: none