必须硬件：
1、有核显的CPU（或者有多个显卡插槽+第二张显卡的主机），最好是AMD核显或者Intel核显，用于输出视频信号

2、淘宝店铺：39com 的SXM2双卡底板Nvlink 300G + PCI直通卡；需要两个PCIE插槽或者支持PCI拆分，否则只能用单张卡 巴拉巴拉...

3、750W以上的电源（单张卡全力运行300W左右的功耗，两张卡的话，垃圾六百哇以下的电源顶不住）

BIOS 设置（根据各主板型号自己搜索具体的选项）：

1、设置核显输出视频信号

2、开启Advoc...4G 啥的选项（开启这个就不能开启CSM，可能导致传统USB引导启动无法使用，技嘉X470主板会这样）

安装驱动：

驱动版本：553.74_grid_win10_win11_server2022_dch_64bit_international

下载地址：http://guiji20.iepose.cn/s/f7209636e98840c5a6 （速度慢不稳定，不行的话去网上自己搜索一下）

安装ollama：

下载地址：https://ollama.com (自己找找下载入口)

（安装好后ollama程序会自动运行，任务图标栏有个白色的羊驼脑袋的就是）

特别注意：安装好ollama后会自动运行客户端程序，这样在本机使用比较方便。但是若想通过API形式在别的电脑上使用，就要使用ollama的服务模式

ollama 服务模式：

1、退出ollama程序：右键右下角任务栏的羊驼脑袋→quit退出ollama客户端程序

2、关闭ollama的开机启动：win键→搜索”启动“→关闭ollama的开机启动 （或者你有别的方式，反正关闭ollama程序的开机启动就好了）

3、启动ollama 服务模式：右键左下角的win图标→Windows PowerShell（管理员）→ 输入命令：

（默认端口11434）

ollama serve

其他设置：

1、（服务模式）改端口号：

打开 系统属性 → 高级 → 环境变量

在 用户变量 或 系统变量 中点击 新建

变量名：OLLAMA_HOST

变量值：0.0.0.0:1521
2、其他服务模式运行参数（可选）：

ollama客户端设置模型放置路径（可选）：

ollama任务栏图标右键→setting→模型文件目录设置为自己想要存放的目录（最好M2硬盘，后面创建ollama模型的时候会把模型文件拷贝到这个目录）

服务模式要改模型的存放路径要加一个环境变量，自己查一下 ：）

下载第三方GUFF模型文件：
下载地址：https://modelscope.cn

（ollama官网有官方的模型文件下载命令，控制台输入就能下载模型使用，说是硬件资源利用率会更好，但是下载很慢很慢）

根据GUFF模型文件创建ollama模型：

（默认的ollama客户端创建的ollama模型和ollama服务模式创建的模型不通用，所以创建模型和使用前确定好要用ollama自带客户端还是使用服务模式）

1、下载模型文件（以D:\ai\3models目录下的DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf举例）

2、创建Modelfile-q6文件（不需要扩展名）并编辑文件内容：

（更多的参数自己找别的AI问问）

FROM D:/ai/3models/DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf

# -------------- 计算并行度 --------------
# 原来 64 → 512，一次性喂更多 token
PARAMETER num_batch      512
# 8 → 16，把 16 逻辑核全用上
PARAMETER num_thread     16
# 给足输出长度，让 GPU 持续有活干
PARAMETER num_predict    4096

# ==================== GPU优化配置 ====================
# 完整加载64层到GPU（Q6_K约占用24GB权重+5GB缓存）
PARAMETER num_gpu 64

# CPU线程配置（8物理核心，16逻辑线程）
PARAMETER num_thread 8

# 批处理大小（保守设置避免显存溢出）
PARAMETER num_batch 64

# 上下文长度（2K安全，可尝试3072）
PARAMETER num_ctx 2048

# ==================== 推理参数 ====================
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER top_k 40

# ==================== DeepSeek-R1模板（必须） ====================
TEMPLATE """{{ if .System }}<｜begin▁of▁sentence｜>{{ .System }}<｜end▁of▁sentence｜>{{ end }}{{ if .Prompt }}<｜User｜>{{ .Prompt }}<｜Assistant｜><｜begin▁of▁sentence｜>{{ end }}{{ .Response }}<｜end▁of▁sentence｜>"""

3、创建模型：

前言：创建模型就是根据.gguf模型生成一个ollama用的模型文件，默认是放在C盘的，若想放在别的盘需要配置一个环境变量后再重新运行ollama服务，去别的AI问问或者网上搜怎么设置。

cd /d D:\ai\3models
ollama create Deepseek-R1-32b-q6 -f Modelfile-q6

等待进度完成显示success字样

4、查看模型列表

ollama list

显示Deepseek-R1-32b-q6则成功了

5、愉快的使用了 ：）

提问示例:

ollama run Deepseek-R1-32b-q6 "用中文解释一下量子计算"

第一次使用模型会将模型处理并加载到显存，这个加载的时间取决于硬盘的读取速度，若一个模型是30GB而你的机械硬盘读取只有150MB/S的话最快也要3.4分钟才能加载完成。如果想快，用高速NVME硬盘吧（可以想象使用机械硬盘切换模型提问需要等多久）。

其他的命令：

删除模型

ollama rm 模型名称