如何在本地运行开源 GLM-5.3-Flash 模型

GLM-5.3-Flash 有 320B 总参数，每次推理激活约 18B。看到 18B 很容易产生一个误会，以为二三十 GB 显存也能轻松运行。实际部署时，机器仍要容纳完整权重。Unsloth 发布的最小 GGUF 量化文件也有 93.09GB，算上系统占用、运行时和上下文缓存，100GB 只是起跑线。

这篇教程走两条路。想尽快用起来，可以安装 Unsloth Desktop。需要接入代码编辑器、Agent 或自己的应用，再编译支持 GLM-5.3-Flash 的 llama.cpp 分支，启动一个兼容 OpenAI 接口的本地服务。

从硬件检查到本地接口的完整流程

开始前先看机器能不能装下

GLM-5.3-Flash 是稀疏 MoE 模型。推理时只调用一部分专家，计算量因而低于同等总参数规模的稠密模型。没有被调用的专家权重仍要保存在显存、统一内存或系统内存里。部署门槛首先由量化文件体积决定，生成速度则很受内存带宽和 GPU 卸载比例影响。

Unsloth 给出的硬件需求按总内存计算。独立显卡机器可以把 RAM 和显存合起来估算，Apple Silicon 直接看统一内存。这个估算只适合判断能否开始尝试，不能保证速度。

不同 GGUF 量化版本的文件体积

128GB 机器建议先下载 UD-IQ2_XXS。它比 3-bit 版本少占约 18.5GB，给操作系统和上下文缓存留出的余量更像一台日常可用的电脑。UD-IQ3_XXS 的质量更高，文件本身已经达到 120.37GB。关掉其他大型应用并缩短上下文后可以尝试，但余量很紧。

只有 64GB 内存时，这篇教程里的完整加载方案不适用。把权重留在 SSD 上分层读取虽然有机会启动，速度通常会落到很难正常对话的程度。

最省事的做法是 Unsloth Desktop

Unsloth Desktop 已经把专用推理后端和模型下载放进图形界面，适合先验证机器是否跑得动。

macOS、Linux 和 WSL 可以执行下面的安装命令。

curl -fsSL

https://unsloth.ai/install.sh

| sh

Windows PowerShell 使用下面这条命令。

irm

https://unsloth.ai/install.ps1

| iex

安装完成后打开 Unsloth Chat 或模型页面，搜索 GLM-5.3-Flash-GGUF，再按机器内存选择量化版本。128GB 设备可以从 UD-IQ2_XXS 开始。首次运行要下载一百多 GB 的权重，磁盘最好多留几十 GB，避免下载缓存和模型文件一起把空间占满。

模型加载成功后，先把上下文长度设为 8192 或更小，发一条短消息确认能够生成。等基础推理稳定，再逐步加长上下文。直接把上下文拉到模型支持的上限，会额外吃掉大量内存，也会显著增加首轮等待时间。

需要本地接口时，Unsloth 也可以从命令行启动服务。

unsloth run –model unsloth/GLM-5.3-Flash-GGUF:UD-IQ2_XXS

开发者路线要使用专用 llama.cpp 分支

截至 2026 年 9 月 6 日，GLM-5.3-Flash 的支持仍在 llama.cpp 的开放合并请求中，官方主分支尚未合入。通过 Homebrew、WinGet 或 llama.cpp Releases 安装的正式版可能无法识别 glm5next 架构。

如果看到下面这行报错，通常是程序版本不对，和模型文件损坏没有直接关系。

unknown model architecture: ‘glm5next’

目前应当编译 Unsloth 提供的 glm5next/upstream 分支。

在 macOS 上编译

先安装构建工具。

brew install cmake git python

拉取专用分支并编译。Metal 默认开启，因此这里关闭 CUDA 即可。

git clone –branch glm5next/upstream

https://github.com/unslothai/llama.cpp

cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF \ -DGGML_CUDA=OFF cmake –build llama.cpp/build \ –config Release \ -j \ –clean-first \ –target llama-cli llama-mtmd-cli llama-server llama-gguf-split

编译成功后，llama-cli 和 llama-server 会出现在 llama.cpp/build/bin 目录。

在 Ubuntu 和 NVIDIA 显卡上编译

系统还需要可用的 NVIDIA 驱动与 CUDA Toolkit。先装常用构建依赖。

sudo apt-get update sudo apt-get install -y \ pciutils build-essential cmake curl git \ libcurl4-openssl-dev python3-pip

再打开 CUDA 后端编译。

git clone –branch glm5next/upstream

https://github.com/unslothai/llama.cpp

cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF \ -DGGML_CUDA=ON cmake –build llama.cpp/build \ –config Release \ -j \ –clean-first \ –target llama-cli llama-mtmd-cli llama-server llama-gguf-split

如果 CMake 找不到 CUDA，先运行 nvcc –version。这条命令也找不到时，需要先修好 CUDA Toolkit 的安装或环境变量，再回来编译。

下载 GGUF 权重

先安装 Hugging Face 命令行工具。

python3 -m pip install -U “huggingface_hub[cli]”

128GB 机器可以先下载 UD-IQ2_XXS。仓库里的 GGUF 被拆成多个分片，命令会把同一量化目录中的分片一起取回。

hf download unsloth/GLM-5.3-Flash-GGUF \ –local-dir models/GLM-5.3-Flash-GGUF \ –include “UD-IQ2_XXS“

内存更充裕时，把两处 UD-IQ2_XXS 改成想用的量化名称即可。下载完成后检查目录。

ls -lh models/GLM-5.3-Flash-GGUF/UD-IQ2_XXS

你应当看到四个连续编号的 GGUF 分片。启动时只需要把第一个分片交给 llama.cpp，程序会自动找到其余文件。

先在终端里跑通一次

macOS 执行下面的命令。

./llama.cpp/build/bin/llama-cli \ –model models/GLM-5.3-Flash-GGUF/UD-IQ2_XXS/GLM-5.3-Flash-UD-IQ2_XXS-00001-of-00004.gguf \ –ctx-size 8192 \ –temp 1.0 \ –top-p 0.95 \ –chat-template-kwargs ‘{“reasoning_effort”:”high”}’ \ -fa off

NVIDIA 机器目前还要关闭 TF32，再启动程序。

NVIDIA_TF32_OVERRIDE=0 \ ./llama.cpp/build/bin/llama-cli \ –model models/GLM-5.3-Flash-GGUF/UD-IQ2_XXS/GLM-5.3-Flash-UD-IQ2_XXS-00001-of-00004.gguf \ –ctx-size 8192 \ –temp 1.0 \ –top-p 0.95 \ –chat-template-kwargs ‘{“reasoning_effort”:”high”}’ \ -fa off

专用分支当前要求关闭 Flash Attention 才能保证输出正确。NVIDIA 环境还需要 NVIDIA_TF32_OVERRIDE=0。这两项来自该分支的运行说明，后续合入主线以后可能会变化。

第一次启动会花时间读取一百多 GB 权重。看到交互提示符后，先问一个短问题。如果进程在加载阶段被系统杀掉，通常是内存不足。换成更小的量化版本，关闭其他大型应用，并继续保持较短上下文。

启动兼容 OpenAI 的本地接口

终端对话跑通以后，再把可执行文件换成 llama-server。下面的命令把服务限制在本机访问，并给模型设置一个固定名称。

macOS 使用这组参数。

./llama.cpp/build/bin/llama-server \ –model models/GLM-5.3-Flash-GGUF/UD-IQ2_XXS/GLM-5.3-Flash-UD-IQ2_XXS-00001-of-00004.gguf \ –alias glm-5.3-flash \ –ctx-size 8192 \ –host 127.0.0.1 \ –port 8080 \ –jinja \ -fa off

NVIDIA 机器在命令前加上同一个环境变量。

NVIDIA_TF32_OVERRIDE=0 \ ./llama.cpp/build/bin/llama-server \ –model models/GLM-5.3-Flash-GGUF/UD-IQ2_XXS/GLM-5.3-Flash-UD-IQ2_XXS-00001-of-00004.gguf \ –alias glm-5.3-flash \ –ctx-size 8192 \ –host 127.0.0.1 \ –port 8080 \ –jinja \ -fa off

服务启动后，新开一个终端检查模型列表。

curl http://127.0.0.1:8080/v1/models

再发送一条对话请求。

curl http://127.0.0.1:8080/v1/chat/completions \ -H “Content-Type: application/json” \ -d ‘{ “model”: “glm-5.3-flash”, “messages”: [ {“role”: “user”, “content”: “用 Python 写一个读取 JSON 文件的示例”} ], “temperature”: 1.0, “top_p”: 0.95, “reasoning_effort”: “high” }’

能够收到 JSON 响应，说明本地接口已经可用。第三方工具里的接口地址填写 http://127.0.0.1:8080/v1，模型名填写 glm-5.3-flash。本地服务通常不校验 API Key。如果客户端强制要求，可以填一个任意的非空字符串。

几个常见问题

1. 程序提示无法识别 glm5next

检查当前二进制文件来自哪个仓库和分支。正式版 llama.cpp 尚未提供这项支持，需要重新编译 unslothai/llama.cpp 的 glm5next/upstream 分支。

\2. 只下载了一个分片

不要手工只取 00001 文件。使用前面的 hf download 命令下载整个量化目录，并确认编号连续。启动参数仍然指向第一个分片。

\3. 权重能够加载，生成却很慢

MoE 降低了每个 Token 的计算量，权重读取仍会消耗大量内存带宽。独立显卡装不下全部权重时，CPU 和 GPU 之间的数据搬运会进一步限制速度。减少上下文只能减轻缓存和首轮处理压力，无法让低带宽内存获得高端服务器显存的吞吐。

\4. 128GB 机器运行 3-bit 时被系统杀掉

120.37GB 只是模型文件体积，运行时还要占内存。先退回 101.84GB 的 UD-IQ2_XXS，关闭其他大型程序，并把上下文降到 4096 或 8192。等基础配置稳定以后，再试 UD-IQ3_XXS。

\5. 能不能直接用 Ollama、LM Studio 或正式版 llama.cpp

模型页面可能会展示这些应用的通用启动片段，当前真正决定能否运行的是推理后端有没有合入 glm5next 支持。部署前应当先检查所用应用打包的 llama.cpp 版本。无法确认时，Unsloth Desktop 和本文编译的专用分支更稳妥。

量化版本怎么选

低比特量化把本地运行门槛压了下来，也会损失模型输出质量。Unsloth 的量化分析中，UD-IQ1_S 的 top-1 一致率约为 70.89%，UD-IQ2_XXS 约为 76.30%，UD-IQ3_XXS 约为 81.63%，UD-Q4_K_XL 约为 92.22%。这些数字适合比较同一套量化方案，不能直接当成模型在编程任务里的正确率。

如果目标只是验证能否运行，选最小的 UD-IQ1_S。128GB 机器日常使用可以先选 UD-IQ2_XXS。192GB 左右可以看 UD-IQ4_XS，256GB 机器可以考虑 UD-Q4_K_XL。量化越大，通常质量越好，加载时间、内存占用和数据搬运成本也会跟着增加。

GLM-5.3-Flash 把 320B 级模型带到了个人工作站能够尝试的范围，但它仍然是一项重负载。先用较小量化和短上下文跑通，再根据剩余内存逐步提高质量，这套顺序最省时间。