MiniCPM5-1B 部署教程：10 亿参数小钢炮，支持 128K 上下文与双模式推理

在轻量化大模型（SLM）领域，参数规模与性能的传统边界正不断被打破。近期，OpenBMB 正式发布了全新的开源轻量级语言模型——MiniCPM5-1B。

该模型虽然仅有 10 亿（1B）参数，但在综合能力测试中表现惊人。根据 Artificial Analysis 公布的最新数据，MiniCPM5-1B 在 Sub-4B（40亿参数以下）开源模型排行榜中以 17.9 分 荣登榜首，超越了诸如 Qwen3.5-2B（16.3分）及多款更大尺寸的早期模型（如 Gemma 7B、Llama 7B）。

核心特性

超长上下文支持：支持高达 131,072 Token（128K） 的上下文窗口，可轻松处理整本电子书、大型项目源码或长篇 PDF 文档。
Think / No Think 双模式：
- Think 模式：适用于数学推理、复杂代码生成及多步骤逻辑分析。模型会消耗更多算力进行深度思考，提供高精度解答。
- No Think 模式：适用于日常对话、翻译及快速写作。响应速度极快。
多平台支持：官方提供了包括 GGUF、MLX（适配 Apple Silicon）、Transformers、vLLM 和 SGLang 在内的多版本支持，对本地低配置设备极其友好。

模型与工具下载

1. 模型权重下载

根据本地硬件配置，您可以选择不同的 GGUF 量化版本：

版本名称	文件大小	推荐说明
MiniCPM5-1B-Q4_K_M	约 688 MB	推荐，适合大多数普通用户及低配设备
MiniCPM5-1B-Q8_0	约 1.15 GB	兼顾速度与生成质量
MiniCPM5-1B-F16	约 2.17 GB	完整精度，适合显存充足或评测使用

官方源：Hugging Face 下载地址
打包镜像：打包下载点一 | 备用下载点二

2. 推理工具（llama.cpp）下载

GitHub 官方源：llama.cpp Releases
一键集成包（含启动脚本）：打包下载点一 | 备用下载点二

本地部署教程（以 Windows 环境为例）

准备目录结构：
解压下载好的 llama.cpp 压缩包。在其根目录下新建一个名为 models 的文件夹，并将下载好的 .gguf 模型文件（例如 MiniCPM5-1B-F16.gguf）放入该文件夹中。
配置一键启动脚本：
在 llama.cpp 根目录下，新建一个空白文本文件，命名为 start_minicpm.bat。将以下批处理代码复制并保存至该文件中：

@echo off
setlocal EnableDelayedExpansion
title MiniCPM5-1B Professional Launcher

:: ==========================
:: Configuration
:: ==========================

set MODEL_DIR=models
set PORT=8080
set CONTEXT=131072

if not exist "llama-server.exe" (
    echo.
    echo ERROR:
    echo llama-server.exe not found.
    pause
    exit
)

:MODEL_MENU

cls
echo ================================================
echo            MiniCPM5-1B Launcher
echo ================================================
echo.
echo Select Model
echo.
echo 1. Q4_K_M  
echo 2. Q8_0
echo 3. F16 (Recommended)
echo.
echo 0. Exit
echo.

set /p MODEL=

if "%MODEL%"=="1" (
set MODEL_FILE=MiniCPM5-1B-Q4_K_M.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="2" (
set MODEL_FILE=MiniCPM5-1B-Q8_0.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="3" (
set MODEL_FILE=MiniCPM5-1B-F16.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="0" exit

goto MODEL_MENU

:CHECK_MODEL

if not exist "%MODEL_DIR%\%MODEL_FILE%" (
echo.
echo Model not found:
echo.
echo %MODEL_DIR%\%MODEL_FILE%
echo.
pause
goto MODEL_MENU
)

:MODE_MENU

cls
echo ================================================
echo            Reasoning Mode
echo ================================================
echo.
echo 1. Think
echo 2. No Think
echo.
echo 0. Back
echo.

set /p MODE=

if "%MODE%"=="1" (
set THINK=1
goto START
)

if "%MODE%"=="2" (
set THINK=0
goto START
)

if "%MODE%"=="0" goto MODEL_MENU

goto MODE_MENU

:START

cls

if "%THINK%"=="1" (
set SYSTEM=You are a helpful AI assistant. Think carefully before answering.
set MODE_NAME=Think
)

if "%THINK%"=="0" (
set SYSTEM=You are a helpful AI assistant. Answer directly without exposing your reasoning.
set MODE_NAME=No Think
)

echo ================================================
echo              Starting Server
echo ================================================
echo.
echo Model   : %MODEL_FILE%
echo Mode    : %MODE_NAME%
echo Context : %CONTEXT%
echo Port    : %PORT%
echo.

echo Local Address:
ipconfig | findstr /R "IPv4"

echo.

start "" http://127.0.0.1:%PORT%

llama-server ^
-m "%MODEL_DIR%\%MODEL_FILE%" ^
-c %CONTEXT% ^
-ngl 999 ^
--flash-attn auto ^
--host 0.0.0.0 ^
--port %PORT% ^
--temp 0.6 ^
--top-p 0.95 ^
--min-p 0.05 ^
--repeat-penalty 1.05 ^
--seed -1

echo.
echo Server Stopped.
pause