OpenBMB 发布了 MiniCPM4 系列高效大语言模型，该系列专为端侧设备设计，通过在模型架构、训练数据、训练算法和推理系统四个维度的系统性创新，实现了效率的提升。
MiniCPM4 系列包括多个模型，具体如下：
| 模型名称 |
主要特点/用途 |
|---|---|
MiniCPM4-8B |
旗舰模型， |
MiniCPM4-0.5B |
小型版， |
MiniCPM4-8B-Eagle-FRSpec |
MiniCPM4-8B 推理加速 Eagle head 模型 |
MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu |
MiniCPM4-8B 推理加速 Eagle head 模型 (QAT) |
MiniCPM4-8B-Eagle-vLLM |
MiniCPM4-8B 推理加速 Eagle head 模型 (vLLM) |
MiniCPM4-8B-marlin-Eagle-vLLM |
MiniCPM4-8B 推理加速 Eagle head 模型 (marlin, vLLM) |
BitCPM4-0.5B |
极端三元量化模型，参数压缩至三元值，实现90%位宽缩减 |
BitCPM4-1B |
极端三元量化模型 |
MiniCPM4-Survey |
基于 |
MiniCPM4-MCP |
基于 |
该系列模型的关键技术特性包括：
- 采用可训练稀疏注意力机制 InfLLM v2，在处理 128K 长文本时每个token仅需与少于 5% 的token计算相关性；
- 通过 模型风洞2.0 实现高效可预测扩展；
- 使用 BitCPM 进行极端三元量化；
- 采用 FP8低精度计算 和多token预测训练策略。
- 数据方面，通过 UltraClean流程 过滤和生成高质量预训练数据（开源了 UltraFinweb数据集），并使用 UltraChat v2 生成高质量监督微调数据。
- 推理系统方面，推出了集成稀疏注意力、模型量化和推测采样技术的CUDA推理框架 CPM.cu，以及支持跨平台部署的 ArkInfer系统。
MiniCPM4 原生支持高达 32768 token的上下文长度，并可通过 LongRoPE技术 扩展至 131072 token。在 Jetson AGX Orin 和 RTX 4090 等端侧芯片上，MiniCPM4 在长文本处理任务中展现出比同规模模型更快的处理速度，例如在 Jetson AGX Orin 上，其解码速度相较 Qwen3-8B 提升约 7倍。
用户可以通过 CPM.cu、Hugging Face Transformers、SGLang 或 vLLM 进行模型推理：https://huggingface.co/openbmb/MiniCPM4-8B
