上海交通大学IPADS研究所、上海交通大学人工智能学院联合初创公司本智激活（Zenergize AI），发布了开源端侧原生大模型SmallThinker。
该系列模型采用为端侧算力、内存、存储特性而原生设计的模型架构，并从零开始预训练，具体包含两个尺寸的稀疏模型，分别是SmallThinker-4B-A0.6B和SmallThinker-21B-A3B。
SmallThinker专为低成本硬件设计，可在百元级国产开发板（如瑞芯微RK3588）上流畅运行百亿参数模型，旨在为资源受限的个人设备带来强大、私密且低延迟的AI能力，无需依赖云端。
用户可以通过 Transformers（版本需 >= 4.53.3）或 ModelScope 来运行该模型。官方 GitHub 仓库提供了详细的设置、模型转换和运行指南。官方提示，模型使用了稀疏的 lm_head，可能会导致一定的精度损失，但用户可以手动修改代码禁用此特性。
评论删除后，数据将无法恢复
端侧原生大模型 SmallThinker 正式开源
上海交通大学IPADS研究所、上海交通大学人工智能学院联合初创公司本智激活（Zenergize AI），发布了开源端侧原生大模型SmallThinker。
该系列模型采用为端侧算力、内存、存储特性而原生设计的模型架构，并从零开始预训练，具体包含两个尺寸的稀疏模型，分别是SmallThinker-4B-A0.6B和SmallThinker-21B-A3B。
SmallThinker专为低成本硬件设计，可在百元级国产开发板（如瑞芯微RK3588）上流畅运行百亿参数模型，旨在为资源受限的个人设备带来强大、私密且低延迟的AI能力，无需依赖云端。
用户可以通过 Transformers（版本需 >= 4.53.3）或 ModelScope 来运行该模型。官方 GitHub 仓库提供了详细的设置、模型转换和运行指南。官方提示，模型使用了稀疏的 lm_head，可能会导致一定的精度损失，但用户可以手动修改代码禁用此特性。