Stability AI 昨日发布最新语言模型:Stable LM 3B,可在笔记本和手机等智能设备上运行。
公告写道,Stable LM 3B 包含 30 亿个参数,相比于行业通常使用的 70 亿参数,它更小、更高效。主要功能如下:
- 文本生成:可以用于生成文本
- 自回归:基于变换器解码器架构
- 多样性的训练数据:使用了多个开源大规模数据集
Stable LM 3B 主要特点:
- 高性能:尽管只有 30 亿个参数,但性能与更大的模型相当,甚至有时超过它们。
- 低功耗:设计为在便携式设备上高效运行,因此电力需求较低。
- 多平台兼容:可以在边缘设备、家用电脑以及其他便携式数字设备上运行。
- 可微调:模型可以根据特定需求进行微调,如编程辅助或其他专用应用。
- 开源:该模型已在 Hugging Face 平台上开源 (https://huggingface.co/stabilityai/stablelm-3b-4e1t),方便开发者使用和改进。
- 训练细节:该模型在 Stability AI 的集群上进行了训练,使用了 256 个 NVIDIA A100 40GB GPU(AWS P4d 实例)。