StableLM 项目仓库包含 Stability AI 正在开发的 StableLM 系列语言模型，目前 Stability AI 发布了初始的 StableLM-alpha 模型集，具有 30 亿和 70 亿参数。150 亿和 300 亿参数的模型正在开发中。
Stability AI 目前在 HuggingFace Spaces 上发布了 70 亿参数模型 —— StableLM-Tuned-Alpha-7B 的演示版本，用户可以访问该网站试用。
StableLM-Alpha 模型是在建立在扩展版 the Pile 数据集基础上训练的，该数据集包含 1.5 万亿个 tokens，扩展版数据集大小大约是 the Pile 的 3 倍。
| Size | StableLM-Base-Alpha | StableLM-Tuned-Alpha | Training Tokens | Parameters | Web Demo |
|---|---|---|---|---|---|
| 3B | checkpoint | checkpoint | 800B | 3,638,525,952 | |
| 7B | checkpoint | checkpoint | 800B | 7,869,358,080 | HuggingFace |
| 15B | 进行中 | (pending) | |||
| 30B | 进行中 | (pending) | |||
| 65B | 进行中 | (pending) | |||
| 175B | (planned) |
评论