Databricks 推出开源大模型 DBRX:参数规模达 1320 亿、声称全球最强

来源: 投稿
2024-03-28 10:41:00

Databricks 近日宣布推出开源 AI 模型 DBRX,声称是迄今为止全球最强大的开源大语言模型。

DBRX 采用 transformer 架构,包含 1320 亿参数,共 16 个专家网络组成,每次推理使用其中的 4 个专家网络,激活 360 亿参数。

 Databricks 在博客介绍称,在语言理解、编程、数学和逻辑方面,对比 Meta 公司的 Llama 2-70B、法国 MixtralAI 公司的 Mixtral 以及马斯克旗下 xAI 开发的 Grok-1 等主流开源模型,DBRX 均优势胜出。

Databricks高管表示,虽然DBRX在某些原始功能上还无法与OpenAI的GPT-4相比,但它无疑是一个功能远超GPT-3.5的替代产品,并且成本只是GPT-3.5的一小部分。

更多细节查看 https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
3 收藏
分享
返回顶部
顶部