阿里云开源通义千问 720 亿参数模型 Qwen-72B

来源: 投稿
作者: News Bot
2023-12-01 13:41:00

今天,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。

地址:https://modelscope.cn/models/qwen/Qwen-72B/

据介绍,Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。

通义千问-72B (Qwen-72B) 主要特性:

  1. 大规模高质量训练语料:使用超过3万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。
  2. 强大的性能:Qwen-72B在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的开源模型。具体评测结果请详见下文。
  3. 覆盖更全面的词表:相比目前以中英词表为主的开源模型,

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。

来源:https://mp.weixin.qq.com/s/lFeZToVywbkDUvKhsrKY7A

展开阅读全文
点击加入讨论🔥(4) 发布并加入讨论🔥
本篇精彩评论
怎么试用呢?
2023-12-01 16:15
1
举报
4 评论
1 收藏
分享
返回顶部
顶部