通义千问-7B 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
通义千问-7B 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
通义千问-7B 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 未知
开发语言 Python
操作系统 跨平台
软件类型 开源软件
开源组织
地区 国产
投 递 者 白开水不加糖
适用人群 未知
收录时间 2023-08-07

软件简介

通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型,在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括:

  1. 大规模高质量预训练数据:使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。数据集包括文本和代码等多种数据类型,覆盖通用领域和专业领域。
  2. 优秀的模型性能:相比同规模的开源模型,Qwen-7B在多个评测数据集上具有显著优势,甚至超出12-13B等更大规模的模型。评测评估的能力范围包括自然语言理解与生成、数学运算解题、代码生成等。
  3. 更好地支持多语言:基于更大词表的分词器在分词上更高效,同时它对其他语言表现更加友好。用户可以在Qwen-7B的基础上更方便地训练特定语言的7B语言模型。
  4. 8K的上下文长度:Qwen-7B及Qwen-7B-Chat均能支持8K的上下文长度, 允许用户输入更长的prompt。
  5. 支持插件调用:Qwen-7B-Chat针对插件调用相关的对齐数据做了特定优化,当前模型能有效调用插件以及升级为Agent。

评测表现

Qwen-7B在多个全面评估自然语言理解与生成、数学运算解题、代码生成等能力的评测数据集上,包括MMLU、C-Eval、GSM8K、HumanEval、WMT22等,均超出了同规模大语言模型的表现,甚至超出了如12-13B参数等更大规模的语言模型。

Model MMLU C-Eval GSM8K HumanEval WMT22 (en-zh)
LLaMA-7B 35.1 - 11.0 10.5 8.7
LLaMA 2-7B 45.3 - 14.6 12.8 17.9
Baichuan-7B 42.3 42.8 9.7 9.2 26.6
ChatGLM2-6B 47.9 51.7 32.4 9.2 -
InternLM-7B 51.0 52.8 31.2 10.4 14.8
Baichuan-13B 51.6 53.6 26.6 12.8 30.0
LLaMA-13B 46.9 35.5 17.8 15.8 12.0
LLaMA 2-13B 54.8 - 28.7 18.3 24.2
ChatGLM2-12B 56.2 61.6 40.9 - -
Qwen-7B 56.7 59.6 51.6 24.4 30.6


展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
发表了资讯
2023/09/13 10:11

阿里云通义千问 AI 大模型正式向全社会开放

阿里云9月13日宣布,通义千问大模型已首批通过备案,正式向公众开放。 用户可登录通义千问官网 (https://qianwen.aliyun.com) 体验,企业用户可以通过阿里云调用通义千问 API (https://dashscope.console.aliyun.com/model)。 今年4月,阿里云通义千问开启邀测,仅一个月就有超20万企业和机构用户申请接入通义千问测试。目前,OPPO、得物、钉钉、淘宝、浙江大学等已与阿里云达成合作,基于通义千问训练自己的专属大模型或开发大...

6
2
发表了资讯
2023/08/04 11:45

阿里云开源通义千问大模型:免费、可商用

通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。 近日,阿里云开源了QWen-7B 和QWen-7B-Chat模型。目前,两个模型均已在AI模型社区「魔搭ModelScope」上线。 开源地址 魔搭ModelScope: https://modelscope.cn/models/qwen/Qwen-7B/summary https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary Hugging Face:https://huggingface.co/Qwen GitHub:https://github.com/QwenLM/Qwen-7B Qwe...

4
15
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
2 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部