中国电信将于年内开源千亿级参数大模型

来源: 投稿
2024-04-17 10:06:51

近日中国电信开源了12B参数规模星辰语义大模型TeleChat-12B。相较于1月开源的7B版本,内容、性能和应用等方面整体效果提升了30%。其中,多轮推理、安全问题等领域提升超40%。另外,据了解,中国电信将于年内开源千亿级参数大模型。

根据介绍,TeleChat-12B将7B版本1.5T训练数据提升至3T,优化数据清洗、标注策略,持续构建专项任务SFT(监督微调)数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问答效果。

TeleAI通过更彻底地开源推动大模型技术进步和大模型国产化进程。此次开源提供基础模型以及基于相应版本的对话模型、不仅支持传统的全量参数更新还支持 LoRA 等只更新部分参数的高效微调方法、支持Deepspeed微调、支持int8、int4量化和国产芯片训练推理,推动大模型国产化进程。

与此同时,星辰大模型也在深入推动人工智能与各行各业的融合,积极探索新兴的应用场景。星辰语义大模型已应用于行文写作、代码编程、网络故障分析以及经营分析等场景。行文写作方面,平均生成字数超过1500字,有效采纳率为85.7%。

早在2023年年报中,中国电信就表示,2024年公司将把握以人工智能为代表的新一轮科技革命和产业变革趋势。

开源项目地址:https://gitee.com/Tele-AI/tele-chat

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
1 收藏
分享
返回顶部
顶部