中国联通发布全球首个 Llama3 8B 中文版开源模型

来源: OSCHINA
编辑:
2024-04-23 10:06:00

中国联通AI创新中心发布业界第一个Llama 3中文指令微调模型,以Meta Llama 3为基础,增加中文数据进行训练,实现Llama 3模型高质量中文问答,模型上下文保持原生长度8K,支持长度64K版本将于后续发布。

地址:UnicomLLM/Unichat-llama3-Chinese-8B

介绍

  • 中国联通AI创新中心发布业界第一个llama3中文指令微调模型,2024年4月19日22点
  • 本模型以Meta Llama 3为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
  • 模型上下文保持原生长度8K,支持长度64K版本将于后续发布
  • 陆续发布700亿参数中文微调版本,长文本版本和加入中文二次预训练版
  • 基础模型Meta-Llama-3-8B

数据

  • 高质量指令数据,覆盖多个领域和行业,为模型训练提供充足的数据支持
  • 微调指令数据经过严格的人工筛查,保证优质的指令数据用于模型微调

https://github.com/UnicomAI/Unichat-llama3-Chinese

展开阅读全文
点击加入讨论🔥(3) 发布并加入讨论🔥
本篇精彩评论
??这。。嘿嘿了!
2024-04-24 01:43
1
举报
3 评论
4 收藏
分享
返回顶部
顶部