复旦 MOSS 团队谈最新进展:从大语言模型到多模态大模型

来源: 投稿
2024-05-24 15:56:27

在 2023 年度复旦大学“十大科技进展”评选会上,复旦大学邱锡鹏教授团队的通用可信人工智能模型MOSS获选十大进展之一,该研究团队在大模型的多模态扩展和可信提升方面开展了深入研究,联合发布人工智能治理开放平台“蒲公英”,系统揭示了文本、图像、视频模型的可信问题并创新提出“六维评测框架”,推动解决了全球人工智能治理落地难的问题。

团队成员复旦大学黄萱菁教授对第一财经介绍,基于MOSS他们有几个新进展,其中一个正在做的就是希望各类信号符号化,“目前我们正在探索多模态大模型不同的解决思路,一个思路就是把一切符号化,不管是图片、还是音乐,都要转变到一个统一的符号空间。”

她对记者解释,他们提出一个模型叫AnyGPT,能理解和推理多模态内容,如文本、语音、图像和音乐。利用离散表征统一处理各种模态,通过两阶段生成框架实现高效多模态对齐预训练。给出一段语音提示,AnyGPT 能够生成语音、图像、音乐形式的综合响应,给出文本 + 图像形式提示,AnyGPT 能够按照提示要求生成音乐。

除了上述进展之外,今年1月份,基于MOSS他们还上线了“眸思”(MouSi)”。“希望它能对视障人群提供服务,我们还开发了一个应用叫 ‘看见世界’,它能够告诉你商店里有什么商品可以购买,在路上怎么导航,另外还可以有一些娱乐模式,目前已经和一些社区展开服务。”黄萱菁说。

针对目前大模型需要的数据和算力,黄萱菁解释道,“大家知道大模型需要给它喂 ‘燃料’,也就是所谓的数据。我们收集了各种跨语言多来源的数据进行各种预处理,抽取高质量的数据来训练模型,之后还研究了人工智能反馈的对齐。”

而在算法方面,他们提出了低内存优化算法,“因为大模型训练开销非常大,世界知识永远在更新,这种算法就降低了训练大模型所需要的算力资源。”

展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
分享
返回顶部
顶部