网易有道自研 RAG 引擎 QAnything 升级:发布纯 python 版本,首次支持在 Mac 运行

来源: 投稿
2024-04-12 11:07:00

4月8日,有道知识库问答引擎QAnything更新至1.3.0版本,该版本带来了两大主要功能升级:发布纯python的轻量级的版本,该版本支持在Mac上运行,也可以在纯CPU机器上运行;同时支持BM25 + embedding混合检索,可以实现更精准的语义检索和关键字搜索。本次更新后,QAnything能为开发者探索大模型落地提供更强大的技术支撑和更流畅的用户体验。

(QAnything 系统架构图)

QAnything是网易有道自研的RAG(Retrieval Augmented Generation) 引擎。该引擎允许用户上传PDF、图片、Word、Excel、PowerPoint等多种格式的文档,并实现类似于ChatGPT的互动问答功能,其中每个答案都能精确追溯到相应的文档段落来源。该引擎支持纯本地部署,上传文档数量无上限,问答准确率很高。

自今年1月开源以来,QAnything迅速吸引了开发者社区的广泛关注,并多次登上了GitHub trending榜单。截至目前,在GitHub上QAnything已经积累7000+个星标,这反映出了用户对其价值的高度评价。

(图:QAnything登上GitHub trending榜单)

此外,QAnything下载次数已达数万次。其中,语义嵌入排序模型BCEmbedding更是每月可达超60万次下载。

 

值得一提的是,QAnything采用了自研的BCEmbedding模型(RAG系统关键模块)。有道发现,在客服问答以及一些toB客户的场景中,OpenAI的Ada2 BCEmbedding检索准确率只有60%,而其自研的 BCEmbedding检索准确率可以达到95%。该模型具有中英双语跨语种能力和多领域覆盖两大特色。

据悉,QAnything收集了包括教育、医疗、法律、金融、百科、科研论文、客服、通用QA等场景的语料,使得模型可以覆盖和支持尽可能多的应用场景,为商业化落地提供了便捷。

目前,QAnything已在有道多场景中落地。如“有道领世”在QAnything的帮助下,凭借海量的升学资料数据,打造出一个“私人AI规划师”,能为每个家长和学生提供个性化的服务,展示更加全面、专业、及时的升学规划。面对高考政策、升学路径、学习生活以及职业规划等各类问题,该系统的解答准确率超过95%。未来随着数据补充和更新,准确率会一直上涨。

与此同时,子曰教育大模型最新应用成果“有道速读”,其核心功能文档问答、文章摘要、要点解读、引文口碑和领域综述,背后驱动也是QAnything。在其加持下,用户快速理解文档、定位要点等诉求得以快速实现,短短一分钟,万字长文就能拆解得明明白白。

除赋能自身业务外,开源后的QAnything不断拓宽“朋友圈”。目前已累计为近百家企业赋能,以期让AI应用真正进入医疗、物流、办公等多元化场景,为企业、组织和个人带来生产效率的大幅提升。

相关技术负责人表示,QAnything仍将不断迭代,欢迎下载试用,https://github.com/netease-youdao/QAnything,期待更多使用者参与到反馈和开发中来。

展开阅读全文
点击加入讨论🔥(1) 发布并加入讨论🔥
1 评论
5 收藏
分享
返回顶部
顶部