AnyQ 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
AnyQ 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
AnyQ 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 C/C++ Python SHELL
操作系统 跨平台
软件类型 开源软件
开源组织 百度
地区 国产
投 递 者 zenggang1988
适用人群 未知
收录时间 2018-07-12

软件简介

AnyQ(ANswer Your Questions)

AnyQ(ANswer Your Questions) 开源项目主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet。

问答系统框架采用了配置化、插件化的设计,各功能均通过插件形式加入,当前共开放了20+种插件。开发者可以使用AnyQ系统快速构建和定制适用于特定业务场景的FAQ问答系统,并加速迭代和升级。

SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架,该框架在百度各产品上广泛应用,主要包括BOW、CNN、RNN、MM-DNN等核心网络结构形式,同时基于该框架也集成了学术界主流的语义匹配模型,如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现,可方便实现模型扩展。使用SimNet构建出的模型可以便捷的加入AnyQ系统中,增强AnyQ系统的语义匹配能力
(English)

详细介绍

FAQ问答系统框架

AnyQ系统框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分组成,框架中包含的功能均通过插件形式加入,如Analysis中的中文切词,Retrieval中的倒排索引、语义索引,Matching中的Jaccard特征、SimNet语义匹配特征,当前共开放了20+种插件。AnyQ系统的配置化、插件化设计有助于开发者快速构建、快速定制适用于特定业务场景的FAQ问答系统,加速迭代和升级。 AnyQ的框架结构如下图:

配置化

AnyQ系统集成了检索和匹配的众多插件,通过配置的方式生效;以检索方式和文本匹配相似度计算中的插件为例:

  • 检索方式(Retrieval)

    • 倒排索引:基于开源倒排索引Solr,加入百度开源分词;

    • 语义检索:基于SimNet语义表示,使用ANNOY进行ANN 检索;

    • 人工干预:通过提供精准答案,控制输出;

  • 匹配计算(Matching)

    • SimNet语义匹配:使用语义匹配SimNet架构训练的模型,构建问题在语义层面的相似度;

    • Cosine相似度

    • Jaccard相似度

    • BM25

    • 字面匹配相似度:在对中文问题进行切词等处理之后,计算字面匹配特征

    • 语义匹配相似度

插件化

除框架外,AnyQ的所有功能都是通过插件形式加入,用户自定义的插件很容易加到AnyQ系统中,只需实现对应的接口即可,如自定义词典加载、Question分析方法、检索方式、匹配相似度、排序方式等,真正实现可定制和插件化。

文本语义匹配框架SimNet

SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架,该框架在百度各产品上广泛应用,主要包括BOW、CNN、RNN、MM-DNN等核心网络结构形式,同时基于该框架也集成了学术界主流的语义匹配模型,如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现,可方便实现模型扩展。使用SimNet构建出的模型可以便捷的加入AnyQ系统中,增强AnyQ系统的语义匹配能力。

按照文本语义匹配网络结构, 可将SimNet中实现的网络模型主要分为如下两类:

  • Representation-based Models 如:BOW, CNN, RNN(LSTM, GRNN) 特点:文本匹配任务的两端输入,分别进行表示,之后将表示进行融合计算相似度;

  • Interaction-based Models 如:MatchPyramid, MV-LSTM, K-NRM, MM-DNN 特点:在得到文本word级别的序列表示之后,根据两个序列表示计算相似度匹配矩阵,融合每个位置上的匹配信息给出最终相似度打分;

SimNet使用PaddleFluid和Tensorflow实现,更多文档请参考:

代码编译

Linux

cmake 3.0以上(推荐3.2.2版本),g++ >=4.8.2,

mkdir build && cd build && cmake .. && make

Others

针对MacOS、Windows等环境,推荐使用docker方式

# 使用paddle官方镜像
docker pull paddlepaddle/paddle:lastest-dev

Demo

构建索引、配置

# 获取anyq定制solr,anyq示例配置
cp ../tools/anyq_deps.sh .
sh anyq_deps.sh

# 启动solr, 依赖python-json, jdk>=1.8
cp ../tools/solr -rp solr_script
sh solr_script/anyq_solr.sh solr_script/sample_docs
  • HTTP-Server

./run_server

# 请求示例:
http:${host}:${port}/anyq?question=XXX
  • lib

./demo_anyq sample_input_json

更多文档

如何贡献

  • 可以在AnyQ框架下定制特定功能的插件,教程参考AnyQ如何添加插件

  • 如果觉得自己定制的插件功能足够通用&漂亮,欢迎给我们提交PR

Copyright and License

AnyQ is provided under the Apache-2.0 license.

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
AnyQ_智能问答的一个非官方帮助手册 : https://my.oschina.net/u/169565/blog/3073807 给刚刚使用的朋友一个参考
2019/07/17 16:44
回复
举报
更多评论
暂无内容
2019/07/13 20:14

AnyQ_智能问答的一个非官方帮助手册

# AnyQ_智能问答的一个非官方帮助手册 本手册由一个俗人(wechat:dotzcv)整理,数据来源为百度Google搜索,官方issues,以及本人的实验所得进行记录扩充 ## 前提的准备条件 硬件环境:4核8G 上面测试成功 (我的一台2核4G测试服务器,目前未通过。) 软件环境: * Docker 推荐 * cmake 3.2.2版本 ,g++ >=4.8.2,bison >=3.0 * java环境 安装操作见下面QA章节 网络环境:正确的上网方式。由于编译时候会在github上进行代码clone,所...

2
2
2019/03/26 15:03

AI干货分享:PaddlePaddle官方九大NLP模型盘点

引言 自然语言处理(NLP)主要是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。基于神经网络的深度学习技术具有强大的表达能力、端到端解决问题的能力,因而在NLP任务的应用上越来越广泛和有效。 近日,百度PaddlePaddle开源了语义表示模型ERNIE,在多个中文NLP任务上表现超越了谷歌的BERT(请参考链接),展示了百度在NLP技术的领先能力,同时也表明PaddlePaddle作为国内目前唯一功能完备的深度学习平台,在...

0
0
发表了博客
2019/04/21 16:03

python之jieba库

jieba “结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module. Scroll down for English documentation. 特点 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确模式的基础...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
33 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部