高手问答第 245 期 —— 与微软高级研究员一起进行机器阅读理解

xplanet 发布于 05/25 08:31
阅读 2K+
收藏 12

Linux基金会免费官方培训及考试申请即将截止,戳这里申请!>>>

机器阅读理解(Machine Reading Comprehension,MRC)是一种利用算法使计算机理解文章语义并回答相关问题的技术。由于文章和问题均采用人类语言的形式,因此机器阅读理解属于自然语言处理(NLP)的范畴,也是其中最新最热门的课题之一。近些年来,随着机器学习,特别是深度学习的发展,机器阅读理解研究有了长足的进步,并在智能客服、智能教育等实际应用中崭露头角。

OSCHINA 本期高手问答(2020 年 05 月 25 日 —— 2020 年 05 月 31 日)邀请到了来自微软的朱晨光老师与大家一起进行机器阅读理解,可讨论的问题包括但不限于: 机器阅读理解的模型架构、预训练模型在机器阅读理解领域的进展、机器阅读理解在工业界中的实际应用等等。

嘉宾简介

朱晨光,微软公司自然语言处理高级研究员、斯坦福大学计算机系博士。负责自然语言处理研究与开发、对话机器人的语义理解、机器阅读理解研究等,精通人工智能、深度学习与自然语言处理,尤其擅长机器阅读理解、文本总结、对话处理等方向。带领团队负责客服对话机器人的语义理解与分析,进行机器阅读理解研究,在斯坦福大学举办的 SQuAD 1.0 机器阅读理解竞赛中获得全球第一名,在 CoQA 对话阅读理解竞赛中成绩超过人类水平并获得第一名。在人工智能和自然语言处理顶级会议 ICLR、ACL、EMNLP、NAACL 中发表多篇文章。著有《机器阅读理解:算法与实践》一书。

为了鼓励大家踊跃提问与学习,【机械工业出版社华章图书】会在这期高手问答结束后从提问者中抽取 5 名幸运读者赠予机器阅读理解:算法与实践一书。

购书地址:https://item.jd.com/12638745.html

OSCHINA 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家向朱晨光老师 @微软朱晨光 积极提问,直接回帖提问即可。

加载中
0
xplanet
xplanet

高手问答第 245 期 —— 与微软高级研究员一起进行机器阅读理解
@狼狼A狗  @jasonwu24  @Rwing  @开源中国安全官 @zhuiai
恭喜以上五位网友分别获得 《机器阅读理解:算法与实践》 图书一本
请私信 @xplanet  告知快递信息(格式:姓名+电话+地址)

0
源码节点
源码节点

@微软朱晨光   非法文字识别,有什么比较好的框架吗?python的有现成的吗

微软朱晨光
微软朱晨光
一般用黑名单和单词匹配就行,如果需要语义理解的话,就是有标注数据,做个二分类器即可。我的书里就有3.2.2就有
0
源码节点
源码节点

@微软朱晨光  机器阅读分词工具,推荐用哪个?文章分类识别是怎么做的?

微软朱晨光
微软朱晨光
分词的话中文用jieba,英文用spacy。如果是考虑可以分子词,BPE和sentence piece都可以。文章分类参见前面的回答。文章如果较长,可以考虑用hierarchical 结构,如https://www.cs.cmu.edu/~./hovy/papers/16HLT-hierarchical-attention-networks.pdf
0
wha37
wha37

@微软朱晨光  1. 市面上的 机器阅读的书籍不少,不知道这本书优势在哪里?

2.   机器阅读的框架有没有用到TensorFlow  或者 caffe ?

3.  微软会用谷歌的开源算法框架吗?

微软朱晨光
微软朱晨光
1. 这本书是第一本全面讲解机器阅读理解的技术书籍,其中包括机器阅读理解的任务、数据集、模型理论分析、实战代码分析和落地应用,而且从最基本的NLP和deep learning原理讲起,有很强的使用价值。 2. DeepLearning的project很多都是tensorflow和pytorch,caffe一般用在机器视觉中 3. 周围同事大多用pytorch,也有一些用tensorflow的
0
miller-he
miller-he

@微软朱晨光 微软C#在人工智能方面,相关的资料确实不如Python,需要加油,希望能抽中。当前在用Python的TensorFlow库来做深度学习的应用,不知书中提到的技术走的是那一条技术路线?C#整合TensorFlow是否成熟?

微软朱晨光
微软朱晨光
Tensorflow或pytorch只是深度学习的框架,是一种语言工具。书中介绍的技术是机器阅读理解的模型本身,不管用哪种框架,都需要对模型的透彻理解。
0
jasonwu24
jasonwu24

@微软朱晨光 从历史发展角度看,目前不论是 MRC 还是 NLP,都只能依靠深度学习神经网络才能取得比较好的效果, 请问您在工作中使用的是递归神经网络还是卷积神经网络?或者其他?在做模型计算训练时有没有遇到训练较慢的问题?您是怎么提高训练效率的?谢谢!

微软朱晨光
微软朱晨光
NLP中经常用到RNN,就是循环神经网络,因为文字有线性的结构。卷积神经网络CNN在图像处理中常用。 模型训练较慢可以考虑使用多GPU,以及优化代码。还需要知道一些技巧例如pytorch中用for循环远慢于矩阵向量直接操作。
0
myw31415926
myw31415926

@微软朱晨光 朱老师您好,我以前用过中文分词jieba,但是给我感觉分词效果不是很好,针对这种情况,有什么优化方法吗?多谢~

myw31415926
myw31415926
回复 @微软朱晨光 : 多谢老师
微软朱晨光
微软朱晨光
可以关注这个:https://zhuanlan.zhihu.com/p/54428274
0
luomansi
luomansi

@微软朱晨光 可以用来做历史诉求相似度分析吗?

luomansi
luomansi
回复 @微软朱晨光 : 就是12345这种诉求平台的历史诉求件?
微软朱晨光
微软朱晨光
什么是历史诉求?
0
myw31415926
myw31415926

@微软朱晨光 我曾做过一段时间的智能音箱项目,想问一下,机器阅读在处理文本和语音上有什么不同,是直接将语音转化为文本,然后再统一处理文本吗?如果文本是以图片的格式给出,那又该如何处理呢?多谢您的回答~

微软朱晨光
微软朱晨光
回复 @myw31415926 : 图像一般不转为文字,在CV里有专门的处理方式。语音转文字是ASR(自动语音识别), 科大讯飞这方面做得很好。
myw31415926
myw31415926
回复 @微软朱晨光 : 朱老师,那就是说,不管语音或文字图片,最终都要转换为文本进行处理了,对吧?那在语音转文字方面,有什么推荐的吗,好像有公司专门做这个的吧。
微软朱晨光
微软朱晨光
一般将语音转化为文本再处理。如果是文本语音或文本图片混合,属于多模态机器阅读理解,书中给出了一些分析,另外可以关注VQA, SLU等多模态方向。
返回顶部
顶部