发表了博客
2019/04/10 10:10

BERT论文解读

本文尽量贴合BERT的原论文,但考虑到要易于理解,所以并非逐句翻译,而是根据笔者的个人理解进行翻译,其中有一些论文没有解释清楚或者笔者未能深入理解的地方,都有放出原文,如有不当之处,请各位多多包含,并希望得到指导和纠正。 论文标题 Bert:Bidirectional Encoder Representations from Transformers 一种从Tra...

0
0
发表了博客
2020/06/25 08:03

BERT的前世今生

Transformer Transformer来自论文: All Attention Is You Need 别人的总结资源: 谷歌官方AI博客: Transformer: A Novel Neural Network Architecture for Language Understanding Attention机制详解(二)——Self-Attention与Transformer谷歌软件工程师 放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(C...

0
0
发表了博客
2019/07/11 08:27

Google BERT摘要

1.BERT模型 BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 1.1 模型结构 由于模型的构成元...

0
0
发表了博客
2019/08/30 16:08

知识图谱与Bert结合

论文题目: ERNIE: Enhanced Language Representation with Informative Entities(THU/ACL2019) 本文的工作也是属于对BERT锦上添花,将知识图谱的一些结构化信息融入到BERT中,使其更好地对真实世界进行语义建模。也就是说,原始的bert模型只是机械化地去学习语言相关的“合理性”,而并学习不到语言之间的语义联系,打...

0
0
发表了博客
2020/02/03 20:18

BERT模型总结

<center>BERT模型总结</center> 前言 BERT是在Google论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中被提出的,是一个面向NLP的无监督预训练模型,并在多达11个任务上取得了优秀的结果。这个模型的最大意义是使得NLP任务可以向CV一样使用与训练模型,这极大的方便了一个新...

0
0
发表了博客
2020/02/18 17:35

BERT模型总结

前言 BERT是在Google论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中被提出的,是一个面向NLP的无监督预训练模型,并在多达11个任务上取得了优秀的结果。这个模型的最大意义是使得NLP任务可以向CV一样使用与训练模型,这极大的方便了一个新的任务开始,因为在NLP领域,海量...

0
0
发表了博客
2020/09/16 13:24

What Does BERT Look At? An Analysis of BERT’s Attention 论文总结

文章目录 往期文章链接目录 Before we start Surface-Level Patterns in Attention Probing Individual Attention Heads Probing Attention Head Combinations Clustering Attention Heads 往期文章链接目录 往期文章链接目录 Before we start In this post, I mainly focus on the conclusions the authors reach in t...

0
0
发表了博客
2020/06/05 08:32

Soft-Masked BERT:文本纠错与BERT的最新结合 - 知乎

文本纠错,是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术,一般用于文本预处理阶段,同时能显著缓解智能客服等场景下语音识别(ASR)不准确的问题。 本文将通过以下几个章节简要介绍文本纠错相关知识。 1. 文本纠错示例与难点 2. 文本纠错常用技术 3. 如何将 BERT 应用于文本纠错 4. 文本纠...

0
0
发表了博客
2019/04/10 10:10

论文阅读 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

简述 在文本语义相似度等句子对的回归任务上,BERT , RoBERTa 拿到sota。 但是,它要求两个句子都被输入到网络中,从而导致巨大开销:从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算(约65小时)。 BERT不适合语义相似度搜索,也不适合非监督任务,比如聚类。 解决聚类和语义搜索的一种常见...

0
0
发表了博客
2020/11/07 10:43

基于Bert的NLG

《Unified Language Model Pre-training for Natural Language Understanding and Generation》 《 MASS: Masked Sequence to Sequence Pre-training for Language Generation》 《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》...

0
0
2020/12/26 15:00

我不太懂BERT系列 | BERT预训练实操总结

作者:邱震宇(华泰证券股份有限公司 算法工程师) 知乎专栏:我的ai之路 通过本文章,你可以了解以下内容: 了解bert预训练会遇到的坑,包括但不限于数据预处理的正确姿势、数据预处理的高效实现、bert单机多卡分...

0
0
发表于AI & 大数据专区
2019/04/19 13:51

BERT模型从训练到部署

BERT模型从训练到部署全流程 标签: BERT 训练 部署 缘起 在群里看到许多朋友在使用BERT模型,网上多数文章只提到了模型的训练方法,后面的生产部署及调用并没有说明。 这段时间使用BERT模型完成了从数据准备到生产...

2
1
发表了博客
2019/09/18 09:07

NLP利器BERT

  10月11日,Google AI Language 发布了论文BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding 提出的 BERT 模型在 11 个 NLP 任务上的表现刷新了记录,包括问答 Question Answering (SQuAD v1.1),推理 Natural Language Inference (MNLI) 。BERT的出现,彻底改变了预训练产生词向量...

0
0
2020/11/16 15:56

最新Bert安装教程

最新Bert安装教程BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked ......

0
0
发表了博客
2019/06/07 11:15

BERT的几个可能的应用

  BERT是谷歌公司于2018年11月发布的一款新模型,它一种预训练语言表示的方法,在大量文本语料(维基百科)上训练了一个通用的“语言理解”模型,然后用这个模型去执行想做的NLP任务。一经公布,它便引爆了整个NLP界,其在11个主流NLP任务中都取得优异的结果,因此成为NLP领域最吸引人的一个模型。简单来说,BERT就是在...

0
0
发表了博客
2019/08/28 11:24

bert模型参数简化

  我们下载下来的预训练的bert模型的大小大概是400M左右,但是我们自己预训练的bert模型,或者是我们在开源的bert模型上fine-tuning之后的模型的大小大约是1.1G,我们来看看到底是什么原因造成的,首先我们可以通过下一段代码来输出我们训练好的模型的参数变量。   下面这段代码可以输出我们下载的官方预训练模型的参...

0
0
发表了博客
2020/07/11 10:41

BERT生成文本摘要

作者|Daulet Nurmanbetov 编译|VK 来源|Towards Data Science 你有没有曾经需要把一份冗长的文件归纳成摘要?或者为一份文件提供一份摘要?如你所知,这个过程对我们人类来说是乏味而缓慢的——我们需要阅读整个文档,然后专注于重要的句子,最后,将句子重新写成一个连贯的摘要。 这就是自动摘要可以帮助我们的地方。机...

0
0
发表了博客
2020/11/26 17:39

BERT Topic推荐-AMiner

AMiner平台(https://www.aminer.cn)由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业...

0
0
发表了博客
2020/10/01 10:50

Roberta: Bert调优

最近要开始使用Transformer去做一些事情了,特地把与此相关的知识点记录下来,构建相关的、完整的知识结构体系。 以下是要写的文章,文章大部分都发布在公众号【雨石记】上,欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与...

0
0
发表了博客
2019/10/01 19:32

ELMO,BERT和GPT简介

1.Contextualized Word Embedding 同样的单词有不同的意思,比如下面的几个句子,同样有 “bank” ,却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的,事实上并不是如此。这是 Word2Vec 的缺陷。 下面的句子中,同样是“bank”,确是不同的 token,...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页