ERNIE 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
ERNIE 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
ERNIE 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
ERNIE 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
ERNIE 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架,该框架将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的知识,实现模型效果不断进化。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答等16个公开数据集上全面显著超越世界领先技术,在国际权威的通用语言理解评估基准GLUE上,得分首次突破90分,获得全球第一。在今年3月落下帷幕的全球最大语义评测SemEval 2020上,ERNIE摘得5项世界冠军, 该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道,相关创新成果也被国际顶级学术会议AAAI、IJCAI收录。ERNIE在工业界得到了大规模应用,如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。

提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外,也欢迎上EasyDL体验更丰富的功能(如ERNIE 2.0、ERNIE 2.1、ERNIE领域模型等)。

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

在 ERNIE 2.0 中,新构建的预训练任务类型可以无缝的加入训练框架,持续的进行语义理解学习。通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务,ERNIE 2.0 语义理解预训练模型从训练数据中获取了词法、句法、语义等多个维度的自然语言信息,极大地增强了通用语义表示能力。

./.metas/ERNIE_milestone.png

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2019/06/02 11:04

BERT、ERNIE以及XLNet学习记录

主要是对 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation with Informative Entities 百度提出的ERNIE: Enhanced Representation through Knowledge Integration 这三个模型的学习记录 BERT   看BERT之前先看https://www.cnblogs.com/dyl222/p/10888917.html 因为它所使用的特征抽取器是《Attention is all you need...

0
0
发表了博客
2019/11/08 15:24

论文阅读 | ERNIE: Enhanced Representation through Knowledge Integration

摘要 知识加强的语义表示模型。 knowledge masking strategies : entity-level masking / phrase-level masking 实体级别 和 短语级别 SOTA:5个中文NLP任务 NLI 语义相似性 命名实体识别 情感分析 QA 知识推理能力! 预训练模型: Cove Elmo GPT BERT XLNet 模型未考虑句子之前的知识。 ERNIE 在训练过程中学习实体和短语的先验知识。 ERNIE隐式地学习了关于知识和更长的语义依赖的信息,如实体之间的关系、实体的属性和事件的...

0
0
2020/03/14 11:59

详解ERNIE-Baidu进化史及应用场景

作者 | Don.hub 整理 | NewBeeNLP Ernie 1.0 ERNIE: Enhanced Representation through Knowledge Integration[1] 是百度在2019年4月的时候,基于BERT模型,做的进一步的优化,在中文的NLP任务上得到了state-of-the-art的结果。 它主要的改进是在mask的机制上做了改进,它的mask不是基本的word piece的mask,而是在pretrainning阶段增加了外部的知识,由三种level的mask组成,分别是basic-level masking(word piece)+ phrase ...

0
0
发表了博客
2019/04/10 10:10

百度艾尼(ERNIE)常见问题汇总及解答

一、ERNIE安装配置类问题 Q1:最适合ERNIE2.0的PaddlePaddle版本是? A1:PaddlePaddle版本建议升级到1.5.0及以上版本。 Q2:ERNIE可以在哪些系统上使用? A2:优化后各个系统都会支持,目前建议在Linux系统使用。 二、ERNIE使用类问题 Q1:ERNIE目前能做哪些任务? A1:(1)基于ERNIE模型Fine-tune后,直接能做的任务如下: 词性标注任务,请参考:https://aistudio.baidu.com/aistudio/projectDetail/109660 阅读理解任务,请...

0
0
2020/04/26 16:43

详解百度ERNIE进化史及典型应用场景

上个月,全球规模最大的语义评测比赛 SemEval 2020 结果出炉,百度基于飞桨平台自研的语义理解框架 ERNIE 一举斩获 5 项世界冠军,囊括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析。去年,ERNIE先后完成两版重大升级:ERNIE 1.0 提出知识增强的语义表示模型, ERNIE 2.0 则构建了持续学习语义理解框架,在中英文 16 个任务上超越业界最好模型。本文将为开发者详细解读ERNIE的进化史。 下载安装命令 ...

0
0
2020/06/26 10:00

NLP | 百度 ERNIE - 简析1.0 与 2.0

| 小媛提示:本文有个面试小重点哦 本文以通俗易懂的语言介绍了百度提出的 持续学习语义理解框架 ERNIE 的基本原理,和利用 ERNIE 来解决下游 NLP 任务的过程。 一、简介 人工智能这个古老而又年轻的学科,正在经历一场由深度学习引领的革命。深度学习最早在图像和语音领域取得成功,人们发现在解决这两个领域的问题时,各类基于神经网络的方法大大超越了其它传统方法的效果。随后这样的变革也发生在了自然语言处理 (NLP) 领域。...

0
0
发表了博客
2019/05/30 23:31

ERNIE:知识图谱结合BERT才是「有文化」的语言模型

自然语言表征模型最近受到非常多的关注,很多研究者将其视为 NLP 最重要的研究方向之一。例如在大规模语料库上预训练的 BERT,它可以从纯文本中很好地捕捉丰富的语义模式,经过微调后可以持续改善不同 NLP 任务的性能。因此,我们获取 BERT 隐藏层表征后,可用于提升自己任务的性能。 但是,已有的预训练语言模型很少考虑知识信息,具体而言即知识图谱(knowledge graphs,KG),知识图谱能够提供丰富的结构化知识事实,以便进行...

0
1
2020/03/12 11:12

飞桨工具组件简介——ERNIE

ERNIE 2.0: A Continual Pre-training Framework for Language Understanding Pre-Training 任务 Word-aware Tasks Knowledge Masking Task Capitalization Prediction Task Token-Document Relation Prediction Task Structure-aware Tasks Sentence Reordering Task Sentence Distance Task Semantic-aware Tasks Discourse Relation Task IR Relevance Task ERNIE 1.0: Enhanced Representation through kNowledge IntEgrati...

0
0
2020/04/30 18:37

详解百度ERNIE进化史及典型应用场景

上个月,全球规模最大的语义评测比赛 SemEval 2020 结果出炉,百度基于飞桨平台自研的语义理解框架 ERNIE 一举斩获 5 项世界冠军,囊括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析。去年,ERNIE先后完成两版重大升级:ERNIE 1.0 提出知识增强的语义表示模型, ERNIE 2.0 则构建了持续学习语义理解框架,在中英文 16 个任务上超越业界最好模型。本文将为开发者详细解读ERNIE的进化史。 下载安装命令 ...

0
0
2020/03/02 16:18

如何使用PaddleHub提供的ERNIE进行文本分类

一、简介 ERNIE 通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识。相较于 BERT 学习原始语言信号,ERNIE 直接对先验语义知识单元进行建模,增强了模型语义表示能力,以 Transformer 为网络基本组件,以Masked Bi-Language Model和 Next Sentence Prediction 为训练目标,通过预训练得到通用语义表示,再结合简单的输出层,应用到下游的 NLP 任务。本示例展示利用ERNIE进行文本分类任务。 下载安装命令 ## ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
15 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部