NLP 大规模预训练和多任务学习框架 PaddlePALM

Apache-2.0
Python 查看源码»
跨平台
百度
2020-02-19
xplanet

疫情之下,程序员如何转型?共享数字化转型加速度,就在微软在线技术峰会>>>

PaddlePALM (PArallel Learning from Multi-tasks) 是一个灵活,通用且易于使用的 NLP 大规模预训练和多任务学习框架。 PALM 是一个旨在快速开发高性能 NLP 模型的上层框架。

使用 PaddlePALM,可以非常轻松灵活地探索具有多种任务辅助训练的“高鲁棒性”阅读理解模型。

除了降低 NLP 研究成本以外,PaddlePALM 已被应用于“百度搜索引擎”,有效的提高了用户查询的理解准确度和挖掘出的答案质量,具备高可靠性和高训练/推理性能。

特点:

  • 易于使用:使用 PALM, 8 个步骤即可实现一个典型的 NLP 任务。此外,模型主干网络、数据集读取工具和任务输出层已经解耦,只需对代码进行相当小的更改,就可以将任何组件替换为其他候选组件。
  • 支持多任务学习:6 个步骤即可实现多任务学习任务。
  • 支持大规模任务和预训练:可自动利用多 gpu 加速训练和推理。集群上的分布式训练需要较少代码。
  • 流行的NLP骨架和预训练模型:内置多种最先进的通用模型架构和预训练模型(如 BERT、ERNIE、RoBERTa 等)。
  • 易于定制:支持任何组件的定制开发(e.g 主干网络,任务头,读取工具和优化器)与预定义组件的复用,这给了开发人员高度的灵活性和效率,以适应不同的 NLP 场景。

你可以很容易地用较小的代码重新得到很好的结果,涵盖了大多数 NLP 任务,如分类、匹配、序列标记、阅读理解、对话理解等等。

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

暂无博客

返回顶部
顶部