GPT-2 训练实现 GPT2

MIT
Python 查看源码»
跨平台
2019-06-11
h4cd

非官方 GPT-2 训练实现,支持 GPU 和 TPU。

GPT-2 是一种基于  transformer 的大型语言模型,具有 15 亿个参数,在 800 万网页数据集上进行训练。

依赖:

GPU

pip3 install tensorflow-gpu regex

TPU

pip3 install tensorflow regex google-api-python-client oauth2client

下载模型

pip3 install requests tqdm

生成数据集

pip3 install ftfy tqdm newspaper3k

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

在 x205ta 上安装 ubuntu

花了不少时间,总结一下。其他人可以省力一些。

2015/05/23 07:57
1K
0
win8+archlinux引导修复

先装的win8,再装的arch,把win8的保留分区删了,然后共用efi系统分区,此分区挂载在arch的/boot/efi目录下,最后只能进 arch。按网上搜索的办法修复了无数次都无效,最后重装win,挂载方法与...

2014/12/17 11:07
249
0
基于DSP和CPLD的软开关电源的数字控制器

  近年来,随着大功率开关电源的发展,对控制器的要求越来越高,开关电源的数字化和智能化也将成为未来的发展方向。   目前,我国的大功率开关电源多采用传统的 模拟控制方式,电路复杂,...

2015/01/20 12:01
13
0
免费的中文深度学习全书:《深度学习理论与实战:提高篇》

在线阅读:深度学习理论与实战:提高篇 序言 16年9月的时候我在CSDN发了一些深度学习的文章,主要是面向没有太多经验的开发者。达文读了后觉得我的文章比较通俗易懂,邀请我写一本书,当时头...

今天 10:34
0
0
大众点评信息流基于文本生成的创意优化实践

1. 引言 信息流是目前大众点评除搜索之外的第二大用户获取信息的入口,以优质内容来辅助用户消费决策并引导发现品质生活。整个大众点评信息流(下文简称点评信息流)围绕个性化推荐去连接用户...

03/15 10:23
57
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部