基于 transformer 的大型语言模型 GPT-2

MIT
Python 查看源码»
跨平台
2019-06-11
h4cd

GPT-2 是一种基于 transformer 的大型语言模型,具有 15 亿个参数,在 800 万网页数据集上进行训练。

它是论文《语言模型是无人监督的多任务学习者》(Language Models are Unsupervised Multitask Learners)的代码实现。

目前发布了 GPT-2 的小型(117M 参数)和中型(345M 参数)版本,还没有发布更大的模型,但已经发布了一个数据集供研究人员研究行为。该存储库旨在成为研究人员和工程师尝试使用 GPT-2 的起点。

 

 

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

详解MBR与GPT

介绍以下MBR和GPT的引导原理以及二者的区别

2016/03/28 17:23
43
1
重装系统时,将MBR分区转为GPT 分区

很多同学在重装系统的时候,或多或少都遇到过这样的问题:镜像文件没有问题,软碟通刻录也没有问题,但偏偏就在选择安装系统盘盘符的时候,跳出对话框,提示:Windows无法安装到这个磁盘,选...

2015/04/06 20:47
120.1K
0
GPT-2,吓坏创造者的「深度造假写手」

简评: 今年二月份刷屏的 GPT-2 着实厉害,那个生成续写故事的例子更是效果好到吓人一跳,它到底有多厉害,本文略微讲讲。更详细的信息可参考文末 OpenAI 的博客链接。 你能从下面这两段文字...

05/15 10:55
12
0
GPT分区在基于x86的xp系统中不能被识别

背景: 今天解决了一个朋友的问题,在win7系统上可以识别的硬盘,在xp系统上却识别不了. 但是在硬盘管理界面,是可以识别该硬盘的,只是分区类型是GPT保护分区. 原因是硬盘开始是在win7或者其他高...

2016/11/12 22:29
237
0
不在mac磁盘上显示的分区

使用过mac的用户大概都知道,HFS是mac格式分区。它是mac自身携带的分区,与Windows格式分区常会出现不兼容的现象,其中如果HFS磁盘有4个以上的分区,基本上磁盘是显示不出来的。这就造成了并...

2016/04/12 13:09
9
1
普通PC安装XENSEVER 6.2

普通PC安装XENSEVER 6.2

2014/01/23 13:42
67
0
浅谈 MBR & GPT

## 分区表 一个磁盘抛开物理组成部分的话,就是一个地址序列,这个序列从0~n-1,每个地址包含512B(字节)的控件。一般我们将这些地址称作逻辑块地址(LBA),每块由512B组成。分区表的作用是...

2016/09/26 13:28
14
0
Open AI发表新一代的大型语言模型 可涵盖了许多跨领域的任务

Open AI最近发布新一代的大型语言模型GPT-2,该模型有15亿个参数,利用了800万页的网页数据作为训练数据,以预测所有输入文字的下一个字作为训练目标,而也因为数据集的多样性,让模型不需要...

02/15 16:01
4
0
RAID1大硬盘搭建

分区表MBR与GPT的说明: MBR:主引导记录,是传统的分区机制,应用于绝大多数使用BIOS的PC设备,MBR+BIOS,MBR支持32位和64位系统,支持的分区数量有限,MBR只支持不超过2T的硬盘,超过2T的硬...

今天 10:29
4
0
centos5安装

由于MBR分区表只支持2T分区,所以大于2T的分区必须使用GPT分区表 当raid5大于2T时,简单的办法就是做2个VD,一个500G做MBR分区装系统,剩余的做GPT分区 硬盘做raid5,分2个VD,500G+2.3T 自定...

2015/11/20 15:56
3
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部