首页 > 科技快讯 > 如果我在OpenAI训练GPT-4

如果我在OpenAI训练GPT-4

本文来自微信公众号:安迪的写作间(ID:andy_writing),作者:安迪的写作间,题图来自:视觉中国

时间回到2021年9月,我,Andy,正式加入 OpenAI,着实花了不少功夫。

大概 2020 年中 GPT-3 发布了,于是我司也算开始正式商业化了,开放 API 搭建使用平台,拿了微软爸爸钱帮爸爸干活。过去一年里也开始收紧战略,将人力都往 GPT 方向转,之前做音频,图像相关也都暂时不作为重点。不久前整个机器人团队还被解散了呢。而关于 GPT-3 发布前的历史,可以看我好朋友总结的博客《GPTの野望》,中二是中二了点,但不失为一篇佳文。

NLP 方向会比机器人好做,因为数据较充足,能快速迭代。且我司已搭建了一个非常好的标注团队,听说最近对齐团队要放出一个对书籍总结的强化学习相关研究。去年就有个类似工作,看来这一年是花了不少时间磨合标注团队,还有将整个流程规模化起来。

啊,忘说了,我被招进来主要负责 NLP 预训练方向,算是 Capability 侧的人。之前也有过相关经验,对分布式训练架构也还算熟。

数据

由机器人团队的事,就可见现在数据驱动范式研究中数据的重要性,不光是迭代速度,还影响性能。

从去年 GPT-3 到现在节点,听同事介绍,主要进展是满足用户一些需求,比如 Retrieval-based、插入编辑的需求、少量数据finetune泛化等等。

预训练侧,比较大动静就是做 CodeX 模型,投入不少人,但也获得了不少关于代码数据的 Insight,比如发现自然语言混进较高比例代码数据对性能影响,并不会导致自然语言任务性能下降,还会对符号推理有一定提升。

所以,最近数据团队又整体收集了一大批高质量的自然语言数据,加上代码数据,用于训练。

关于数据来源,因为之前探索,发现数据量特别是高质量数据,对基座模型的性能影响很大,所以是想方设法找高质量数据,有传闻包括了:

Libgen,Z-library 这样电子书网站中的电子书

还有不光是 Arxiv 这样公开预印论文网站,还有 Scihub 这样无版权论文网站

当然 Github 全站也都有,也没管许可

这些如果能都用上,一定能训练出能力强大的基模型,对之后工作有了信心,预训练主要就得靠数据了,其他都能慢慢解决。

而老板们给到的目标,却不光是单单给预训练性能提上去,经过一年商业化尝试,发现不能光是增大规模一把梭哈,给单纯性能指标提上去。还要考虑训练和推理的效率平衡,首先预训练完后性能要有一个很大的提升,而且之后推理时消耗也要让大家用得起。

一年的尝试

于是将之前的经验汇总起来,基于新的一批数据开始训练模型。

我们实验了各种数据的配比,确定了一个较好值。而且训练时逐步增加长度,增大长度这是一些应用场景需求,原始 GPT-3 的 2048 长度不太够,这次我们增大到了 4096. 还训练了更长的时间,而不仅仅是 300B 的 Token 数量,因为发现对于大模型 300B tokens 远远不够。

于是我们拿到了一个新的版本,果然在一些能力如长文、代码还有自然语言任务都相比之前模型有一定提升,但却并没有一个质的提升,于是我们称这个模型为 3.5。

之后我们在 Scaling 方面做了些尝试,绘制了更多 Scaling 曲线,发现 GPT-3 架构上还能继续 Scaling,也会有收益,但要达到一开始的提升目标,需要给模型 Scale 到非常大规模,但这就导致训练和推理成本都非常高,真是头疼。

于是开始想着要不要尝试其他技术栈,比如说稀疏的 MoE 模型,最近谷歌有些还不错的成果展示。而且正好 2022 年年初,入职了一个相关同事,我们讨论了一下可行性。

讨论中还遇到一个问题,这位同事参与过 Chinchilla 论文,了解到如果要 Scale 到一个很大规模,现在数据量是不够的,很可能即使模型规模上去了,但因为数据的不足,导致整体性能也还是没太大提升。

一个比较大的担心是没有数据,没有更多高质量数据。现在高质量的 NLP 数据来源基本上都已经搜集遍了,只能想其他方法了。这时有人提议,现在拿的还只是纯粹以文本形式展现的数据,其实网上有以其他形式表现的文本数据,比如音频。

对啊,网络上那么多音频数据,那么多播客、有声书、视频内容,都可以转成文本数据。于是说干就干搜集了大量弱监督数据,训练了一个音频转文本模型,就叫做 Whisper 了。

而且除了音频数据,图像数据也能拿到很多,这样的话,就可以给一些带图的文本数据,还有视频数据更好地利用起来了。至于图片输入就照着 DALLE 的方式弄就行。

调研得差不多,可以开始进行新的挑战了。

GPT-4 的诞生

于是推翻之前技术栈,重新基于 MoE 模型来进行开发,从头开始调研 Scaling Law 一系列实验下来,一定数据量情况下,确实 MoE 是一个比较有效的 Scale 方法。而且通过曲线预估,可以在达到满意的 Scaling 规模同时,还能在推理上勉强达到需求。

于是大概将模型的规模扩大十倍,因为一次训练成本太高,出于保守起见,先只用了 16 个专家,每个 111B参数,而共享部分是 55B参数,所以总计大概是 1831B参数量,可以说非常大了,特别还准备投入上线使用。之后推理时,每次前向会走两个专家,加上共享参数也就是 280B 的参数,勉强能抗住。

数据方面,用调配好的数据比例,大概 1 个大 epoch 会包含 1 个 epoch 的自然语言数据,加上 2 个 epoch的代码数据,于是 1 个 epoch 大概就是 6.5T tokens 的数据量。之前发现代码配比能占到较大比例,如果按40%算的话,自然语言有 3.9T 的tokens,而代码则是 1.3T 的 tokens.

训练方面,策略方面我们和之前一样,用课程学习逐步增加 Batch Size 大小,一直到 6000万 tokens,逐渐增大长度,但主要在 8k 上进行训练。如果有更长长度的需求,也有专门的长文团队,基于 8k 来进一步训练;分布式方面,我们为了最大化利用 NV-Link 的通讯优势,用了 8 路的 tensor 并行,同时出于硬件方面的限制,用的是 15 路的管道并行。

模型结构方面,完整的 Multi-Head Attention 会带来非常大的 KV-Cache,所以改成了 Multi-Query Attention,虽然性能可能会下降些但在推理时带来的收益是非常大的。最近还出来了一个 Flash Attention,看起来很不错,但保守起见先没上,先做一些实验看看实际效果,这个对长文至关重要。

之后就启动文本 GPT-4 的训练了。

过程中,我们会进行阶段性评估,发现当前这个训练策略果然是有效的,非常振奋人心,中间就已经超过了之前的 GPT-3.5。这时微软那边想要做相关的分析工作,于是给了他们一个部署的接口,让他们能持续做实验。

ChatGPT 小插曲

Alignment 侧的同事们这一年也做得不错,给预训练+SFT+RLHF这条路走通后。在 API 建设中发现,用户喜欢直接给模型指令,因此就直接复用流程做了个 InstructGPT. 我试用了一下挺有意思的,就是还主要是单轮,不能和模型讨论,用起来不方便。

出于这个考虑,Alignment 团队开始搜集标注多轮相关的数据,用 InstructGPT 的技术又调了一版,果然交互就自然了很多。

大家讨论了一下就叫 ChatGPT 吧,因为是用 Chat 的方式来进行交互的。

Murati 体验后感觉效果很好,就让公开发布一个版本,于是准备了下放出一版。然后就继续各做各的事情去了。

然而没想到,一刷 Twitter 大家都开始提到 ChatGPT,公司内也都开始讨论起来,用户使用数也不断增加,使得给 ChatGPT 的推理资源,也越来越多了,超出了大家的预期。

一开始以为也就在英文用户圈,毕竟模型都是在英文数据上训练的,结果没想到在全球都开始引起了热议,公司内的人开始被不断找,大家出现了一个共识,我们火了。

明明相同的技术差不多大半年前大家也都知道了,只是简单换了下数据和交互方式,突然就火了,真的申请。但火了肯定是好事,财富自由指日可待。

因为用户量的激增,找微软爸爸借算力,还有对 ChatGPT 模型进行量化降低推理成本马上提上了日程。

GPT-4 的发布

同时,因为大家知道了 ChatGPT 后面基座模型是 3.5 模型,于是压力也就给到了我们。

我们需要发布一个满足大家期待的 GPT-4 模型。

于是大家也都开始紧锣密鼓地准备 4 的发布,准备三月份发布。多模能力可以先做一个 demo 版本,所以在多模态的数据上只进行了 2T 数据的继续训练。

然后就是一些推理方面的优化,尽量先让用起来,包括推理机器的规划,怎么提高推理时候 GPU 的使用率,而一些推理上通用策略可以直接复用之前 3.5 的经验,比如 Batch 推理,还有 Continuous Batching 减少无用计算等等。量化还需要做大量实验,之后再做。

解码时,可以用前段时间提出来的,Speculative Decoding. 自回归生成文本中,有简单部分和困难部分,让 4 模型来处理难的就行,用一个更简单推理成本更低的模型处理简单的,一次生成几个 token,然后让 4 模型看看,OK 就接受,不行就打回自己生成。

发布后,果然访问量直接炸了,用户也觉得能力确实有很大提升,我们算是基本完成了我们的任务。放出了4接口之后,算力却彻底吃紧了,本来大家算力还比较余裕,突然就捉襟见肘,很多实验都开展不起来,只能先让给推理。

所以 4 的 32k,还有多模接口完全不敢放出去,算力根本扛不住。

现在第一优先级就是降低 4 的推理成本,目标是如 3.5 Turbo 一样不降低性能给推理成本降低10倍。一些临时方案只能是如降低 Speculative Decoding 的拒绝概率这样,但看网友反应好像觉得性能下降了。

等给 Long-Context 的场景解决了,再考虑多模态的事情。而现在用接口的人越来越多,而且还有很多创业公司,于是各种需求也要开发,调工具啊,Code Interpreter啊,stateful api啊,低成本 finetune 啊。

害,会忙碌好一阵子了。

本文来自微信公众号:安迪的写作间(ID:andy_writing),作者:安迪的写作间

相关推荐

如果我在OpenAI训练GPT-4
更强的GPT-4,更封闭的OpenAI
OpenAI称短期内不会训练GPT-5,马斯克TruthGPT曝光
「ChatGPT之母」最新采访:GPT-4离超级智能还很远,半年内不会训练GPT-5
GPT-4就是冲着赚钱来的!
GPT-4的黑箱运作方式,让他们怒了
GPT-4背后的算法,对齐了,又没完全对齐?
GPT-4的赚钱路子有多野?
GPT-4被吹爆,科学家担忧溢屏
2万字深度解读:GPT-4“炼丹”指南

网址: 如果我在OpenAI训练GPT-4 http://m.xishuta.com/newsview83743.html

所属分类:行业热点