阅读帮助
第一部分为看清:大模型的训练及推理过程是如何的,以及内部逻辑
第二部分为理解:大模型的训练及推理和算力的关系
第三部分为推演:用简单的公式量化大模型算力的需求
第四部分为优化:我们如何提高算力利用率
一、看清
1.1 大模型训练
我们以投篮训练为例,来尝试理解大模型的训练过程。
假设你正在练习投篮,目标是投进篮筐。已知的是投篮和你的出手点高度、投篮角度、手腕力度大小有关,作为一个小白你并不知道出手点高度、投篮角度、手腕力度大小该控制多少,那么你的第一次出手就是一个随机控制,至于篮球进不进篮筐就交给上帝吧。
有一种可能是你进了,那么恭喜你,天才选手;但现实往往很骨感,你不但没有中而且距离篮筐还很远。聪明的你就开始分析你观察箭偏离篮筐的方向和距离,然后找出如何调整你的出手点高度、投篮角度、手腕力度大小等因素,以便下次投篮更接近篮筐。
第二次投篮就根据第一次的分析结果,调整了出手点、高度等,你发现这次距离篮筐更近了,但是还有优化的空间,以此类推直到第 N 次,你发现几乎可以百发百中了。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-b07bf6838f54faeb4d9cdb849e184e42.jpg)
我们来看大模型训练包含哪几部分,以及和投篮训练的过程类比:
1、前向传播(forward pass):在前向传播过程中,输入数据(例如图像、文本等)通过神经网络的各层进行传递,直到得到输出结果。这个过程包括了将输入数据与权重矩阵相乘、应用激活函数等操作。前向传播的目的是计算网络的预测输出,并将其与实际目标值进行比较,从而计算损失函数(loss function)的值。
以上述投篮类比:根据你目前的技能(神经网络的权重)来投篮,然后观察篮球距离篮筐的位置(神经网络的输出)。这个过程告诉你,根据你现有的技能,你的投篮表现如何。
2、反向传播(backward pass):反向传播是一种高效计算梯度的算法。在这个过程中,损失函数关于每个权重的梯度(偏导数)被计算出来。从输出层开始,沿着网络的层次结构向输入层反向传播,计算每个权重的梯度。这些梯度表示了权重对损失函数的贡献大小,因此可以用于指导权重更新。
以上述投篮类比:这就像你分析篮球距离篮筐的位置,并找出如何改进你的投篮技巧。你观察篮球偏离篮筐的方向和距离(损失函数),然后找出如何调整你的投篮姿势、力量等因素(权重梯度),以便下次投篮更接近篮筐。这个过程涉及到计算梯度(找出如何调整技巧)。
3、权重更新(weight update):在计算出所有权重的梯度后,我们使用优化算法(如随机梯度下降(SGD)、Adam 等)来更新权重。这个过程中,权重会根据它们的梯度值进行调整,以减小损失函数的值。这样,模型就能逐渐学习到从输入数据中预测目标值的能力。
以上述投篮类比:你经过分析找出如何调整你的投篮姿势、力量等因素(权重梯度),以便下次投篮更接近篮筐。这个过程涉及到更新权重(实际调整技巧)。
下面举例一个简单三层神经网络模型的推导过程
神经网络介绍见下图,包含三层:输入层、隐含层、输出层,以及每层的神经元及相互之间权重,目标是使得输入数据 x1,x2(0.05 和 0.05),使输出尽可能与原始输出 y1,y2(0.25 和 0.15)接近。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-b06b3186ec42be9a6b2781e311b7a527.jpg)
第一步:前向传播
1、输入层–>>隐含层
计算神经元 h1 的加权和:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-01a1269556b2a773444f3d1eb5940195.jpg)
神经元 h1 的输出 out_h1:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-2e19eb4c6588c7d8fe537ddb4b8d5645.jpg)
同理,可计算出:out_h2 = 0.63064853
2、隐含层–>>输出层
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-06aed8b6166f199dbe760196f77d3e88.jpg)
一次前向传播就完成了,我们得到输出结果[0.78438045,0.82385737] 与目标值[0.25,0.15]相差还很远,下面进行反向传播,更新权重值
第二步:反向传播
1、计算损失函数(Loss)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-d329994c04692d481e2f8151bb6fab90.jpg)
分别计算 y1 和 y2 的误差,总误差为两者之和。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-99e734ce891d7d73deb4f499890dc544.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-93983bd9f21f5ccb0c07776db4e25e09.jpg)
2、隐含层 –>> 输出层权值(w4-w7)更新
w4 对整体误差产生的影响,可以由偏导求出:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-7773fcc403f00cfb796a0bf799fcc4f0.jpg)
基于链式法则我们推出偏导可以拆分为三个子公式得到
第一部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-31fc8591c634854bdfdd889a9d0b0763.jpg)
第二部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-e1d3d19d6c4f9c7aa856c931d62dffd6.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-d41e5aa9ebf978eff862bbc89a8a5635.jpg)
第三部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-117b6e3b2abf1625c2c6e4908f84b10c.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-84966eae01e1688726e967222a5358f0.jpg)
最后可以得出我们需要的偏导:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-fb59086ff95bff8e1dbb50671152c0c6.jpg)
有了偏导数据,我们就可以更新 w4 的值:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-ad61a6ee6bb681d2a0da7c6a55450f39.jpg)
同理可以计算 w5-w7 的更新值:
w5’=0.57150144
w6’=0.66939351
w7’=0.76916515
3、隐含层 –>> 隐含层权值(w0-w3)更新
方法和上面类似,我们先推算下 w0 的更新值:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-6bb591f52c427054264f5ed6b7683909.jpg)
第一部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-3c4be6cac0a952af574ce3859ce348f6.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-347bee18e5075c23f9a5776b8634640c.jpg)
根据之前的计算结果:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-13dc232ea24a9a41f56abb47b06d7249.jpg)
同理可以计算出:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-f4059638c703076d198f36a99c6df69b.jpg)
这样就可以得出:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-c283bd66530ff92fa0f9790df79fe80a.jpg)
第二部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-3a00633eed669f2c527a02f145e00ca1.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-32685b08eac6153ebb4ccadbef217645.jpg)
第三部分
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-5e86662cb2348a4f7437c016570061b5.jpg)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-6c850bb83f539954968f969b4827cda7.jpg)
综上三部分,我们可以计算出:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-3a1d2c4ea5a33f92fc5f8946e3f08b79.jpg)
最后,通过偏导来更新 w0 的值:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-d53ca4ce6d3c989cdf98c0b366bef423.jpg)
同理可以计算 w1-w3 的更新值:
w1’=0.19933483
w2’=0.29922866
w3’=0.39922866
这样一次反向传播就完成了,我们再把更新的权重重新计算,不停的进行迭代,迭代一次 Loss 值由 0.36982311 -> 0.36277389,以此类推,当迭代次数足够大,Loss 值不断变小。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-ac1ce8c7f5c46be6d67566d03c840cdf.jpg)
1000 次迭代后,Loss 值已经很小了:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-b79104a81e66e3bfa513ba45af837ec6.jpg)
1.2 大模型推理
有了一个训练好的模型,我们就可以进行推理上线了,推理过程主要包括五个步骤:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-50d80c5fbc2d80018960cc367f236db2.jpg)
第一步:分词(Tokenize)将输入的文本分解为更小的 token,这些部分可以是单个单词,字符等,简单理解为类似一种编码算法,把字符映射到 ID。比如下面这句 [Write a story about number 1234567.]就可以映射到一串数字[16594, 257, 1621, 546, 1271, 17031, 2231, 3134, 13]
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-90d2bc1210ebb84db76881f1975b8d3c.jpg)
第二步:嵌入(Embedding)将高维度的数据(例如文字、图片、音频)映射到低维度空间的过程,最终以多维度向量表示每一个 object(大模型就是指的每一个 token)。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-7452edcbd752046df4c93e0f43f9617e.jpg)
第三步:位置编码(Positional Encoding)将 token 在句子中的位置信息进行编码,使得输入 Input = Input_Embedding + Positional_Enbedding 增加位置信息。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-e6da7945e51b1c7fe45215a6868dbcf3.jpg)
至于为何要增加位置编码,互联网上有很多大佬解释,这里不赘述,简单归因两点:
1、神经网络 RNN 本身是按照序列顺序处理句子的,Transformer 模型用 Attention 取代了 RNN ,它对数据的处理是同时并行处理,不包含时序信息
2、时序不同的句子含义会有很大不同
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-8c37f38c452523e107b8c140c772122b.jpg)
第四步:Transformer 层 将处理后的 Input 输入神经网络 +attention 注意力模型进行处理:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-c7a27ca5f03ba7bd37d53711a4edb735.jpg)
第五步:Softmax 将多个神经元的输出映射到(0,1)区间,进而转换为一组概率分布(加和为 1)(convert the decoder output to predicted next-token probabilities)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-2070d057ea1c0801ab63859180a701e0.jpg)
示例一次计算过程如下:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-b39cd9a725d3d81976136fc75fd560f3.jpg)
二、理解
2.1 训练过程
第一章节第一小节讲述了大模型的通用过程,包括前向传播(forward pass)和反向传播(backward pass),我们以单位计算 unit 来计数,一次前向传播为 1 unit,一次反向传播为 2 unit(因为这里需要计算一份输出的梯度+参数的梯度),那么一次完整的训练包含了 1+2 = 3 unit,也就是对于每个 token、每个模型参数,需要3 unit 的计算。
每一个 unit 的计算都是矩阵运算,我们知道对于一次矩阵运算需要进行一次乘法及加法,共计 2 次浮点运算。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-09ff8b9f12f4b80ddd15b4cf3c55c61f.jpg)
综上两部分,我们可以得出对于每个 token、每个模型参数,需要进行 3 unit × 2 flops = 6 次浮点运算。
补充:训练还有一个可选流程激活重计算技术(本质上是时间换空间),使用激活重计算技术来减少中间激活显存需要进行 1 次额外的前向传播,如果使用重计算技术,那么对于每个 token、每个模型参数,需要进行 4 unit × 2 flops = 8 次浮点运算。
2.2 推理过程
第一章节第一小节讲述了大模型的推理过程,主要计算量在 Transformer 解码层,这一层对于每个 token、每个模型参数是一个单位 unit 的计算量,所以推理过程每个 token、每个模型参数,需要进行 1 unit × 2 flops = 2 次浮点运算。
三、推演
有了如上的两个章节的分析,我们可以得出一个比较通用的算力评估,所需的 FLOPs 浮点运算量:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-39af053eaae95aa309e93d43b22f5a4b.jpg)
3.1 算力底座
得到通用的计算量评估,我们需要进一步细化到我们熟知的 GPU 卡算力上,为此我们需要一些算力底座的相关信息,一些常用 GPU 卡对比的信息如下:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-182768b742fa3c72491e804d18fb16ff.png)
3.2 算力评估
有了通用的 GPU 卡的算力信息,我们就有了可以评估所需 GPU 卡数量的依据,在上述通用算力评估的基础上,我们就有了基于 GPU 卡的算力评估:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-398d83121409567114871a2f92f9d7df.jpg)
其中 FLOPS utilization 以目前业界能达到的最大值来进行推测:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-cb3c646a98024773fd8439a1f2712a80.jpg)
感兴趣可查阅 PaLM: Scaling Language Modeling with Pathways
3.3 算力验证
以业界开源大模型为例,我们通过公式计算算力基本和公开数据一致,以下两个维度来推算:
3.3.1、需要的算力
例如 GPT3 参数规模 175B,训练 token300B,采用的是稠密(Dense)模型,按照公式计算 6 × 175B × 300B = 3.15e23 FLOPs 公开的 GPT3 运算量 3.1e23 FLOPs,二者基本一致。
除此之外,该算力模型对于公司内部的一些大模型评估也是适用的,业务敏感信息这里不展示具体数据了。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-ad873bd0ac295266e2832ec02de4940c.png)
标记红色的为 7 月 11 号最新公开的 GPT-4 的核心数据,大家可能会注意到,GPT-4 好像并不符合算力公式,这是不是说我们的公式存在一些逻辑错误呢?那么我们就深入探讨下 GPT-4 的训练过程:
GPT-4 采用了混合专家(MoE)模型
专家混合模型(Mixture-of-Experts,MoE):MoE 模型是一种深度学习架构,该架构,通常由多个专家(Experts)组成,每个专家负责处理输入数据的不同方面,并拥有自己的参数集(也有一些参数,例如 embedding,可以被所有专家共享,即共享参数)。在模型的推理过程中,根据输入数据的不同特征,模型会将输入路由到不同的专家,每个专家根据其参数集处理对应分配到的输入后完成输出,最终输出则是各个专家输出的集成。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-5802ed8fa8e27455c12dd159747e11e1.jpg)
如上图,简单理解 MoE 类比:我把百度拆分为了,医学知识百度+历史知识百度+地理知识百度等等,实际我请求百度的时候,百度路由到对应的 XX 知识百度上,然后回答我的问题。
实际上 GPT-4 采用了 16 个专家,每个专家的 MLP 参数约为 1110 亿,每次前向传递有 2 个专家进行路由,还有 550 亿共享参数用于注意力机制,如上图每次调用实际走到了其中 16 个专家中的 2 个,大大减少了所需的训练以及推理计算量。
最后我们再回过头看下之前根据公式计算不匹配的问题,这里就会有一个问题就是实际执行的参数规模变化了:1.8T -> 1110 亿 * 2 + 550 亿,重新计算得到计算量为 6×2770 亿 ×13T=2.16e25 与公开 2.15e25 基本一致。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-bac1f333ff2016887008c8eb1734bf52.png)
^^注:1T = 1000B = 10000 亿^^
3.3.2、需要的 GPU 卡/时
例如 GPT3 参数规模 175B,训练 token300B,采用的是稠密(Dense)模型,按照下图公式计算:
分子为训练所需要的浮点运算量:1750 亿(参数规模) × 6 × 3000 亿(token 量);
分母为 312TFLOPS(一张 A100 FP16 精度下的算力) × 46.2%(利用率)× 3600 (1 小时对应的秒)
得到的结果就是60.67 万 A100/小时 = 2.53 万 A100/天,如果是 1000 张 A100,需要的训练时间约为一个月,和公开的数据也基本一致
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-e7b0f6873b580e08f87ce3c6056daa51.jpg)
再说到 GPT4 参数规模 1.8T,训练 token 13T,采用的是稀疏(MoE)模型,按照下图公式计算:
53433642 A100/小时 = 2226402 A100/天,如果用 25000 张 A100 训练,需要 89 天;与公开数据使用了约 25000 个 A100 进行了 90-100 天的训练基本一致
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-f7aaee203a5f1b81ea34b94ec873bce8.jpg)
3.3.3、业界模型推演
有了如上的验证,我们推演下业界一些公开模型的算力数据:
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-01a5d91b2ebc9403d26dec41b538975c.png)
四、优化
至此,所有的算力推演部分结束,下面我们来简单看一组数据
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-1428129015a5993b591e6fd60420dc8a.png)
由上图可以看到,不论是训练还是推理,利用率都不是特别高,这其实对于大规模的模型推广是一大阻碍:
1、成本阻碍
我们第三章公式,采用 AWS 最具成本效益的 GPU 选择,拥有 8 个 A100 实例的有效时薪 19.22 美元;估计其成本约为 0.0035 美元/1000 token,OpenAI 的 API 定价为 0.02 美元/1000 token, 其毛利率约为 80%;假如利用率提升 10%,单位成本就可以降低 30%以上
2、算力阻碍
目前已知的各大互联网公司都在囤卡,寻求抓住大模型的机遇,所以能得到多少张 GPU 卡也存在一定的不确定性;如何能够高效利用 GPU 也可以反向推动项目的进展,从另一个角度破除算力瓶颈’卡脖子’
优化分析的一些现状:
1、基础工具
英伟达提供了 Nsight System(nsys)工具查看模型运行时的 CPU/GPU 执行情况,可以帮助发现 GPU 运行时的一些问题
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-592b14a1b0630a539903932af2746451.jpg)
2、训练过程
大模型训练中存在几种经典的分布式并行范式,分别为数据并行(Data Parallelism),流水线并行(Pipeline Parallelism)和张量并行(Tensor Parallesim)。
2.1 数据并行:ZeRO 优化器
ZeRO(Zero Redundancy Optimizer)思想就是拆分 参数、梯度及优化器状态,使得节点保存部分参数、梯度及优化器状态
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-657cf058d7ea7440e086ca35603718e9.jpg)
2.2 模型并行:张量并行和流水线并行
-
张量并行 :将模型中的线性层切分到多个显卡上,并插入适当的 All-reduce 算子实现数据同步(通信量大)
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-d5cd607c3706da7c30e10c720ec019e5.jpg)
-
流水线并行 :将模型分为多个 stage,放置在不同的显卡上计算
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-d717c70f707ff17a15a9c98eb10581b2.jpg)
3、推理过程
像一些公司进行了模型的 CPU 和 GPU 运算部分拆分,单独部署成 CPU/GPU 微服务,减少 CPU 和 GPU 之间的相互干扰,以此提升性能。
![](http://e1idc.cn/wp-content/uploads/2023/09/frc-19d4df0239e2c05ec94054bf8ce6ec25.jpg)
目前对于这部分还是知之甚少,后续会对于这部分再单独展开,欢迎有兴趣的小伙伴一起探讨。
结束语
随着混元的落地,LLama2 的开源,会有更多的预训练模型和推理模型的资源利用优化、评估的事情,这也是我们下阶段工作(算力评估、性能优化)的一个开端,欢迎对大模型算力及优化感兴趣的同学一起交流沟通!
作者:zhenfei