最近，以ChatGPT为首的天然生成类模子承揽成为了人工智能的新抢手，硅谷的微软、谷歌等都纷繁大举出资此类手工（微软100亿美元入股ChatGPT背面的OpenAI，谷歌也于即日发布了自研的BARD模子），而在我国以百度等为代表的互联网科技公司也纷繁暗示正在研制此类手工并且将于近期上线。

以ChatGPT为代表的天然生成类模子有一个合作的特色，便是运用了海量数据做预练习，并且往往会调配一个较为强大的言语模子。言语模子首要的成效是从海量的现有语料库中举办学习，在经由学习之后能够清楚用户的言语指令，或许更进一步凭据用户的指令去天然生成相关的文字输出。

天然生成类模子大致能够分红两大类，一类是言语类天然生成模子，另一类是图画类天然生成模子。言语类天然生成模子以ChatGPT为代表，如前所述其言语模子不只能够学习清楚用户指令的含义（例如，“写一首诗，李白气魄的”），并且在经由海量数据练习之后，还能够凭据用户的指令天然生成相关的文字（在上例中便是写一首李白气魄的诗）。这意味着ChatGPT需求有一个足够大的言语模子（Large Language Model，LLM）来清楚用户的言语，并且能有高质量的言语输出——例如该模子碍手碍脚能清楚若何天然生成诗篇，若何天然生成李白气魄的诗篇等等。这也意味着言语类天然生成式人工智能中的大言语模子需求反常多的参数，才华完结这类巨大的学习并且记取如此多的信息。以ChatGPT为例，其参数目高达1750亿（运用标准浮点数的话会占用700GB的存储空间），其言语模子之“大”可见一斑。

另一类天然生成类模子是以分散模子（Diffusion）为代表的图画类天然生成模子，典型的模子包含来自OpenAI的Dalle，谷歌的ImaGen，以及现在最抢手的来自Runway AI的Stable Diffusion。这类图画类天然生成模子同样会运用一个言语模子来清楚用户的言语指令，之后凭据这个指令来天然生成高质量的图画。与言语类天然生成模子差其他是，这儿运用到的言语模子首要用语清楚用户输入，而无需天然生成言语输出，因而参数目能够小不少（在几亿数目级），而图画的分散模子的参数目相对而言也不大，整体而言参数目约莫在几十亿数目级，然则其策画量并不小，半响天然生成的图画或许视频的分辨率能够很高。

天然生成类模子经过海量数据练习，能够产生前所未有的高质量输出，现在承揽有了不少清晰的运用商场，包含查找、对话机械人、图画天然生成和修改等等，未来可望会取得更多的运用，这也关于相关的芯片提出了需求。

01 天然生成类模子关于芯片的需求

如前所述，以ChatGPT为代表天然生成类模子需求在海量的练习数据中举办学习，才华完成高质量的天然生成输出。为了支撑高功率练习和推理，天然生成类模子关于相关芯片也有自己的需求。

首要便是关于分布式策画的需求。ChatGPT这类言语类天然生成模子的参数目高达千亿，几乎不能能运用单机练习和推理，而碍手碍脚很多运用分布式策画。在举办分布式策画时，关于机械之间的数据互联带宽，以及策画芯片关于这类分布式策画（例如RDMA）就有了很大的需求，半响许多时间责任的瓶颈或许并不在策画，而是在数据互联上面，尤其是在此类大规模分布式策画中，芯片关于分布式策画的高功率支撑加倍成为了要害。

其次是内存容量和带宽。包围关于言语类天然生成模子分布式练习和推理不能阻止，然则每个芯片的内陆内存和带宽也将很洪水平上抉择单个芯片的履行功率（半响每个芯片的内存都被运用到了极限）。关于图画类天然生成模子来说，能够把模子（20GB左右）都放在芯片的内存中，然则跟着未来图画天然生成类模子的进一步演进，它关于内存的需求或许也会进一步宗族。在这个视点来看，以HBM为代表的超高带宽内存手工将会成为相关加快芯片的必定挑选，绑架天然生成类模子也会加快HBM内存进一步增大容量和增大带宽。除了HBM之外，CXL等新的存储手工加上软件的优化也有将在这类运用中增加内陆存储的容量和功能，估计会从天然生成类模子的忝在爱末中取得更多的工业界接收。

最终是策画，无论是言语类照样图画类天然生成类模子的策画需求都很大，而图画类天然生成模子跟着天然生成分辨率越来越高以及走向视频运用，关于算力的需求或许会大大宗族——现在的干流图画天然生成模子的策画量在20 TFlops左右，而跟着走向高分辨率和图画，100-1000 TFLOPS的算力需求很有或许会是标准。

综上所述，咱们认为天然生成类模子关于芯片的需求包含了分布式策画，存储以及策画，可谓是触及了芯片规划的方方面面，而更首要的是若何把这些需求都以合理的方法连系到一起来保证某一个独自的方面不会成为瓶颈，这也将会成为一个芯片规划系统工程的问题。

02 GPU和新AI芯片，谁更有机遇

天然生成式模子关于芯片有了新的需求，关于GPU（以Nvidia和AMD为代表）和新AI芯片（以Habana，GraphCore为代表），谁更有机遇能专心这个新的需求和商场？

首要，从言语类天然生成模子来看，半响参数目巨大，需求很好的分布式策画支撑，因而现在在这类生态上承揽有完好结构的GPU厂商更有优势。这是一个系统工程问题，需求完好的软件和硬件处理方案，而在这个方面，Nvidia承揽连系其GPU推出了Triton处理方案。Triton支撑分布式练习和分布式推理，能够把一个模子分红多个部分到差其他GPU上去向理，然后处理参数目过大一个GPU的主存无法包容的问题。未来无论是直接运用Triton，照样在Triton的基础上做进一步开发，都是具有完好生态的GPU加倍利便一点。从策画上来看，半响言语类天然生成模子的首要策画便是矩阵策画，而矩阵策画自己便是GPU的强项，因而从这一点来看新的AI芯片比较GPU的优势并不明显。

从图画类天然生成模子来看，这类模子的参数目包围也很大然则比言语类天然生成模子要小一到两个数目级，此外其策画中照样会很多用到卷积策画，因而在推理运用中，若是能做反常好的优化的话，AI芯片或许有一准机遇。这儿的优化包含很多的片上存储来包容参数和中心策画作用，关于卷积以及矩阵运算的高效支撑等。

整体来说，现在这一代AI芯片在规划的时间首要针对的是更小的模子（参数目在亿等级，策画量在1TOPS等级），而天然生成模子的需求相对而言照样比本来的规划意图要大不少。GPU在规划时以功率为价值换取了更高的单纯度，而AI芯片规划则是反其道而行之，寻求意图运用的功率，因而咱们认为在未来一两年内，GPU仍将会在此类天然生成式模子加快中名列前茅，然则跟着天然生成式模子规划加倍安定，AI芯片规划有时间能追遇上天然生成式模子的迭代后，AI芯片有机遇从功率的视点在天然生成式模子范畴跨越GPU。