百度文心4.0推理成本上升10倍？收费成为大势所趋？
文心4.0参数曝光，大模型真的只是巨头们的游戏
继今年5月推出文心大模型3.5后，有消息称，百度正在加紧训练文心大模型4.0，已接近可发布状态。有专家表示，大模型成本将会大幅提升，向用户收费将是大势所趋。
而11月9日，财联社爆料称百度的文心大模型4.0正在加紧训练，已经接近可发布状态。次日，IT之家也扒到了更多关于文心4.0的消息，涉及了底层架构、基础设施、训练数据集、成本等关键信息。
从已经爆出来的信息看，文心大模型4.0的参数规模要大于目前所有公开发布参数的大语言模型，预计可能突破万亿级别。换句话说，文心4.0的神经网络结构将变得更复杂、参数规模更大，这必然带来更大的计算量，推理成本增加也就顺理成章。
单看参数量，很多人会觉得还好，毕竟根据目前揭秘的信息，GPT-4的参数量已经在1.8万亿左右。但爆料人进一步表示，文心大模型4.0仍然是一个单一模型，并没有采用GPT和很多其他大语言模型使用的混合专家模型（MoE）。
如此大参数量的模型，对算力要求注定不会小。现在的消息是，文心4.0是在万卡AI集群上训练出来的，应该也算上是国内首次使用万卡规模集群进行训练的大语言模型。而万卡集群，国内目前只有华为、阿里透露已建成万卡AI集群，但我们都没看到基于它推出的具体模型。
最后，在芯片和集群方面，使用什么样的芯片型号，用多大的规模和集群架构进行推理都会影响大模型的推理成本。以GPT-4为例，据爆料，GPT-4推理运行在由128个GPU组成的集群上。在不同地点的多个数据中心存在多个这样的集群。文心大模型4.0在这方面，不知是否也遇到了挑战。
虽然大模型领域的“摩尔定律”（Scaling Laws）已经开始发挥作用，随着未来能源和计算成本快速下降，更强大的AI能力将会出现。但现实是，随着大语言模型的不断升级迭代，参数量突破万亿、模型能力越来越强、用户使用量激增，推理成本都是大模型厂商需要持续优化的地方。
而文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升，也正在成为大模型商业化过程中需要考虑的重点。
在消息传出后，同时受到市场大势影响，百度港股股价低开低走，截至目前下跌5.02%，报收于124.9港元每股。
发布于：湖北
相关推荐
百度文心4.0推理成本上升10倍？收费成为大势所趋？
百度智能云：文心一言高性能模式推理性能提升50倍
百度首席技术官王海峰：“文心一言”近1个多月推理性能提升10倍
写文案、写代码 王海峰透露文心一言已在百度工作场景全面应用
2023一季度百度财报：百度智能云实现盈利 文心一言改变行业规则
百度李彦宏：年底将推出文心大模型 4.0
无需完美，文心一言已然自证百度
百度文心一言升级，文心千帆横空出世……
百度正式推出大语言模型“文心一言”
百度文心一言，如何做云市场的Game Changer？
网址: 百度文心4.0推理成本上升10倍？收费成为大势所趋？ http://m.xishuta.com/newsview93839.html
