大模型端侧部署，我们来聊点不一样的
从去年下半年开始，几乎所有硬件厂商都达成了一项默契：抱紧AI。
手机厂商认为这是继功能机和智能机后的“第三次变革”；PC厂商则要更加兴奋，因为他们所在的行业，过去十余年间都未曾感受过技术变革带来的红利。在一票大语言模型的带动下，“端侧AI”开始反复被提及，尽管这个概念诞生还不满一年。
在手机和PC厂商的叙事中，端侧AI不仅能够提升日常使用及办公效率，还是隐私保护和数据安全的最优解，甚至有厂商指出，端侧AI可以让每个用户拥有属于自己的“个人大模型”。
暂且不说这些理念是否存在“先射箭子后画靶子 ”之嫌，一个需要被前置讨论的问题是：大模型如何在端侧完成部署？
以手机端为例，目前发布且有实际演示的模型中，10亿参数量Stable Diffusion已经可以在搭载骁龙芯片的手机上运行，但再大一些的模型，比如让手机厂商们心心念念的Llama 2，其130亿参数规模跑在手机端就非常吃力，这还是在不考虑功耗问题的前提下。
也就是说，目前的大模型，有相当一部分根本无法打破端侧产品在硬件上的掣肘，毕竟云端算力可以通过增加机柜和GPU的方式提高，但手机和PC显然不具备这样的条件。
针对这个问题，3月31日，虎嗅科技组主办的“2024 AI内参会”上，邀请到了面壁智能CTO曾国洋，极客邦科技副总裁、TGO鲲鹏会总经理杨攀针对端侧AI和AGI行业的技术实践及应用场景展开了讨论。
以小博大，未尝不可
今年2月，面壁智能发布了20亿参数的开源端侧模型MiniCPM，在多个主流评测榜单中，该模型中英文分均超过Mistral-7B开源模型，甚至优于Llama 2-13B。
另外，该公司表示，该模型支持消费级显卡如1080Ti参数微调，以及主流手机处理器端侧推理。
在大模型从业者们疯狂堆砌参数的当下，面壁智能为何会选择另辟蹊径地去主攻一款小模型？
在内参会上，曾国洋就这一问题做出了回答：把MiniCPM称之为小模型可能不太准确，较为合适的名称应该是“更高效的模型”，就是在有限的资源内去把模型做得更好。
“如果简单地将模型参数规模做大的话，它确实会随着scaling law出现效果的提升，但它单一维度的提升是低效的。我们在研究出一个更优化的方法之后，其实是可以随着参数扩大，让模型爆发出一种更明显的增长。”曾国洋表示。
这里需要解释下scaling law的概念。即模型的最终性能主要与训练计算量、模型参数量和数据大小三者相关，而与模型的具体结构（层数/深度/宽度）基本无关。研发人员可以通过它在固定资源预算中，如额定的GPU数量、训练数据量或是训练时长下，匹配模型的最佳大小，且无需经历昂贵的试错。
面壁智能的思路就是，在遵循scaling law的情况下，对模型的细节进行更好的优化，使其在同等成本下达到更好的效果。
而成本问题也可能是未来端侧AI发展的最核心的推手。可以做个假设，如果未来在大模型领域出现了某个超级应用，会有上百万，乃至上千万人同时在线，用户都在云端使用模型的话，仅算力带宽这一项成本，对于创业团队来说都是难以承受的。
在今年2月MiniCPM发布会现场，面壁智能CEO李大海曾做过测算，用一台搭配骁龙855芯片的手机在本地端跑大模型，按照运行 5 年计算，每秒 7.5 tokens，那么 170 万 tokens 的推理成本仅需人民币 1 元，成本仅为 Mistral-Medium 的百分之一。
这里有处有趣的细节是，骁龙855是高通于2018年发布的终端SoC，用于演示似乎有些过于落后了。
曾国洋在AI内参会现场的发言，大概解释了这一问题：行业内有个误区是手机等终端的算力不够，但真正的瓶颈其实是显存带宽不够。曾国洋认为，随着端侧模型的落地，未来硬件层面可能会迎来一波升级。
“我觉得未来一到两年的时间，我们有机会看到一个相当于GPT3.5的模型跑在手机上。”曾国洋表示。
AGI时代，创业者们该怎么办？
无论是目前已经被大规模投入使用的云侧AI，还是行业内正在布局的端侧AI，亦或是两种混合部署，最终都指向行业翘首企盼的终极目标——AGI（通用人工智能）。
AGI听起来距离我们还很遥远，但无论是黄仁勋还是山姆·奥特曼都不止一次地表示过，AGI最快将在5年内问世。那么在当下，人工智能的创业者们该如何面对这即将到来的行业内的最大变数？
极客邦科技副总裁、TGO鲲鹏会总经理杨攀认为，经历了互联网时代和AIGC时代的创业者们很可能会陷入对两大路径的依赖当中：对移动互联网的路径依赖限制对AGI原生应用的想象，对云计算的路径依赖限制对OpenAI生态位定位的预判。
“业务负责人们需要思考的是，在不依赖当前AGI技术实现水平的情况下，对未来6-18个月的产品功能和市场变化做出预测。”杨攀表示，最终还是要落在场景上而不是功能上，因为后者很容易被AI所碾压。
正如一个无比现实的问题是，今年有望发布的GPT5，其能力可能会直接将部分应用甚至是行业覆盖掉。
如何避免被GPT5折叠？在杨攀看来，无论大模型能力有多么强大，最终它还是要同物理世界打交道，还是要接入外部的数据，如果你是数据的提供方，就会成为它坚实的伙伴。
因此AI创业者们必须要审视手中的项目是否具备数据优势，是否能给大模型提供数字世界或是物理世界的接口，以及同其他系统能力打交道的接口。
“相较于过去我们所熟知的程序，AI擅长的其实是模糊数据的处理，而这正是过去人类所擅长的工作。”杨攀补充道。
相关推荐
大模型端侧部署，我们来聊点不一样的
联发科携手阿里云在天玑移动平台完成通义千问大模型端侧部署
端侧大模型，手机厂商的下一次入口级机会
生成式AI大爆发！MWC大会上，联发科疯狂秀端侧AI实力
荣耀Magic6搭载端侧AI大模型：数据锁本地 不上云端
荣耀CEO赵明：探索把大模型引入端侧，打造专属的个人AI
支持端侧AI大模型已成新趋势，将推动智能手机內存容量突破20GB
大模型时代下的技术变革：训练、负载、部署、效率、安全……都遇到了新挑战？
大模型+自动驾驶，发展到什么阶段了？
大模型元年，人类文明的操作系统正在大更新
网址: 大模型端侧部署，我们来聊点不一样的 http://m.xishuta.com/newsview114652.html
