跳到正文
原文
华尔街见闻 · 要闻·· 2 小时前关注度20

面壁智能发布MiniCPM-V 4.7:35B开源MoE模型流畅跑上手机,LES提速约5倍

35B开源模型流畅跑上手机,面壁智能祭出LES提速

模型导读

面壁智能发布新一代端侧多模态大模型MiniCPM-V 4.7,含35B-A3B和1B两个版本,其中35B-A3B采用MoE架构,总参数350亿、单次推理仅激活约30亿参数。该模型约3GB运行内存即可在iPad Pro上实现每秒15个以上Token解码,结合LES(前瞻专家调度)等技术端侧推理速度提升约5倍。模型已支持iOS、安卓和鸿蒙系统,并适配瑞芯微、Intel、Apple等芯片平台。

来源:华尔街见闻 · 要闻 · wallstreetcn.com