ARTICLE / 极客公园

大模型不稀奇,现在开始卷「小模型」了?

2024年02月03日 19:58 · 来自 极客公园

阅读原文 → 收藏

>p<&nbsp;>/p<>p<在通往 AGI 的路上,绝大多数公司的路线是不断做大参数,但面壁智能却走了一条相反的路线&mdash;&mdash;尽可能把模型参数做小。>/p<>p<2 月 1 日,面壁智能推出了只有 2B(注:20 亿)参数量级的模型 MiniCPM,而其性能却超过了大参数模型 Mistral-7B(法国大模型公司 Mistral 旗下知名模型)、且部分超越 Llama-13B(Meta 旗下知名开源大模型)等,内部称之为「以小博大」。>/p<>p<这个结果揭露了这样一个事实:>strong<很多超大参数的大模型,它们的模型效率或许并没有最大化。>/strong<>/p<>p<「我们希望探索模型性能的天花板。」面壁智能联合创始人刘知远教授称。他认为,>strong<从技术研判而言,2023 年 ChatGPT 和 GPT-4 的推出,表明大模型技术路线已经基本确定,接下来就是要探索其科学机理,并极致地优化效率。>/strong<>/p<>p<他表示,在 Mistral-6B 的同一模型水平下,面壁智能团队的模型参数量是最小的。这或许意味着模型的效率被提升到了最高水平。「我觉得我们做了一件挺牛的事。」他笑着说。>/p<>p<&nbsp;>/p<>p style="text-align: center;"<>img src="https://imgslim.geekpark.net/uploads/image/file/a4/df/a4df0b5e01a74929acb86a98bae1963f.png" /<>/p<>p style="text-align: center;"<>span style="color: #7e8c8d;"<MiniCPM 在多项主流评测榜单、中英文平均成绩超越 Mistral-7B | 面壁智能>/span<>/p&lt