ARTICLE / 极客公园

开源大模型领域最重要的玩家们,在关心/担心什么

2023年07月26日 11:22 · 来自 极客公园

阅读原文 → 收藏

开源模型与闭源模型,正成为两股并行的力量。 从 2 月份 Meta 发布的 Llama,到 3 月份斯坦福大学微调 Llama 后发布的 Alpaca,再到 5 月份出现的 Falcon,世界各地的开源模型在「内卷」中快速进步。 7 月 18 日,Llama2 的出现,更是直接让大模型的竞争格局变天了。 开源模型作为大模型领域的「地板」,Llama2 开源且有条件地开放了商业使用后,很多「水平有限」的大模型还没商用,就已过时。「接下来,会有一大批人用自己的数据训练这个模型, 从 Bert、到 Llama 系列,每一个强大的基座模型被放到开源社区后,都会有一大波寒武纪生命大爆发的现象。 」 见过「历史」的尹一峰(Hugging Face 工程师)认为,「模型每天都在变化,随时会被更新掉,但是建立很好的数据集,能让你接下来很长一段时间受用。」 然而,一个不常被讨论和关注的事实是:「现在开源社区用的数据都是 ChatGPT 对话的数据」,RWKV 罗璇说,「这是很大的问题,数据不会开源,而开源社区应该更关注数据的建立」。 数据的瓶颈一旦被破除,开源社区可以发挥极佳的组织优势,在大模型能力上接近甚至超过闭源大模型。比如,在 AI 编程场景,开源遥遥领先。对于开源社区而言,没有明显的编程数据劣势,很多超越了闭源模型在 AI 编程场景的质量。 另一方面,开源模型,企业客户用起来放心。相比闭源大模型的黑箱,「透明化的文章都出来了,代码也发出来了,用起来你放心,知道里面有什么」。像 Llama2 这样的开源模型,公布了训练数据、方法、标注等细节。 7 月 23 日,在极客公园主办的 AGI Playground 大会上,来自 Hugging Face、RWKV、Stability AI 等几家知名开源大模型公司的从业者, 分享了在这波 AI 浪潮中,开源模型的优势,以及未来的发展趋势 。 本场圆桌嘉宾简介(从左到右依次为): <img src="https://imgslim.ge