ARTICLE / 极客公园

提前曝光 Llama 3.1,Meta 为什么想做「大模型界 Linux」?

2024年07月25日 14:12 · 来自 极客公园

阅读原文 → 收藏

当地时间 7 月 23 日早上,Meta 开源了外界期待已久的大参数模型——Llama 3 405B。 Meta 发文称,该模型在多项基准测试中优于 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。并且,扎克伯格预计,由 Llama3 支持的 Meta AI(Meta 的人工智能助手)使用量将在未来几个月内超过 ChatGPT。 比肩世界上最强大模型的 Llama3.1 开源,社交平台 X 上,很多人将这一事件视为历史、拐点、史诗级时刻,这意味开源、闭源之间的差距进一步缩小乃至反超,还意味着开发者从此有了一个免费的最强基座模型在手。 在扎克伯格看来,这个拐点时刻则意味着 「Llama 有机会成为开源 AI 的行业标准」,就像 Linux 之于移动互联网一样 。 但与之相反,不少从业者指出一个问题,4000 亿参数量级的密集模型,即便开源,很多人可能也用不起来,尤其是考虑到运行如此规模模型的算力集群的复杂程度,再加上比较高的运行、推理成本,真正能用得上、用得转的开发者并不多。 去年 Llama2 开源时,外界原本期待 Meta 逐渐开源最强模型后,难望项背的 GPT-4 能力的可以瞬间免费地加持所有人,直接拿来探索 AI 应用。但现在似乎不同,从最强模型中蒸馏小模型,成为了 Llama 3 405B 新的产业意义吗? Llama3.1:比肩 GPT-4o,非 MOE 架构,但多模态能力仍是期货 早在今年四月,Meta 先开源了 Llama3 系列的两个小参数版本的模型,8B 和 70B。比起几个月前的 Llama 3,现在推出的 Llama 3.1 升级了先前的 8B 和 70B 模型,还发布了迄今为止最大的开源模型 Llama 3 405B——后者拥有 4050 亿个模型参数,采用了密集 Transformer 架构,具有 128K 的上下文窗口。 <img src="https://imgslim.geekpark.net/uploads/image/file/ef/5e/ef5ebb80fe823