ARTICLE / 极客公园

预训练的 Scaling Law 正在走入死胡同,o1 让更多创业公司重新复活

2024年09月23日 15:45 · 来自 极客公园

阅读原文 → 收藏

北京时间 9 月 13 日凌晨,OpenAI 在官网发布了其最新一代模型,没有延续过去 GPT 系列的名称,新模型起名为 o1,当前可以获取 o1-Preview 和 o1-mini 这两个版本。 当天,Sam Altman 在社交平台上兴奋地称,「『o1』系列代表新范式的开始」。 但这可能是第一次,外界比 OpenAI 的掌舵人 Sam Altman 本人,更加兴奋地期待 OpenAI 的新品发布。这份期待里,无关对赛道第一名的艳羡,更多是同呼吸、共命运的决定性瞬间。下一代模型是否有惊人的进展?能否为 AGI 的浪潮和梦想完成信仰充值? 今年,你可能也对 AI 这个字眼麻木了,去年有多狂热,今年就有多麻木。原因无他,在 AI 的落地应用上,看不到信心二字。截止目前,仍未出现颠覆性的 AI 应用;Inflection.ai、Adept.ai、Character.AI 等最头部的明星公司接连被大厂纳入麾下;科技巨头们在财报周被反复拷问 AI 的巨额资本支出何时看到回报…… 这些情绪背后,都指向同一个问题,那个所谓的第一性原理「Scaling Law」可以通向 AGI 吗?以今年十万卡、百亿美金投入,换取模型性能线性增长、乃至对数级增长的门槛来看,这注定是一场玩不起的游戏。不少人开始质疑它的合理性,这波 AI 不会就这样了吧? 这是「o1」诞生的时代性。 在 OpenAI 交出答卷后,AI 创业者表示「又行了」。不同于预训练的 Scaling Law,一条在推理阶段注入强化学习的路径成为明确的技术新方向,徐徐展开。 极客公园「今夜科技谈」直播间也在第一时间邀请极客公园创始人 & 总裁张鹏,和创新工场联合首席执行官/管理合伙人汪华、昆仑万维首席科学家&2050 全球研究院院长颜水成,一起聊了聊 o1 所代表的新范式及创业者脚下的路。 以下是直播沉淀文字,