文 | 黎诗韵 编辑 | 郑玄 去年 5 月,OpenAI 推出可实时语音交互的「4o」模型,相当于模型长出了「耳朵」和「嘴巴」。到去年 12 月,OpenAI 宣布在高级语音模式中加入视频通话和屏幕共享,相当于模型长出了「眼睛」,电影《Her》中人工智能助理慢慢成为现实。 而在国内,大模型公司也在加快布局这一技术方向。1 月 16 日,主打端侧模型的公司面壁智能宣布推出全球首个媲美「4o」的端侧模型「MiniCPM-o 2.6」,仅 8B 参数,能在端侧实现实时流畅的音视频通话,团队称该模型能实现「以端胜云」的效果。 同一天,智谱宣布推出全新端到端模型「GLM-Realtime」,能实现低延迟的视频理解与语音交互,同时模型融入了清唱功能,还能支持 2 分钟的记忆及 Function Call(能调用外部知识和工具)功能。这是自 8 月「智谱清言」上线视频通话功能之后,智谱在「4o」技术方向上的又一进展。 国内模型公司抢跑「4o」系列模型,一方面因为它是打造人工智能超级助理(AI Agent)的重要一环,另一方面它可能也是 AI 硬件进化的关键。 近期 AI 硬件火热背后,在于它展现出了成为下一代智能交互入口的可能。作为最靠近人类的设备,AI 硬件能感知真实物理世界、收集数据,再通过内嵌的智能,有望给人类带来交互的革命性体验——而这个过程里,「看」是相当关键的, 因为人类接收的信息里约 80% 来自视觉——因此,解锁实时视频能力的「4o」系列模型或将成为技术关键。 目前,「MiniCPM-o 2.6」和「GLM-Realtime」都已经在硬件落地。不过分别是端侧部署、调用云端 API。据面壁智能介绍,「MiniCPM-o 2.6」将率先落地于汽车、机器人等硬件生态。据智谱介绍,「GLM-Realtime」API 已被集成到智能眼镜和陪伴娃娃中。 「我们相信实时视频&语音能力,将为 AI 硬件的爆发奠定坚实的智能基础。」智谱表示。 和追平「4o」性能同样重要的,是如何最高效地实现它 2020 年
ARTICLE
/
极客公园
面壁、智谱,卷上新赛道
2025年01月19日 13:03 · 来自 极客公园