ARTICLE / 极客公园

豆包为什么要给 AI 助手「开眼」?

2025年05月27日 16:35 · 来自 极客公园

阅读原文 → 收藏

豆包,可以视频通话了。 自年初更新「实时语音通话」功能之后,这一功能就持续受到用户欢迎。现在在社交媒体上搜索豆包,排名前十的热门关键词中,有 6 个与「打电话」功能有关。大量和豆包通话相关的创意内容也受到了观众追捧。 随着视频能力上线,豆包的通话功能迎来了一次「升维」,变得更实用、好用。结合视频图像,很多即便模糊的语音输入,也能够更好地被 AI 理解,用户不需要再组织语言去描述眼前的信息。 视频通话是一个单点功能,但在这背后是语言能力、多模态能力、推理能力、知识库等等多个垂直领域的技术积累、整合,以及对成本和效率的平衡。 更重要的是,视频通话能力预示了 AI 助手更远的前景。当 AI 同时拥有了眼睛和耳朵,在未来更多硬件创新的支持下,还将解放更大的创新潜力。 01 帮你理解眼前一切的豆包 视频通话能力给豆包带来的,首先是多模态理解的能力提升和交互优化。 从最基础的「理解」场景开始,用户可以把手机摄像头对准任何信息,如信息版、菜单,让豆包给出翻译、解释。而且过程中,用户可以不断通过语言输入,来修正豆包的关注重点。 比如在一个博物馆里,当我们开启视频通话,问豆包这是什么,豆包首先会根据画面里的地标特征,识别出这是「新加坡国家美术馆」。然后我们如果继续追问,楼