ARTICLE / 极客公园

腾讯混元开源两大新模型:3890 亿参数最大 MoE,3D 大模型生成资产仅需 10 秒

2024年11月10日 21:30 · 来自 极客公园

阅读原文 → 收藏

关于大模型开源还是闭源,业界争议已久。有认为同样参数规模下,开源模型能力不如闭源的,坚定看好闭源路线的,也有认为只有开源才能在推动了技术的发展,促进产业整体繁荣的。 腾讯则又一次选择了开源。在5月开源混元文生图大模型后,11月5日,腾讯又开源了两款大模型,分别是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”,支持企业及开发者精调、部署等不同场景的使用需求,可在HuggingFace、Github等技术社区直接下载,免费可商用。 腾讯机器学习技术总监,混元算法负责人康战辉认为,不同的业务需求决定了是否采用开源或闭源策略。对于一些超级复杂的业务,闭源模型更能提供高效的解决方案,因为它能在成本和用户能力的提升上做到更优。相比之下,开源模型则面向不同类型的开发者,尤其是中小企业和个人开发者,降低了他们的技术门槛,并且能够通过广泛的社区合作来推动技术的不断发展。 他强调,腾讯的战略是基于长期主义,不急功近利。尽管大模型的开源在市场上如火如荼,但腾讯并不认为开源有“早晚之分”。此次开源也是在经过一年多的探索,在闭源模式下,将产品和技术积累到一定程度后,才选择了开源。他们的目标是深耕AI时代的基础设施建设,将大模型打磨成熟后开放给开发者,并通过不断完善与优化来增强社区的信任和认可。 开源Hunyuan-Large:最大参数的MoE架构模型 腾讯Hunyuan-Large(混元Large)模型总参数量 389B,激活参数量 52B ,上下文长度高达256K,公开测评结果显示,在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学