从“词元”到“符元”：Token 中文名背后的 AI 底层认知之争

近日，全国科学技术名词审定委员会发布公告，推荐将人工智能领域中的“Token”译为“词元”，并面向社会试用。随后，《人民日报》发文《专家解读token中文名为何定为“词元”》，对这一命名从专业角度进行了系统阐释。 文中提到，“token”一词源于古英语 tācen，意为“符号”或“标记”。在语言模型中，token是文本经过...