今天的大模型,智力水平到底如何? 2024 年高考陆续出分,我们想要解开这个过去一年普罗大众一直争论不休的话题。高考是衡量人类智力和学识水平的标尺之一,以今天大模型的水准,参加高考到底是能轻松考上清华北大,还是连上大专都够呛。 我们邀请了九个大模型参加这场考试——包括公认大模型能力天花板的 GPT-4o,以及四个国内大厂(百度、阿里、腾讯、字节)和四个新锐独角兽(百川、智谱、月之暗面和 MiniMax)的公开模型产品。 他们考试的题目是覆盖地域众多、难度最高的新课标 Ⅰ 卷,这也是高考大省河南使用的考卷。我们也将以河南的分数线评判,这九个大模型考生在中国最卷的高考大省,到底能上几本。 有意思的是,这份考卷的作文题目也和 AI 相关,为大模型的作文打分的北京市级骨干教师、怀柔区语文学科带头人夏老师,以前有过多次参加全国高考语文阅卷的经历,但她也直言,「当了多年语文老师,今年是第一次看到 Al 写作的文章。」 好消息是人类没有一败涂地,坏消息是几个大模型大概能上个一本了,而几年前 AI 甚至还做不出小学生的题目。 01 挑战高考,大模型能上几本? 后面会有很多有趣的答题细节展示。但在观看结果之前,首先让我们花一点时间简单描述一下这次大模型高考测试的方法: 考题: 使用
ARTICLE
/
极客公园
当大模型开始「考上」一本
2024年06月25日 12:09 · 来自 极客公园