大模型高效训练的关键技术｜AI 盐沙龙

感谢 @知乎科技 邀请参加 AI 盐沙龙活动，下面是我讲述《大模型高效训练的关键技术》的现场实录。 大家下午好，荣幸参加贵乎的活动。我今天讲一下大模型训练的技术，我们做了一套大模型训练的工具，我觉得更偏下层一点，当然没有杨军老师那样更下层，介于编译器和大模型之间的那一层。 首先给大家展示一张图片，横坐标是时间，纵坐标是AI模型的参数量。从这张图片中可以看出，过去六年大模型的参数量上升了大概10万倍量级。因为2016年的时候，我们很清楚最好的大模型是ResNet50，只有2000多万的参数，到了2020年6月份GPT3出来了，当时是2000亿的参数，已经大了一万倍了，现在据说GPT4是MOE1.7万亿参数，又进一步增加了10倍。 我们