【LLM】从零开始训练大模型

在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）、奖励模型（Reward Model）和强化学习（RLHF）等环节。由于内容比较多，我们将逐步整理并完善这个文档。 1. 预训练阶段（Pretraining Stage） 工欲善其事，必先利其器。 当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[ alpaca ]、[ vicuna ] 等）。 这种成功的前提在于： 预训练模型和下游任务的差距不大，预训练模型中通常已经包含微调任务中所需要的知识 。 但在实际情况中，我们通常会遇到一些问题，使得我们无法直接使用一些开源 backbone： 语言不匹配： 大多数开源基座对中文的支持都不太友好，例如：[<a href="https://link.zhihu.com/?target=https%3A//huggingface.co/decapoda-research/llama-7b-hf" class="