从零训练一个大语言模型

01 / 成果与用途

可以用它做什么

一个自己训练的小语言模型

02 / 上手路径

从第一份成果开始

1. 01

   看文档

   打开文档站，先读笔记本 CPU 那一节。

   打开这一步的资料
2. 02

   训练小模型

   git clone 后 pip install -e .，运行 prepare_tiny_data.py，再 train_transformer.py --preset tiny --arch modern，约 5 分钟。

3. 03

   换成你的语料

   把 TinyStories 换成诗歌、笔记或某位作家的文章，再训练一次。