标签 GPT 下的文章
在pytorch上实现一个GPT小模型
训练流程环境设置：训练在Google Colab上完成，利用其免费提供的16G显存（实际可用约13～15G）。数据预处理：使用BPE（Byte Pair Encoding）算法处理词表，词表大小约为5万。对每篇文章mask最后一个字用作预测，并计算loss。数据集定义：定义了MyDataSet...
博客信息
破晓魔王
技术笔记，知识沉淀
107
文章数30
评论数473天
运行天数关注我们
Github：https://github.com/abyssdawn/
b站：https://space.bilibili.com/3546569687173354
小红书/抖音同名：破晓一代
公众号：破晓一代网络
twitter：https://x.com/abyssdawn6
微博：https://weibo.com/abyssdawnwb
youtube：https://www.youtube.com/@abyssdawn
最新回复