严格来说这不是GPT的架构复刻，而是精神继承。没有可学习参数的LayerNorm，用的是RMSNorm；激活函数是Squared ReLU而非GELU；tokenizer是字符级的，不是BPE。但核心机制一个不少：embedding、多头因果自注意力 ...

numpy.int64 另外一个就是我早期开发OpenCV实验大师工具软件的时候，很多计算都用了numpy.int 谁知道这个从numpy1.24版本以后直接删除了，当时也是导致了软件出现了一堆崩溃的BUG，所以这里分享提示： numpy.int 在Numpy 1.20 中已弃用，在Numpy 1.24中已删除 OpenCV实验大师平台 ...