公司域名查询官方网站站长统计官方网站

        在从零开始构建一个小型字符级语言模型时，简化的实现步骤是：数据准备→模型架构设计→训练→评估与生成。模型架构设计阶段的流程如下：

图1 模型架构设计阶段的流程

        包含了输入层、嵌入层、解码器层和输出层。其中在嵌入层中包括了Token Embedding（词嵌入）和Positional Encoding（位置编码），那么这两个矩阵具体是如何实现的，以及它们之间有什么关系呢？

        在Transformer模型中，Token Embedding（词嵌入）和Positional Encoding（位置编码）的矩阵形状关系及转换过程如下：

        本文的前置基础，Windows安装Hugging Face Transformers库，看我的文章：Windows安装Hugging Face Transformers库并实现案例训练的详细教程_ktransformers本地windows安装部署-CSDN博客

从零开始构建一个小型字符级语言模型的详细教程（基于Transformer架构）之一数据准备-CSDN博客

一、矩阵形状的对应关系

1.Token Embedding矩阵

        形状: (vocab_size=50, d_model=128)

        作用: 将字符索引（0~49）映射到128维语义向量空间

        示例：字符'h'（索引0）→ 向量[0.2, -1.3, ..., 0.7]（128维）

        这里是原始文本提取出来的唯一字符编码成词汇表，再将词汇表中的字符映射到128维语义向量空间。示意图如下：

图2 将所有唯一字符转换为向量表示

2. Positional Encoding矩阵

        形状: (block_size=64, d_model=128)