无锡网站建设信息有限上海公司公开发行股票

无锡网站建设信息有限,上海公司公开发行股票,公众平台小程序,网页模板下载在线1. Encoder-only 架构 Encoder-only 架构仅选取了 Transformer 中的编码器部分#xff0c;用于接受输入文本并生成与上下文相关的特征。具体来说#xff0c;Encoder-only 架构包含三个部分#xff0c;分别是输入编码部分#xff0c;特征编码部分以及任务处理部分#xff…1. Encoder-only 架构Encoder-only 架构仅选取了 Transformer 中的编码器部分用于接受输入文本并生成与上下文相关的特征。具体来说Encoder-only 架构包含三个部分分别是输入编码部分特征编码部分以及任务处理部分具体的模型结构如下图所示。其中输入编码部分包含分词、向量化以及添加位置编码三个过程。而特征编码部分则是由多个相同的编码模块堆叠而成其中每个编码模块包含自注意力模块。任务处理模块是针对任务需求专门设计的模块其可以由用户针对任务需求自行设计。Encoder-only架构模型的预训练阶段和推理阶段在输入编码和特征编码部分是一致的而任务处理部分则需根据任务的不同特性来进行定制化的设计。在输入编码部分原始输入文本会被分词器Tokenizer拆解为 Token 序列随后通过词表和词嵌入矩阵映射为向量序列确保文本信息得以数字化表达。接着为了保留文本中单词的顺序信息每个向量序列会被赋予位置编码Positional Encoding。在特征编码部分先前得到的向量序列会依次通过一系列编码模块这些模块通过自注意力机制和前馈网络进一步提取和深化文本特征。任务处理部分在预训练阶段和下游任务适配阶段一般有所差别。在预训练阶段模型通常使用全连接层作为输出头用于完成掩码预测等任务。而在下游任务适配阶段输出头会根据具体任务需求进行定制。例如对于情感分析或主题分类等判别任务只需要添加一个分类器便可直接输出判别结果。但对于文本摘要生成等生成任务则需要添加一个全连接层逐个预测后续的 Token。但以这种形式来完成生成任务存在着诸多的限制例如在每次生成新的 Token 时都需要重新计算整个输入序列的表示这增加了计算成本也可能导致生成的文本缺乏连贯性。2. Encoder-Decoder 架构为了弥补 Encoder-only 架构在文本生成任务上的短板Encoder-Decoder 架构在其基础上引入了一个解码器Decoder并采用交叉注意力机制来实现编码器与解码器之间的有效交互。具体来说解码器包含了输出编码、特征解码以及输出生成三个部分。其中输出编码与编码器中的输入编码结构相同包含分词、向量化以及添加位置编码三个过程将原始输入文本转换化为带有位置信息的向量序列。此外特征解码部分与特征编码部分在网络结构上也高度相似包括掩码自注意力Masked Self Attention模块交叉注意力模块和全连接前馈模块。其中掩码自注意力模块确保模型只关注上文不会“预见”未来的信息从而可以在无“下文泄露”的条件下进行“自回归”的训练和推理。而交叉注意力模块则负责处理从编码模块向解码模块传递相关信息。输出生成部分则由一个线性层以及一个 Softmax 层组成负责将特征解码后的向量转换为词表上的概率分布并从这个分布中采样得到最合适的Token 作为输出。上图展示了 Encoder-Decoder 架构的具体工作流程。在训练阶段样本中同时包含了输入和真实输出文本。其中输入文本首先被输入编码部分转化为向量序列接着在特征编码模块中被多个堆叠起来的编码模块进一步处理从而被转化为上下文表示。而输出文本之前会被添加特殊的开始标记 [START]然后在输出编码部分被分词、词嵌入和位置编码处理后并行输入到特征解码模块中。接着解码模块使用 Teacher Forcing 技术在每轮预测时使用真实输出文本中的已知部分作为输入并结合从最后一个编码块得到的上下文信息来预测下一个Token计算预测的 Token 和真实 Token 之间的损失通过反向传播更新模型参数。在推理阶段由于缺少了真实的输出文本所以输出序列原始状态只有开始标记 [START]也不再需要分词器。模型需要通过自回归的方式在每轮采样生成Token 后会将其拼接到输出序列中用于下一轮预测。这个过程循环进行直到生成特定的结束标记 [end] 或达到模型设定的最大输出长度。在这一过程中由于每轮的输入依赖于上一轮的采样结果因此只能一步步地串行输出。3. Decoder-only 架构为了有效缩减模型的规模以及降低整体的计算复杂度Decoder-only 架构摒弃了 Encoder-Decoder 架构中的编码器部分以及与编码器交互的交叉注意力模块。在这种架构下模型仅使用解码器来构建语言模型。这种架构利用“自回归”机制在给定上文的情况下生成流畅且连贯的下文。Decoder-only 架构同样包含了三个部分分别是输入编码部分、特征解码部分以及输出生成部分其具体的模型结构如图所示。Decoder-only 架构的核心特点在于省略了每个编码模块中的交叉注意力子模块这也是其与传统 Encoder-Decoder 架构中解码器部分的主要区别。4.模型架构的功能对比上述的 Encoder-only、Encoder-Decoder 和 Decoder-only 这三种模型架构虽然都源自于 Transformer 框架但他们在注意力矩阵上有着显著区别这也造就了他们在功能以及最终适用任务上的不同。接下来将针对注意力矩阵以及适用任务两个方面对这三种架构的主要区别进行分析。注意力矩阵注意力矩阵Attention Matrix是 Transformer 的核心用来计算序列中各个 Token 之间的依赖关系。它使模型在处理某个 Token 时可以灵活地参考其他 Token 的信息从而决定哪些位置对当前计算最重要。在Encoder-only 架构中注意力矩阵来自自注意力Self-Attention机制。这里的注意力是“完全”的即每个 Token 都能与输入序列中的所有 Token 建立联系。这种双向注意力机制让模型能够同时利用前后文从而更好地理解复杂的语义和上下文依赖。在Encoder-Decoder 架构中注意力矩阵由三部分组成编码器的自注意力矩阵与 Encoder-only 相同是“完全”的注意力用于捕捉输入序列的全局依赖。解码器的掩码自注意力矩阵呈“下三角”结构保证生成当前 Token 时只能依赖之前生成的 Token避免“偷看”未来信息。交叉注意力矩阵连接编码器与解码器使解码器在生成 Token yi时既能参考编码器生成的上下文表示x1 ∼ xn也能结合先前生成的 Token 序列列 y1 ∼ yi−1。在Decoder-only 架构中注意力矩阵只来自掩码自注意力机制同样呈“下三角”模式。这种单向注意力机制保证了生成的因果性模型在预测当前 Token yi时只能依赖历史 Token y1∼yi−1从而保证文本生成的顺序性与连贯性。适用任务由于架构设计和注意力矩阵机制的差异这三类 Transformer 模型在相同参数规模下各自展现出不同的优势与应用倾向。Encoder-only 架构依靠双向注意力机制使模型在预测每个 Token 时能够同时利用前后文信息从而更好地捕捉语义和依赖关系。因此这类模型特别适合自然语言理解NLU任务如情感分析、文本分类等需要判别的场景。但由于缺乏解码器它们难以直接生成目标序列因此在自然语言生成NLG任务上通常不及专门的生成型模型。Encoder-Decoder 架构在编码器的基础上引入了解码器使模型能够在理解输入的同时逐步生成输出序列。得益于这种结合模型可以灵活处理复杂输入条件并产出连贯、高质量的内容非常适合有条件生成任务例如机器翻译、文本摘要和问答系统。然而引入解码器也意味着更高的参数规模和计算成本。Decoder-only 架构则省略了编码器部分降低了整体复杂度。它通过掩码机制和自回归生成方式保证在预测当前 Token 时只能依赖先前的 Token。这类模型在大规模预训练数据的支持下能够生成高质量、连贯的文本尤其在故事生成、新闻写作等无条件生成任务中表现突出。但在模型规模有限时如 GPT-1、GPT-2由于缺少编码器提供的双向上下文其对复杂输入的理解存在一定局限表现往往不如 Encoder-Decoder 架构。随着时间演进这三种架构都曾在各自的应用场景中展现优势。如今得益于参数和数据规模的指数级增长Decoder-only 架构逐渐成为主流。以 GPT-3、GPT-4 为代表的大型自回归语言模型已经展现出卓越的任务泛化能力并在记忆、推理以及复杂任务执行等方面逐渐达到甚至超越人类水平被视为具备“大一统”潜力的架构。