Click HERE to read the original article in English.
"理智的人适应世界；不理智的人坚持要将世界适应自己。因此，所有进步都依赖于不理智的人。" — George Bernard Shaw
引言
GPT的全称是Generative Pre Trained Transformer，这一术语概括了现代AI模型的精髓。这些机器不仅仅是一些胡乱生成文本的装置，而是能够生成连贯且符合语境内容的复杂系统。要理解它们如何运作，需要深入研究驱动它们的核心技术：Transformer。
由Google在2017年引入，Transformer是一种神经网络，在语言处理以及诸如翻译、摘要甚至生成合成媒体等任务中引起了革命性变化。本文将探讨Transformer的复杂运作，跟随数据在其中的流动，并分析它为何是AI进步的重要基石，如GPT-3以及像OpenAI的ChatGPT这样的工具。
GPT的基础知识
生成模型
如其名称所示，生成模型是一种AI系统，旨在创建与训练数据相似的新数据。例如，像GPT这样的文本生成模型可以生成模仿人类语言结构和细微差别的新句子。这种能力不仅仅是炫技；它依赖于对语境语言模式的深入理解和编码。
预训练过程
“预训练”是指模型从互联网或其他源的海量数据中学习的初步阶段，这一阶段为AI提供了基础理解，使其能够随后微调以胜任特定任务。
Transformer：AI的引擎室
Transformers是近年来AI能力激增的关键，它们由于其高效性和可扩展性而超过了早期模型。作为生成模型爆发的底层架构，理解Transformers是理解任何先进AI产品的关键。
追踪Transformer中的数据流
🔍 Transformer中的数据流 是一个涉及注意力机制和嵌入等操作的多步骤过程，显著影响AI模型的性能。
分词和嵌入
输入的一段文本被拆分为称为tokens的较小单元，可能是词甚至是词的一部分，具体取决于语言。例如，“processing”可能会分解为“process”和“ing”。
然后该过程将这些tokens转换为向量—一个表示语义含义的数字系列。这个转换由嵌入矩阵处理，使模型能够理解并解析输入数据：
# 一个简单的token嵌入示例
embedding_matrix = np.random.rand(50000, 12288) # 用于说明的随机矩阵
Tokens与向量相关联，使AI能够管理信息，不仅是从句法上，也从概念上进行语义联系。
注意力机制
“Attention is all you need” 是促使Transformers能够计算序列中不同词之间关系的开创性命题，无论距离多远。
本质上，每个token的向量通过称为自注意的机制使其能够“注意”到其他token。该计算使模型专注于文本的重要部分，同时弱化其他部分，提供上下文和绘制关系意义：
# 注意力机制的伪代码
query, key, value = tokenize(text)
weights = softmax(dot_product(query, key))
output = weights @ value
堆叠层
Transformer通常涉及多层注意力和前馈网络。每一层都细化tokens之间的关系，使模型能够掌握复杂的构造和语境。
矩阵转换
模型参数，即权重，通过加权和与输入交互，通常通过矩阵运算解决。此过程在跨层优化和实现逼真的输出时吸收并转换tokens。
可以将其视为一幅巨大的挂毯，每根线都被精细编织以产生连贯的叙述：连贯、语境感知结果的织物。
结论
作为在诸如GPT-3等著名AI中使用的Transformer模型，代表了机器理解和生成人类语言方式的重大转变。从分词到预测下一个可能序列的每个阶段，都是复杂、精心校准的过程的舞蹈，将抽象数据转化为意义。当您深入探索AI时，Transformers的机械原理继续为AI的运作提供惊人成见，开辟了技术驱动的创造力新时代。
虽然后续章节将对机制和细微差别进行扩展，但本概述提供了一个基于AI先驱科学和语言合成艺术的坚实框架。
随着进步的继续以及模型变得更加直观，请记住，简单与复杂的结合之美正是AI叙事的定义，指导未来的探索与创新。
Midjourney prompt for the cover image: An abstract illustration of data flowing through a neural network, showing connections between nodes, bright colors representing activity, with a futuristic feel, Sketch Cartoon Style, emphasizing the complexity and depth of AI technology.
预训练, 语言模型, 嵌入, GPT, MACHINE LEARNING, 自然语言处理, NEURAL NETWORKS, TRANSFORMERS, LANGUAGE PROCESSING, AITRANSFORMER, AI, 生成模型, AI MODELS, YOUTUBE, 注意力机制
