大家好，我是蓝衣剑客，欢迎来到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。无论你是AI领域的新手，还是希望加深理解的从业者，这里都能为你提供清晰的知识和独特的思考角度。

罗塞塔石碑

1799年，地中海沿岸的埃及小镇罗塞塔，拿破仑远征军的一名工兵在修筑防御工事时，铁锹突然碰到了一个坚硬的物体。他们挖出来一看，是一块黑色花岗岩石碑，上面刻着三种文字：已经失传近两千年的古埃及象形文字、埃及世俗体和当时学者们尚能理解的古希腊文。

这一发现在学术界掀起轩然大波。古埃及文明曾经璀璨辉煌，但它的文字系统早已成为无人能解的谜团。象形文字像是一幅幅精美但沉默的图画，承载着古代智慧，却无法向现代人述说其中的奥秘。

当你与ChatGPT对话时，它能够回答复杂问题，撰写流畅文章，甚至创作打动人心的内容。但它真的"理解"这些内容吗？它的"大脑"里发生了什么？为什么它时而表现出超凡智慧，时而又犯下常识性错误？今天，让我们一起揭开现代大语言模型的神秘面纱，探索AI是如何"理解"语言的。

从文字到数字的旅程

人类的语言是声音和符号。我们说话、写字，用耳朵听、用眼睛看。但计算机不同，它只认识数字，只会进行数学运算。这就带来了第一个挑战：如何把人类的语言转换成计算机能处理的数字？

早期的方法很简单：给每个词编个号码。"我"是1号，"你"是2号，"喜欢"是3号。这样计算机就能用数字来代表词语了。但这种方法有个大问题——计算机无法知道哪些词语是相似的。在这个编号系统里，"猫"可能是87号，"狗"是1046号，它们之间看不出任何关联。但我们知道，猫和狗都是宠物，有很多共同点。

2013年，谷歌团队发明了一种叫"词嵌入"的技术，彻底改变了这一局面。这项技术不再给每个词一个简单的编号，而是给每个词一连串的数字（向量）。巧妙之处在于：意思相近的词，它们的数字序列也很相近。

打个比方，这就像给每个词在一个巨大的公园里安排一个位置。"猫"和"狗"会被安排在很近的位置，因为它们都是宠物；"猫"和"老虎"也很近，因为它们都是猫科动物；而"猫"和"电脑"就会被安排在公园的两端，因为它们几乎没有共同点。

这种表示方法让计算机第一次能够捕捉到词语之间微妙的关系。"国王-男人+女人=王后"这样的数学运算在这个系统中竟然成立！计算机开始展现出一丝"理解"语言含义的能力。

猜词游戏

有了词语的数字表示，大语言模型的核心任务出人意料地简单：猜下一个词是什么。

这听起来就像孩子们玩的文字接龙。当我说"我昨天去超市买了..."，你的大脑立刻会想到"苹果"、"牛奶"或"面包"，而不会联想到"飞机"或"考试"。这是因为我们的大脑根据语法规则、日常常识和具体情境，自然而然地进行预测。

大语言模型玩的正是这样一个猜词游戏，只不过它是靠统计学习。它通过分析海量文本发现："超市"和"买"这两个词经常与"食物"、"日用品"等词共同出现，却几乎从不与"飞机"或"考研"相伴。

这个简单的预测机制看似不起眼，却是所有AI语言应用的基础。ChatGPT回答问题、写作文章、创作诗歌，甚至编写程序代码，本质上都是在不断预测"接下来最合适的词是什么"。每猜对一个词，这个词就成为预测下一个词的新线索，如此循环往复，最终编织出看似智能的连贯文本。

但问题来了：仅靠简单的词语接龙，怎么可能写出逻辑严密的论文、解答复杂的问题，甚至创作感人的诗歌？这就要归功于大语言模型背后真正的革命性技术——Transformer架构。

注意力的魔力

2017年，科技史上一个不起眼的日子，谷歌的研究团队发表了一篇论文，题为《Attention is All You Need》（只需要注意力）。这篇看似平常的学术论文，却在AI领域引发了一场真正的革命，它介绍的Transformer架构成为了现代大语言模型的核心引擎。

Transformer的灵感来源于人类阅读的一个基本能力——选择性注意力。读到这里时，你的大脑正自动关注重要信息，忽略次要细节。当我们读到"小明把书放在桌子上，然后他去操场踢足球"这句话时，我们立刻明白"他"指的是"小明"，而不是"书"或"桌子"。这种看似简单的能力，却是理解语言的关键。

更令人惊叹的是，Transformer的注意力是多头的、全方位的。它就像一个拥有数十双眼睛的读者，同时关注文本中的各种关系：词与词之间、句子与句子之间、概念与概念之间的复杂联系。这种能力让AI生成的内容不只是词语的简单堆砌，而是具有连贯性和上下文逻辑的完整表达。

在Transformer出现之前，AI处理语言的方式就像人类阅读一样——一个词接一个词地顺序理解（称为递归神经网络，RNN）。而Transformer实现了并行处理，就像能够一目十行地阅读整段文字，极大提升了效率。这项突破性技术为GPT（生成式预训练Transformer）系列模型奠定了基础，也彻底改变了AI与人类交流的方式。

知识的海洋

大语言模型的"知识"从哪里来？不是科学家们精心编写的，而是从互联网的海量文本中自动学习的：维基百科的条目、新闻报道、科学论文、文学作品、社交媒体上的日常对话、程序员的代码仓库...几乎包含了人类文明的各个方面。大模型的训练过程，就是在这片海洋中"游泳"，吸收其中的知识。

具体来说，训练过程像是一场大规模的填空游戏：

从网络文本中取出一段话，比如"北京是中国的首都，有着悠久的历史"。

随机遮住其中某些词，变成"北京是中国的_____，有着悠久的历史"。

让模型根据上下文猜测被遮住的词是什么。

如果猜对了（猜出"首都"），就鼓励模型；如果猜错了，就告诉它正确答案，让它调整自己的参数。

重复这个过程数十亿次，模型就能总结出文本中的统计规律。

这个过程中没有人告诉模型"北京是中国首都"这个事实，它完全是从文本模式中自己学到的。同样，它学会了物理定律、历史事件、文学技巧、编程语言...所有这些都是从文本的统计规律中提取出来的。

GPT-4的训练数据量估计达到了数万亿个词语（token），几乎相当于人类历史上所有书籍的总和。通过这种方式，模型在没有明确指导的情况下，神奇地"学会"了各种知识。

但这里有个关键点：模型并不真正理解这些知识的含义。它知道"北京是中国首都"这个句子在文本中经常出现，但它并不理解什么是"首都"，也没有北京的心理概念。就像尚波利翁能翻译古埃及文字，却不一定理解古埃及人的思想一样。

模拟理解与真实理解

当我们说"理解"一种语言，这意味着什么？对人类来说，语言理解远不止是掌握词汇和语法规则。

人类的语言理解植根于真实世界的经验。当我们说"苹果"，脑海中会浮现出它的形状、颜色、味道、气味，甚至是咬一口时的脆响。我们的语言概念与感官经验紧密相连。

我们理解"悲伤"，是因为我们亲身体验过这种情感；理解"友谊"，是因为我们有过与朋友相处的经历。我们的语言理解融合了情感体验。

此外，我们理解语言时会考虑说话者的意图和目的。"今天天气真好"可能是单纯的天气描述，也可能是邀请一起出门的暗示，这取决于语境和说话人的意图。

人类语言理解还依赖于丰富的文化背景。"春节"一词唤起的联想，在中国人和外国人心中完全不同。

相比之下，大语言模型的"理解"完全不同：

💡

它从未"看到"过真实世界。它学到"苹果是红色的水果"，但从未见过或尝过真正的苹果。

它没有情感体验。它能写出"伤心的诗"，但从未感受过伤心。

它的"知识"全部来自文本，而不是直接经验。

这种区别导致了AI的一些典型行为：

✏️

AI幻觉：当模型不确定答案时，它会基于已有的文本模式"编造"看似合理但实际错误的内容，而不是承认不知道。

缺乏常识：模型有时能解决复杂问题，却在简单常识上出错，因为它没有与现实世界互动的经验。

创新局限：模型能重组现有知识，但难以像人类那样创造真正原创的概念。

尽管大语言模型表现出惊人的能力，但它们的"思维方式"与人类有本质区别。就像罗塞塔石碑帮助人类解码了古埃及文字但没有让我们成为古埃及人一样，大语言模型帮助我们处理语言，但它们并不像人类那样思考。

语言与思维的未来

几千年来，人类坚信真正的语言理解必然植根于意识、情感和现实经验。语言不仅仅是符号，而是我们感知和理解世界的桥梁。然而，大语言模型的惊人表现向这一传统观点发起了挑战。它们从未"体验"过世界，却能通过纯粹的文本统计，生成令人信服的"理解"。这是否意味着，我们对语言本质的认识需要重新思考？

尽管如此，大语言模型的局限同样鲜明。它们时而犯下常识性错误，时而自信满满地编造事实，时而在深层次理解上显得苍白无力。这些局限恰恰映射出人类思维的独特魅力。我们不只是处理信息的机器，而是将语言、感官、情感、社交、文化等多种元素融为一体的复杂存在。

当你与ChatGPT对话时，表面上是在与一个AI交流，实际上是在与人类知识的统计映射对话——它像一面镜子，折射出我们集体智慧的精华与偏见。这种奇妙的交流既是技术奇迹的展示，也是理解人类自身的新途径。

两个世纪前，罗塞塔石碑成为破解古埃及文字的钥匙，让沉默的象形文字重新开口说话。今天，大语言模型或许正扮演着另一种"罗塞塔石碑"的角色——通过研究它如何"理解"语言，我们不仅能开发更强大的技术工具，更能从全新角度理解语言和思维的奥秘，理解那个使用语言的、思考的、感受的、创造的存在——我们自己。

在AI技术飞速发展的今天，真正的智慧或许不在于完全理解AI如何工作，而在于通过AI重新认识人类自身的独特价值。正如古人通过观察星空来思考人类在宇宙中的位置，我们今天通过观察AI来思考人类在智能谱系中的独特性。这或许才是大语言模型带给我们的最宝贵礼物。

我是蓝衣剑客，谢谢你看我的文章。