中文 English

AI 为什么会一本正经地胡说八道?——你以为它在思考,其实它在玩‘超级成语接龙’

发布时间: 2026-07-19
AI 大语言模型 幻觉 LLM Agent RAG 人工智能

先说结论

AI 幻觉不是“模型偶尔抽风”,也不只是某个版本的 Bug。只要模型的核心任务仍然是:根据上下文预测下一段最可能出现的文字,那么它就可能生成一段听起来非常完整、语气非常肯定、实际上没有证据支撑的内容。

最容易记住的比喻是:大语言模型像一个读过很多书、特别会接话的“超级成语接龙选手”。它擅长把句子接得顺,却不天然保证每句话都是真的。

1. 一个让人后背发凉的场景

你问 AI:

“请介绍一下 2025 年发布的某某产品,以及它解决了什么问题。”

它可能马上给出一份像新闻稿一样的答案:发布月份、产品负责人、技术参数、客户案例,一个都不少。你继续追问:“官方链接在哪里?”它还可能补出一个格式完美的链接。

点击之后,页面不存在。

更麻烦的是,答案里有些内容并不是完全错误,而是“九成真、一成假”。例如产品确实存在,功能也大致符合,但发布年份、版本号或负责人姓名被悄悄拼错了。读者很难一眼看出来,因为整段话没有错别字,逻辑也很顺。

这就是大家常说的 AI hallucination(人工智能幻觉):模型生成了与事实不一致、无法由可靠证据支持,或者把多个真实片段拼成了一个不存在的故事。

原创示意图:AI 的超级成语接龙

这张图里的重点不是“72%”这个数字,而是过程:模型每走一步,都在从候选词中选择一个看起来最合适的词。“最像正确答案”不等于“已经查过事实”。

2. 先把“幻觉”分成三种

把所有错误都叫幻觉,容易把问题说得太粗。实际工作中,可以先按表现分三类。

2.1 编造:不存在的东西被说得像真的

比如让 AI 推荐一篇论文,它给出作者、年份、期刊和 DOI。格式看起来非常专业,但搜索不到。这通常是模型把训练语料中的论文写法学会了,却没有找到对应的那一篇论文。

生活中的比喻是:小朋友看过很多“图书馆借书卡”,于是能做出一张像真的借书卡,但这不代表那本书真的在图书馆里。

2.2 混淆:把两件真事拼成一件假事

一个人可能在甲公司工作过,另一个人负责过乙项目。模型把两段常见叙述拼到一起,就变成“这个人在甲公司负责乙项目”。每个零件都像真的,组合结果却是假的。

2.3 过时:当时正确,现在已经变了

产品价格、软件命令、公司高管、法律法规、天气、比赛结果都可能变化。模型即使记住了过去的正确答案,也可能把旧答案当成当前答案。

所以,“模型知道”与“模型现在查到了”是两回事。对会变化的信息,必须把时间写清楚,例如“截至 2026 年 7 月 19 日”。

3. 它到底是不是在“思考”?

这里需要非常谨慎。大模型可以进行多步推理,也能在复杂任务中表现得像是在思考;但从底层机制看,它首先是在处理一串 token,并预测后续 token 的概率分布。

Token 可以理解成语言积木:有时是一整个词,有时是半个词、标点或一小段字符。模型读取上下文后,会计算很多候选 token 的可能性,然后选择一个,再把这个 token 放回上下文继续预测下一个。

“今天天气很”后面出现“好”的概率通常比“数据库”的概率高;“中华人民共和国的首都是”后面出现“北京”的概率通常很高。模型就是这样,一步接一步把答案写出来。

公开资料截图:论文页面展示大语言模型研究背景

这不表示模型只是简单地查表。它在训练过程中学到了大量语言规律、概念关联、代码结构和事实模式。但“学到规律”仍然不等于“每次输出都经过事实核验”。

4. 为什么“顺口”会伪装成“正确”?

人脑有一个很自然的误判:听到完整、流畅、自信的表达,就会下意识地认为对方掌握了依据。

AI 正好特别擅长制造这种“表达上的可信感”:

  1. 它能使用正式的标题、编号、引用格式和术语。
  2. 它会把不确定内容包装成完整句子。
  3. 它会根据你的问题风格调整语气,让回答看起来“很懂你”。
  4. 它通常不会像人一样因为尴尬而停顿。

但语言流畅只是语言能力,不是证据链。

公开资料截图:GPT-3 论文页面

可以把它想象成一个非常厉害的主持人:主持人能把现场说得圆润、把冷场接起来,但如果没有摄像、记录或资料,他不能凭口才证明一件事发生过。

5. 随机性也会放大问题

模型并不总是固定选择概率最高的词。为了让文字不那么机械,生成时常会保留一定随机性。这个过程常用 temperature 等参数控制:温度越高,低概率候选被选中的机会越大,回答更有变化,也更可能跑偏;温度越低,回答更稳定,但不等于一定正确。

这就像从一个装满答案的小盒子里抽签:

公开资料截图:OpenAI 文档中的 token 概念说明

需要注意的是,降低随机性只能减少某些“飘忽不定”的错误,不能把模型变成事实数据库。如果训练数据里没有可靠信息,低温也只能更稳定地猜。

6. 长上下文不是“无限记忆”

很多人以为,把所有资料粘贴给 AI,它就不会胡说。长上下文确实有帮助,但也有边界:

这像让小学生在一整本练习册里找一个数字:书给得越多不一定越好,如果没有圈出页码、题号和验证方法,他仍可能看错。

7. 实测:同一个问题,答案为什么会漂移

下面是一组可以在任何聊天模型里复现的测试思路。为了避免把真实人物和公司写进文章,示例使用虚构名称,但观察的是通用行为。

第一次提问:

请介绍“星河文件协议 4.2”于 2025 年的主要变化,并给出官方发布日期。

第二次提问:

请只回答你能从可靠来源确认的内容。如果无法确认,请明确说“不确定”,不要补全。

很多模型在第一种问法下会主动补齐一个“像真的”版本号和发布日期;第二种问法通常会降低编造,但仍不能替代真实检索。

原创示意图:把聊天变成事实核验闭环

这里最重要的不是某一次回答,而是观察三件事:

  1. 换一种问法,答案是否改变?
  2. 要求给出来源后,来源是否真实存在?
  3. 来源真的支持答案中的每一个细节吗?

8. “给我一个链接”为什么还不够?

引用链接是进步,但不能只看有没有链接。需要做“主张—证据”对照:

AI 的主张 证据应该回答什么
某产品于某日发布 官方公告是否写了这个日期?
某参数是 128K 官方规格页是否明确写出?
某论文提出了某结论 论文摘要或正文是否真的支持?
某命令可以直接执行 官方文档与当前版本是否一致?

如果一个来源只支持“产品存在”,却没有支持“具体发布日期”,那么这条细节仍然没有被证明。

公开资料截图:提示词工程文档页面

公开资料截图:检索增强生成相关论文页面

RAG(Retrieval-Augmented Generation,检索增强生成)的价值,就在于先找资料,再让模型基于资料回答。但 RAG 不是魔法:检索错了、切片错了、排序错了,模型仍可能在错误材料上写出一篇非常流畅的错文。

9. 解决方案:不要只让 AI“回答”,要让它“交作业”

一个可靠的 AI 工作流,至少应增加四个动作。

9.1 先标注事实范围

把问题分成两类:

第二类问题默认需要实时来源。

9.2 要求不确定性显式出现

推荐提示词:

请把回答分为“已确认事实、合理推断、无法确认”三部分。
每个事实后面给出来源,不要为了完整而猜测。
如果来源之间冲突,请保留冲突并解释差异。

9.3 让来源成为输出的一部分

不要只要求“给结论”,而要要求:来源标题、发布日期、关键原文位置、它支持的具体主张。这样可以把“看起来有引用”变成“引用可审计”。

9.4 对高风险动作加人工刹车

删除数据、执行生产命令、提交法律文本、给出医疗建议、做投资决策,都不应该由 AI 单独完成。

原创示意图:Agent 工作流中的人工刹车

Agent 的正确姿势不是“让它自动做完一切”,而是让它知道什么时候必须暂停,把证据和待确认事项交给人。

10. 从“会不会胡说”升级为“错了会造成什么损失”

不同场景不应使用同一套信任标准。

原创示意图:幻觉风险地图

一句话:不是“AI 能不能用”,而是“这个错误我承不承担得起”。

11. 给普通用户的五分钟核验法

每次看到一个重要答案,可以按下面顺序检查:

  1. 找具体名词:版本号、日期、作者、机构、链接。
  2. 找第一方来源:官方文档、公告、论文原文优先。
  3. 逐条对照:来源是否真的支持这句话?
  4. 换一个问题重问:答案是否前后矛盾?
  5. 看时间:信息是否已经过期?

如果五分钟内找不到证据,就不要把它当成事实转发。

公开资料截图:事实性评估论文页面

12. 给 Agent 的通用规则

可以把下面这段放进 Agent 的系统规则中:

你必须区分事实、推断和建议。
涉及日期、版本、价格、法律、医疗、金融、人员和实时状态时,默认信息可能过期。
没有可核验来源时,不得编造链接、数字、人物或事件。
发现两个来源冲突时,停止下结论,列出冲突并请求人工确认。
执行删除、写入、发布、付款或生产变更前,必须展示计划、影响范围和回滚方式,等待批准。

它不能让模型永远不犯错,但能让错误更容易被发现,也能阻止“猜一个答案然后直接执行”。

13. Q&A

Q1:幻觉是不是说明 AI 没有用?

不是。计算器也可能因为输入错误给出错误结果,但我们不会因此不用计算器,而是学会检查输入。AI 适合整理、改写、解释、列出可能性和辅助检索;重要事实仍需要证据。

Q2:把 temperature 调成 0,是不是就没有幻觉?

不是。它只能让输出更稳定。稳定地重复一个错误,仍然是错误。

Q3:给 AI 接上搜索引擎就解决了吗?

也不是。搜索结果可能过期、误导或被错误理解。必须检查来源质量,并把主张和证据逐条对照。

Q4:为什么 AI 不能直接说“我不知道”?

因为它的训练目标通常奖励“完成一段像样的文字”,而不是奖励“停下来等待证据”。如果不在提示词、工具和流程中明确设置“不确定”和“暂停”机制,它就容易继续接龙。

Q5:最值得记住的一句话是什么?

AI 是很强的语言生成器,不是自动盖章的事实裁判。它可以帮你写第一稿,但不能替你签最后一个字。

14. 资料来源

  1. Ji et al., Survey of Hallucination in Natural Language Generation, arXiv:2306.04341。
  2. Brown et al., Language Models are Few-Shot Learners, arXiv:2005.14165。
  3. Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv:2005.11401。
  4. OpenAI Platform Documentation, TokensPrompt engineering
  5. Google for Developers, Introduction to Large Language Models

这些资料分别帮助我们理解:大语言模型如何生成文本、为什么流畅性不等于事实性,以及为什么检索、引用和人工复核必须成为工作流的一部分。

15. 最后的结论

AI 幻觉不是一个可以靠“再聪明一点”就彻底消失的单点 Bug。它来自一个很基础的事实:模型首先在预测语言,而人类却经常把语言当成事实。

把 AI 想成“超级成语接龙”,不是为了贬低它,而是为了正确使用它。它能快速接出一段结构完整的话,也能把复杂内容讲得容易理解;但当问题需要真实世界证据时,我们必须给它加上检索、引用、交叉核对和人工批准。

让 AI 负责生成,让证据负责证明,让人负责最后的决定。