RAG 不会学习——Karpathy 的 LLM Wiki 颠覆了整个知识范式

RAG 有一个没人提及的致命缺陷：

它实际上从未真正学习过任何东西。

每次你将文档上传到 AI 系统时，都会重复同样的循环：

检索片段 → 生成答案 → 丢弃综合结果 → 无限重复

模型可能听起来很智能。

但在底层，它每次查询都在从头重建理解。

没有持久的综合。 没有演化的结构。 没有知识的积累。

只有对原始上下文窗口的临时推理。

这就是当今几乎所有“与文档聊天”产品的天花板。

NotebookLM。 PDF 聊天应用。 大多数企业 AI 助手。 甚至 ChatGPT 的上传功能。

有用吗？

绝对有用。

但本质上都是无状态的。

Andrej Karpathy 的“LLM Wiki”模式引入了一个更重要的理念：

如果模型能维护知识，而不是反复检索知识呢？

这个区别听起来很小。

但它彻底改变了架构。

系统不再将文档视为需要不断重新扫描的内容，而是在用户和原始来源之间构建一个持久的 wiki 层。

不是嵌入索引。

而是一个不断演化的知识基底。

结构化的 Markdown 页面。 相互关联的概念。 实体映射。 摘要。 对比。 矛盾点。 开放性问题。 长期综合。

最重要的是：

系统会随时间持续更新这一层。

所以当你添加一篇新论文或转录内容时，模型不仅仅是“存储”它。

而是整合它。

单个文档可能： • 完善现有摘要 • 修改实体页面 • 创建全新的概念链接 • 揭示不一致之处 • 强化或弱化先前的结论 • 更新整个系统的长期综合

这意味着知识库本身会不断积累。

这才是真正的突破。

因为传统 RAG 没有理解的记忆。

只有数据的记忆。

LLM Wiki 颠覆了这一点。

系统保留了综合后的理解本身。

这使得未来的推理变得极其廉价、深入且更具上下文感知能力。

这是最关键的部分：

知识系统的瓶颈从来不是智能。

而是维护。

人类创建的系统会衰退，因为维护开销最终变得难以承受。

链接断裂。 笔记碎片化。 矛盾堆积。 分类法漂移。 上下文消失。

最终，系统变得比重建更难维护。

LLM 首次改变了这一局面。

它们使持续的组织维护几乎零成本。

一旦维护成本趋近于零，全新的知识架构就变得可行。

这具有巨大的意义。

持续演化的研究系统。 多年成熟起来的个人知识库。 每个季度不会重置、而是不断积累的公司记忆。 具有持久概念理解的 AI 协作者。 随时间真正发展出连贯性的第二大脑。

这就是为什么 Karpathy 的想法显得重要。

它将 AI 从“按需检索信息”重新定义为：

“持续构建和完善理解。”

这是一个比大多数人意识到的要大得多的转变。

RAG 检索上下文。

LLM Wiki 积累知识。

这两者不是一回事。