RAG은 배우지 않는다 — 카패시의 LLM Wiki가 지식 패러다임을 완전히 바꾼다

아무도 이야기하지 않는 RAG의 치명적인 결함이 있습니다:

실제로는 아무것도 배우지 않는다는 점입니다.

AI 시스템에 문서를 업로드할 때마다 동일한 순환이 반복됩니다:

청크 검색 답변 생성 합성 폐기 무한 반복

모델은 지능적으로 들릴 수 있습니다.

하지만 그 이면에서는 매 질문마다 처음부터 이해를 재구축하고 있습니다.

지속적인 합성은 없습니다. 진화하는 구조도 없습니다. 축적되는 지식도 없습니다.

단지 원시 컨텍스트 윈도우 위에서의 임시 추론일 뿐입니다.

이것이 오늘날 거의 모든 "문서와 대화하기" 제품의 한계입니다.

NotebookLM. PDF 채팅 앱. 대부분의 엔터프라이즈 AI 코파일럿. 심지어 ChatGPT 업로드까지.

유용합니까?

물론입니다.

하지만 근본적으로 상태 비저장(stateless)입니다.

Andrej Karpathy의 "LLM Wiki" 패턴은 훨씬 더 중요한 아이디어를 소개합니다:

모델이 반복적으로 검색하는 대신 지식을 유지한다면 어떨까?

그 차이는 작아 보입니다.

하지만 아키텍처를 완전히 바꿉니다.

문서를 계속 재스캔해야 하는 대상으로 취급하는 대신, 시스템은 사용자와 원시 소스 사이에 지속적인 위키 계층을 구축합니다.

임베딩 인덱스가 아닙니다.

진화하는 지식 기반입니다.

구조화된 마크다운 페이지. 상호 연결된 개념. 엔티티 맵. 요약. 비교. 모순. 미해결 질문. 장기 합성.

그리고 가장 중요한 것은:

시스템이 시간이 지남에 따라 이 계층을 지속적으로 업데이트한다는 점입니다.

따라서 새 논문이나 대본을 추가할 때 모델은 단순히 "저장"하지 않습니다.

통합합니다.

단일 문서가 할 수 있는 일: • 기존 요약 개선 • 엔티티 페이지 수정 • 완전히 새로운 개념적 연결 생성 • 불일치 표면화 • 이전 결론 강화 또는 약화 • 시스템 전반의 장기 합성 업데이트

즉, 지식 베이스 자체가 축적됩니다.

그것이 진정한 돌파구입니다.

전통적인 RAG는 이해에 대한 기억이 없기 때문입니다.

데이터에 대한 기억만 있을 뿐입니다.

LLM Wiki는 이를 뒤집습니다.

시스템이 합성된 이해 자체를 유지합니다.

이는 미래의 추론이 극적으로 더 저렴하고, 더 깊으며, 더 맥락을 인식하게 만듭니다.

이것이 가장 중요한 부분입니다:

지식 시스템의 병목 현상은 결코 지능이 아니었습니다.

유지보수였습니다.

인간이 만든 시스템은 유지보수 오버헤드가 결국 감당할 수 없을 정도로 커지기 때문에 쇠퇴합니다.

링크가 끊어집니다. 노트가 분산됩니다. 모순이 쌓입니다. 분류 체계가 표류합니다. 맥락이 사라집니다.

결국 시스템은 재구축하는 것보다 유지보수하기가 더 어려워집니다.

LLM은 이 방정식을 처음으로 바꿉니다.

지속적인 조직 유지보수를 거의 무료로 만듭니다.

그리고 유지보수 비용이 0에 가까워지면 완전히 새로운 지식 아키텍처가 실행 가능해집니다.

이는 엄청난 의미를 갖습니다.

지속적으로 진화하는 연구 시스템. 수년에 걸쳐 성숙하는 개인 지식 베이스. 분기마다 리셋되지 않고 축적되는 회사 기억. 지속적인 개념적 이해를 가진 AI 협력자. 시간이 지남에 따라 실제로 일관성을 발전시키는 두 번째 두뇌.

이것이 카패시의 아이디어가 중요하게 느껴지는 이유입니다.

AI를 다음과 같이 재구성합니다:

"요청 시 정보 검색"

에서:

"지속적으로 이해를 구축하고 개선"

으로.

이는 대부분의 사람들이 깨닫는 것보다 훨씬 더 큰 변화입니다.

RAG는 컨텍스트를 검색합니다.

LLM Wiki는 지식을 축적합니다.

그것들은 같은 것이 아닙니다.