LlamaIndex - 04 Index 索引与存储

大模型文档 LlamaIndex

LlamaIndex 索引与存储完全指南

1. 索引概述：从数据到查询的桥梁

在 LlamaIndex 中，索引（Index） 是一个核心的数据结构，它将原始的 Document 对象组织起来，以便大语言模型（LLM）能够高效地查询和理解。构建索引的过程通常包括将文档解析、分块为更精细的 Node 对象，每个 Node 对应文档中的一段文本。这样做解决了直接将海量私有数据喂给 LLM 时遇到的知识断层和上下文窗口限制问题。

2. LlamaIndex 核心索引类型深度解析

LlamaIndex 提供了多种索引类型，每种都针对特定的查询场景进行了优化。下表总结了四种最核心的索引结构：

索引类型核心机制与数据结构最佳适用场景检索策略
向量存储索引 (VectorStoreIndex)将每个 Node 及其对应的 Embedding（向量嵌入）存储在向量数据库中。语义相似度匹配，是 RAG 最常用的索引。适用于问答系统、推荐系统、跨文档主题查找等。将查询语句转为向量，通过 ANN（近似最近邻）算法（如 FAISS、HNSW）查找最相似的 Top-K 个 Node。
摘要索引 (Summary Index)简单地将所有 Node 存储为一个顺序列表。生成文档整体摘要，或在需要针对非常少量的节点进行全量、顺序遍历时使用。加载列表中的全部或大部分 Node 至响应合成模块，让 LLM 查看所有文本后生成答案。
树状索引 (Tree Index)从 Node 集合构建一个分层的树状结构，每个父节点是其子节点的摘要。需要对长文档进行摘要总结或逐级下钻的查询场景。适合从宏观到微观的层次化信息检索。从根节点开始，逐层遍历（如每次选择相关性最高的 top-k 子节点），最终到达叶子节点获取详细上下文。
关键词表索引 (Keyword Table Index)从每个 Node 中提取关键词，构建一个从关键词到 Node 的映射表（类似倒排索引）。基于特定关键词的精确检索，如文档管理系统、传统搜索引擎风格的查询。解析查询语句中的关键词，通过映射表快速定位包含这些关键词的 Node。

3. 存储机制：持久化与后端集成

默认情况下，LlamaIndex 将索引数据存储在内存中，这意味着程序退出后数据就会丢失。为了实现数据持久化，LlamaIndex 设计了灵活的存储抽象层（Storage Abstractions）。

3.1 核心存储组件

  • 文档存储 (Document Stores)：存储 ingested 后的文档和 Node 对象。
  • 索引存储 (Index Stores)：存储索引的元数据（如映射关系、树结构）。
  • 向量存储 (Vector Stores)：专门存储向量嵌入及其对应的文本数据。这是最关键的组件，因为许多向量数据库（除 FAISS 外）会同时存储数据和索引，因此可能不再需要单独的文档或索引存储。
  • 图存储 (Graph Stores)：为知识图谱索引（KnowledgeGraphIndex）专门设计。
  • 聊天存储 (Chat Stores)：用于存储 Agent 的对话历史。

3.2 持久化实践指南

方案一：本地磁盘持久化

最简单的方式，适用于开发和测试环境。通过 storage_context 的 persist() 方法将数据写入磁盘，或通过 from_defaults 加载。

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, StorageContext, load_index_from_storage
import os

# 1. 构建索引并持久化
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 持久化到本地目录 (默认为 ./storage)
index.storage_context.persist(persist_dir="./my_storage")

# 2. 从磁盘加载索引
if not os.path.exists("./my_storage"):
    # 如果不存在，走构建流程
    index = VectorStoreIndex.from_documents(documents)
    index.storage_context.persist(persist_dir="./my_storage")
else:
    # 重建存储上下文并加载
    storage_context = StorageContext.from_defaults(persist_dir="./my_storage")
    index = load_index_from_storage(storage_context)

方案二：向量数据库存储

生产环境的首选。LlamaIndex 支持超过 160+ 种数据源和向量数据库。以下是使用开源数据库 Chroma 的示例：

import chromadb
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, StorageContext
from llama_index.vector_stores.chroma import ChromaVectorStore

# 1. 初始化 Chroma 客户端
db = chromadb.PersistentClient(path="./chroma_db") # 数据持久化到磁盘
chroma_collection = db.get_or_create_collection("my_documents")

# 2. 构建存储上下文
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)

# 3. 加载文档并创建索引（向量会自动存入 Chroma）
documents = SimpleDirectoryReader("./data").load_data()
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)

# 4. 重启后直接加载索引（无需重新嵌入）
# 直接通过已有的向量存储加载
loaded_index = VectorStoreIndex.from_vector_store(vector_store, storage_context=storage_context)

高级配置：云端存储

LlamaIndex 通过 fsspec 协议支持 S3、Cloudflare R2 等云存储，只需传递相应的文件系统对象即可。

3.3 动态更新索引

索引构建完成后，如果需要补充新数据，无需重建整个索引。可以使用 insert 方法动态添加文档。

# 假设已存在 index
new_documents = SimpleDirectoryReader("new_data").load_data()
for doc in new_documents:
    index.insert(doc)

4. 进阶话题：Agent 记忆存储

在构建复杂的 Agent（智能体）应用时，LlamaIndex 提供了专门的 Memory（记忆） 组件，它也是存储系统的一部分。

  • 短期记忆（Short-Term Memory）：默认存储在 SQLite 数据库中（内存模式或文件模式），用于维护当前会话的上下文，解决“那个地方是哪里”这类指代不明的问题。

  • 长期记忆（Long-Term Memory）：当短期记忆达到 Token 限制时，会冲刷到以下三种“记忆块”中：

    1. 静态记忆块（StaticMemoryBlock）：存储用户姓名、偏好等静态信息。
    2. 事实提取记忆块（FactExtractionMemoryBlock）：由 LLM 驱动，自动从对话中提取结构化事实（如“用户 29 岁”）。
    3. 向量记忆块（VectorMemoryBlock）：将历史对话嵌入到向量数据库中，实现基于语义的历史对话检索。

5. 总结：索引与存储的最佳实践

考虑维度推荐方案说明
数据量小/原型验证本地磁盘 + SummaryIndex 或 VectorStoreIndex利用 persist_dir 简单保存，成本低。
生产环境/大规模数据向量数据库 + VectorStoreIndex消除重新嵌入的时间和费用，支持分布式和横向扩展。
关键词搜索场景KeywordTableIndex构建倒排索引，响应速度极快。
长文档摘要TreeIndex避免简单的 Top-K 检索丢失全局上下文。
对话式 AgentChatStore + 长期记忆块分离短期对话缓冲区和长期向量/事实存储，提升用户体验。

掌握 LlamaIndex 的索引和存储机制，是从“能用”到“用好” RAG 技术的关键一步。正确的索引选择能显著提升检索准确率，而合理的存储配置则能大幅节省计算成本并加速响应速度。

标签：
大模型文档 LlamaIndex