开启空间智能问答新时代：Spatial-RAG框架来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

️0. 背景简介

在人工智能领域，大型语言模型（LLMs）如 GPT 系列已经在文本生成和理解任务中展现了强大的能力。然而，当涉及到️空间推理任务时，LLMs 的表现却显得力不从心。空间推理不仅要求模型理解复杂的空间关系，还需要结合地理数据和语义信息，生成准确的回答。为了突破这一瓶颈，研究人员推出了️ Spatial Retrieval-Augmented Generation (Spatial-RAG)—— 一个革命性的框架，旨在增强 LLMs 在空间推理任务中的能力。

️1. 论文信息

• 标题：Spatial-RAG: Spatial Retrieval Augmented Generation for Real-World Spatial Reasoning Questions
• 作者：Dazhou Yu, Riyang Bao, Gengchen Mai, Liang Zhao
• 机构：埃默里大学、德州大学奥斯汀分校
• 原文链接：https://arxiv.org/abs/2502.18470

️2. 挑战与解决方案

空间问答长期以来一直是一个基础领域，它包括各种空间问题，从识别最近的邻居到检测线与多边形的交集。然而，传统的空间问答系统依赖于专门的空间查询语言（比如 GeoSPARQL， Spatial SQL），这些语言与人类语言大相径庭，使得普通用户难以使用。更重要的是，这些系统缺乏从人类文本的丰富上下文中推断复杂空间和语义关系的能力，限制了它们在现实世界问答场景中的适用性。

近年来，大型语言模型（LLMs）的进展已经在机器学习（ML）的许多领域带来了变革，特别是在理解和生成类人文本方面。这一进展激发了人们通过直接从 LLMs 中提取空间知识来弥合空间问答与自然语言之间的差距。这些努力涵盖了广泛的应用，包括地理百科全书问答、地理定位和自动高精度地图生成等。尽管取得了这些进展，最近的研究表明，LLMs 在空间推理方面表现出显著的局限性，甚至在处理基本的空间任务时也遇到困难，例如地理解析和理解相对空间关系。这种差距在处理现实世界的空间推理任务时尤为明显，例如图 1 中所示的场景：

图 1. 现实世界中空间推理问题示例。满足空间约束的区域以蓝色突出显示

️挑战：空间与语义的双重需求

1. 空间约束：图 1 用户的问题涉及复杂的空间关系：“沿某条路线推荐餐厅”。传统的空间数据库可以高效处理这些空间查询，但它们无法理解用户的语义需求：“要求肉食”。
2. 语义理解：LLMs 擅长理解自然语言中的语义信息，例如用户对餐厅类型、价格或评分的偏好。然而，LLMs 缺乏直接处理空间数据的能力，无法执行复杂的空间计算（例如，计算两个点之间的距离或判断一个点是否位于某个区域内）。

为了解决这些挑战，增强 LLMs 的空间推理能力，该研究将️检索增强生成（RAG）扩展到空间信息检索和推理，弥合结构化空间数据库与非结构化文本推理之间的差距。

RAG 在知识密集型任务（如问答）中已经展示了其有效性，通过检索特定领域的文档来增强 LLM 的响应。然而，现有的 RAG 系统主要专注于检索和生成文本内容，缺乏空间推理任务所需的空间智能，尤其是涉及理解和计算几何体（如点、多段线和多边形）之间复杂空间关系的任务。

如图 1 中的例子，回答问题需要 LLM 从用户的文本请求中提取并形式化问题为 “找到靠近多段线的点”，并基于空间地图（数据库）解决该问题。然后，它还需要推断用户偏好，以选择空间和语义上更优的候选对象。因此，系统必须无缝集成结构化空间检索与非结构化文本推理，确保空间准确性和上下文理解。为了实现这一目标，研究人员引入了空间检索增强生成（Spatial-RAG），这是一个新颖的框架，将文本引导的空间检索与空间感知的文本生成相结合。具体来说，为了识别空间相关的候选答案，研究人员提出了一种新颖的空间混合检索模块，结合了稀疏和密集检索器。为了对候选答案进行排序并生成最终答案，研究人员提出基于空间和语义联合排序策略的 Pareto 前沿检索结果来驱动生成器。该研究贡献总结如下：

1. 通用的 Spatial-RAG 框架：Spatial-RAG 是第一个将 RAG 扩展到空间问答的框架，能够处理广泛的空间推理任务，如地理推荐、空间约束搜索和上下文路径规划。无缝集成了空间数据库、LLMs 和基于检索的增强，使得能够在 LLMs 的熟悉操作范式内有效处理复杂的空间推理问题。
2. 稀疏 - 密集空间混合检索器：提出了一种混合检索机制，结合了稀疏检索（基于 SQL 的结构化查询）和密集检索（基于 LLM 的语义匹配）。这种双重方法确保检索结果在空间和语义上与用户查询一致，显著提高了空间上下文中的检索准确性。
3. 多目标引导的空间文本生成器：为了处理空间问答任务中的空间约束和文本推理，引入了一个多目标优化框架，动态平衡空间和语义相关性之间的权衡。这确保了生成的响应既几何准确又语言连贯。
4. 真实世界评估：在从旅游网站收集的真实世界数据集上评估了方法，该数据集包含用户对不同空间实体的问题和评论。在该数据集上的实验揭示了处理现实世界空间推理问题的能力。

通过这些创新，Spatial-RAG 显著增强了 LLMs 的空间推理能力，弥合了结构化空间数据库与自然语言问答之间的差距。

️3. 方法简介

图 2. Spatial-RAG 框架

️3.1 概述

对于一个空间推理问题 q, Spatial-RAG 将生成答案 y, 形式上，该研究定义：

️4. 实验部分

研究人员在 纽约市 和 迈阿密 的旅游数据集上对 Spatial-RAG 进行了评估，展示了其在处理真实世界空间推理问题上的显著优势。

️数据集与评估指标

数据集：使用了来自 TripAdvisor 的用户问题和评论数据，涵盖纽约市的 9,470 个兴趣点（POIs）和迈阿密的 2,640 个 POIs。

评估指标：

1. 交付率：评估方法是否能够成功生成结果。

2. 空间稀疏通过率：评估解析的空间查询是否正确。

3. 空间密集通过率：评估答案是否满足问题中的空间相关语义约束。

4. 语义通过率：评估答案是否符合问题中的语义约束。

️对比方法

为了评估 LLM（GPT-3.5-Turbo 和 GPT-4-Turbo）在此框架下的表现，研究团队对比了以下基线方法：

• Sort-by-distance（SD）：按照空间问题中的参考对象距离排序候选空间对象。
• Text embedding（TE）：基于文本描述的嵌入向量，计算目标对象与参考对象的向量距离，并选择最近的对象。
• Spatial-text（ST）：基于用户问题的嵌入向量计算与目标对象文本描述的相似度，并结合目标对象的距离得分进行加权求和后决策。
• Naive RAG：使用向量数据库存储所有空间对象描述，并基于向量相似性检索最相关的对象。
• GeoLLM：对空间对象进行编码，并通过添加附近对象的空间信息丰富上下文。

️实验结果

纽约（NYC）

• Spatial-RAG（GPT-3.5-Turbo 和 GPT-4-Turbo）在交付率上与其他基线方法存在一定差距，大约 86.1% 的问题被成功处理。
• 失败的 12.9% 的情况是由于 无法从空间数据库检索到任何空间对象（可能由于多边形识别错误或 SQL 查询指定区域内无相关对象）。
• 另 0.9% 的情况是 LLM 在重新排序（reranking）过程中未能正确排列检索结果。
• Spatial-RAG（GPT-4-Turbo）比 GPT-3.5-Turbo 在 Spatial Dense Pass Rate 上高 7%，在 Semantic Pass Rate 上也稍有优势。
• SD 方法由于仅基于距离返回最近的对象，其 Spatial Dense Pass Rate 较高，但其他指标表现较差。
• GeoLLM 方法仅基于对象名称和距离，因此在 Spatial Dense Pass Rate 方面表现尚可。
• TE 和 ST 方法考虑了语义信息，在 Semantic Pass Rate 方面表现较优。
• Naive RAG 和 ST 共同优化了空间密集检索和用户语义检索，因此两者在这两个方面表现接近。

迈阿密（Miami）

• Spatial-RAG 在迈阿密数据集上的表现也较好。
• 基线方法的表现模式与纽约数据集基本一致，但由于迈阿密的数据量较小（QA 对数量仅为 133），模型表现的稳定性可能受到影响。

️消融实验

研究人员通过移除稀疏空间模块、密集空间模块和密集语义模块进行了消融实验。

结果表明：

• 移除稀疏空间模块后，交付率显著提高，但空间得分下降。
• 移除密集语义模块后，空间密集通过率最高，但语义通过率显著降低。

️案例研究

图 3 和图 4 (b) 展示了一个典型的多段线搜索案例。Spatial-RAG 成功识别了用户意图，推荐了沿路线的餐厅，展示了其在复杂空间推理任务中的强大能力。

图 3. Spatial-RAG 运行方式的示例：给定一个问题，1) 稀疏空间检索：LLM 将自然语言问题解析为空间数据库的空间 SQL 查询，检索满足空间约束和稀疏空间相关性分数的空间对象。2) 问题分解和密集检索：同时，Spatial-RAG 将问题分解为空间和语义组件，并将它们与空间对象的描述进行比较以执行密集检索，过滤掉不相关的内容。3) LLM 重新排序：语言代理平衡空间和语义方面以重新排序候选并生成最终答案。

图 4. (a) 查询 ϵ km 半径内的点 (b) 查询路径周围的点 (c) 查询多边形内的点

️5. 结论

Spatial-RAG 通过结合空间数据库和 LLM 的语义理解能力，显著提升了空间推理任务的性能。实验表明，Spatial-RAG 在真实世界数据集上表现优异，能够有效处理复杂的空间推理问题，为旅游推荐、路径规划等应用提供了强大的支持。