在传统RAG框架中,检索单元通常较短,如DPR使用100字维基百科段落,导致检索器在大型语料库中搜索小单元,而阅读器从这些短单元生成答案,这种设计可能导致次优性能。短单元可能丢失上下文信息,增加检索阶段引入硬负样本的可能性,且阅读器可能无法充分利用LLMs的最新进展。为了解决这些问题,提出了LongRAG框架,包含长检索器和长阅读器。LongRAG处理整个维基百科为4K标记单元,比之前长30倍,显著减少单元总数,减轻检索器负担,提高检索性能。在NQ和HotpotQA数据集上,LongRAG使用少量顶级单元实现强大检索性能,减少检索到硬负样本的可能性,保持语义完整性。LongRAG将检索到的单元输入到长上下文LLM中进行零样本答案生成,无需训练即可在NQ和HotpotQA上达到与完全训练的SoTA模型相当的性能。此外,在非维基百科数据集Qasper和MultiFieldQA-en上,LongRAG将每个文档作为单个长单元处理,提高了F1分数。研究为RAG与长上下文LLMs结合提供了未来路线图的见解。
大约 16 分钟