基于证据的大语言模型文本生成：引用、归因与引用的系统性研究

在数字化时代，大语言模型（LLMs）的应用日益广泛，从智能客服到内容创作，它们正深刻改变着人类处理文本的方式。然而，随着其普及，模型输出的可靠性和可信赖性逐渐成为关注焦点——当模型生成一篇分析报告、一篇学术综述或一条关键信息时，我们如何确定这些内容有扎实的证据支撑？如何追溯结论的来源？

为解答这些问题，“基于证据的大语言模型文本生成”领域应运而生，核心是让模型输出与支持性证据关联，确保内容的可追溯性和可验证性。但目前该领域存在术语不一致、评估方法分散、缺乏统一基准等问题，导致研究难以整合推进。

为此，一项针对134篇相关论文的系统性分析应运而生，不仅提出了统一的分类框架，还梳理了300种评估指标，聚焦于通过引用、归因或引用来实现基于证据的文本生成。本文将详细介绍这项研究的方法、成果及核心数据集，为相关领域研究者和从业者提供清晰参考。

一、为什么要关注“基于证据的文本生成”？

大语言模型的“创造力”背后，隐藏着一个关键缺陷：它们可能生成看似合理却与事实不符的内容（即“幻觉”）。例如，在撰写一篇关于气候变化的文章时，模型可能虚构研究数据或错误引用专家观点，而读者难以察觉。这种“无证据输出”在学术研究、新闻报道、医疗咨询等领域可能造成严重后果。

基于证据的文本生成正是为解决这一问题而生——它要求模型在生成内容时，明确关联支持该内容的证据来源，比如“根据2023年《自然》杂志的研究显示……”或直接引用某篇论文的核心观点。这种方式能让读者验证信息真实性，也让模型输出更具公信力。

但长期以来，该领域的研究处于“各自为战”的状态：有的研究称这种技术为“引用生成”，有的称为“归因文本生成”；评估模型效果时，有人用人工打分，有人用机器指标，结果难以比较；甚至连“证据”的定义都不统一，有的指整篇文档，有的指具体句子。

这项系统性研究的价值，就在于通过梳理134篇核心论文，为领域建立统一的“语言体系”和“评估框架”，让后续研究能站在更一致的基础上推进。

二、研究是如何开展的？

要系统分析一个领域，首先需要明确“如何找到相关研究”和“如何筛选有价值的研究”。这项研究通过严谨的方法，确保覆盖了领域内的核心文献，并对其进行了科学分类。

1. 文献搜索：精准定位核心论文

研究团队首先确定了关键词组合，确保既能聚焦大语言模型，又能覆盖“证据关联”的核心概念。最终使用的搜索字符串为：
(“large language model” OR “llm”) AND (“citation” OR “attribution” OR “quote”)

这个组合的逻辑很清晰：“large language model”或“llm”限定了研究对象是大语言模型；“citation（引用）”“attribution（归因）”“quote（引用）”则锁定了“证据关联”的核心方式。

为确保文献的全面性，研究团队查询了9个主流文献数据库，覆盖计算机科学、人工智能、语言学等多个领域。从各数据库获取的论文数量如下：

（数据来源：研究团队2025年2月的文献检索结果）

从结果来看，ACL Anthology（计算语言学领域权威数据库）和arXiv（预印本平台）贡献了最多论文，反映出该领域的研究主要集中在自然语言处理和人工智能方向。

图：文献检索与筛选是系统性研究的基础，严谨的流程能确保结果的可靠性（图片来自unsplash.com）

2. 筛选标准：聚焦核心研究

初步检索后，研究团队获得了805篇独特的论文。为确保研究聚焦，他们制定了三条严格的纳入标准，只有同时满足的论文才会被最终分析：

• 标准一：研究对象必须是“用大语言模型生成自然语言文本”。这排除了仅讨论传统机器学习模型或非文本生成任务的论文。
• 标准二：研究必须“在文本生成过程中主动融入证据来源的引用”。例如，有的论文仅讨论大语言模型的输出准确性，却不涉及如何关联证据，这类就会被排除。
• 标准三：论文必须是“英文撰写且全文可电子获取”。这是为了确保研究团队能完整解读内容，避免语言障碍或文献获取困难导致的偏差。

筛选过程由两位研究者独立完成，通过标题和摘要初步判断，必要时查阅全文。若出现分歧，两人会共同讨论决定，最终确定了134篇符合标准的论文。

3. 论文分类：按“贡献类型”梳理

为了让分析更有条理，研究团队将134篇论文按“贡献类型”分为六类，每类对应不同的研究方向：

这种分类能帮助研究者快速定位自己需要的文献：想找技术方法的人可重点看“方法类”，想找数据集的人可关注“资源类”。

三、核心数据集：134篇论文的详细标注信息

为了让其他研究者能直接复用这项研究的成果，团队整理了三个数据集，涵盖论文元数据、评估指标和数据集信息。这些数据以CSV格式存储，结构清晰，便于查询和分析。

1. publications.csv：论文元数据与分类详情

这个数据集包含134篇论文的基本信息和详细标注，共24个字段，几乎涵盖了理解一篇论文所需的所有核心维度。我们挑几个关键字段详细说明：

• 标题（Title）、摘要（Abstract）、年份（Year）、作者（Authors）、链接（Url）：这些是论文的基本信息，方便研究者快速定位和查阅原文。
• 标注者（Annotator）：记录由哪位研究者完成标注，确保可追溯性（标注者信息已匿名处理）。
• 贡献类型（Contribution Type）：即前文提到的“方法、应用、资源”等分类，可直接筛选某类研究。
• 引用术语（Citation term）：论文中用什么词描述“证据关联”（归因、引用或引用），反映领域术语的多样性。
• 任务名称（Task name）：论文中定义的具体任务，比如“引用生成”“归因文本生成”等，帮助理解研究目标。
• 证据形式（Citation modality）：被引用的证据是什么类型（文本、图表、表格、图像等）。例如，有的研究专注于引用文本段落，有的则能引用表格数据。
• 证据粒度（Evidence level）：引用的精确程度，从“整篇文档”到“句子”“词语”甚至“表格单元格”。粒度越细，证据越具体，但技术难度也越高。
• 引用风格（Citation style）：证据如何呈现给用户，比如“ inline citation（文内引用，如[1]）”“narrative citations（叙述式引用，如“Smith et al. (2023)指出”）”或直接“quote（引用原文）”。
• 引用可见性（Citation visibility）：引用是出现在最终输出中，还是仅作为模型生成时的中间过程（用户看不到）。例如，有的工具会在生成的文章中明确显示引用，有的则仅用引用提升内容准确性但不显示。
• 提示策略（Prompting）：论文中使用的提示工程方法，如零样本提示（zero-shot）、少样本提示（few-shot）、思维链（chain-of-thought）等。提示策略是LLM应用的核心技巧，直接影响生成效果。
• 模型训练方式（Pre-training / Fine-tuning）：是否需要对LLM进行预训练或微调，以及具体方式（如监督微调、强化学习等）。这关系到方法的落地成本——微调需要更多数据和计算资源，而零样本提示则更轻量。
• 任务类型（Task）：论文解决的具体场景，如问答（Question Answering）、摘要（Summarization）、基于证据的文本生成（Grounded Text Generation）等。

通过这些字段，研究者可以快速筛选出符合自己需求的论文。例如，若想找“用少样本提示、不需要微调、能生成文内引用的问答任务研究”，只需在对应字段筛选即可。

2. evaluation.csv：评估指标与框架汇总

评估是研究的“标尺”，但该领域的评估指标长期混乱。这个数据集整理了从134篇论文中提取的所有评估指标和框架，共7个字段：

• 指标名称（Metrik name）、指标缩写（Metric abbreviation）：如“BLEU”的全称是“Bilingual Evaluation Understudy”。
• 所属框架（Framework）：若指标属于某个评估框架（如“ROUGE框架”），会在此注明，避免重复分析。
• 评估方法（Evaluation Method）：指标的计算方式，如“人工评估”“词汇重叠度（lexical overlap）”“LLM作为评判者（llm-as-a-judge）”等。
• 评估维度（Evaluation Dimension）：指标衡量的具体维度，如“归因准确性”“引用相关性”“语言流畅度”等。
• 描述（Description）：指标的简要说明，多来自论文原文，确保准确性。
• 来源（Source）：提出该指标的论文链接，方便追溯其设计逻辑。

例如，“BLEU”是一个常用的词汇重叠度指标，主要评估生成文本与参考文本的相似度，常被用于衡量语言流畅度；而“人类评估”则更主观但全面，可评估引用的合理性等复杂维度。

这个数据集的价值在于，它让研究者能清晰看到“哪些指标适合评估什么维度”，避免盲目选择。比如，若想评估“引用是否准确指向证据”，可能需要用“检索相关性（retrieval-based）”类指标，而不是单纯的语言流畅度指标。

3. datasets.csv：相关数据集与基准测试集

数据是训练和评估模型的基础，这个数据集汇总了134篇论文中提到的所有数据集和基准测试集，共4个字段：

• 数据集名称（Dataset）、所属基准（Benchmark）：若数据集属于某个基准测试集（如“FEVER”），会在此注明。
• 适用任务（Dataset task）：数据集可用于什么任务，如问答、摘要、引用生成等。
• 来源（Source）：数据集的获取链接或介绍论文，方便研究者直接使用。

例如，“FEVER”是一个知名的事实核查基准，包含大量需要验证的声明和对应的证据，常被用于训练模型的证据关联能力；而“PubMedQA”则聚焦于医学问答，适合评估专业领域的证据引用效果。

通过这个数据集，研究者可以快速找到适合自己研究方向的数据源，避免重复造轮子。

图：结构化的数据集是研究复用的基础，清晰的字段设计能大幅提升使用效率（图片来自pexels.com）

四、研究的价值与未来方向

这项系统性研究的意义，不仅在于整理了现有成果，更在于为领域建立了“共同语言”。通过统一术语、梳理评估方法和数据集，它能帮助研究者避免重复劳动，聚焦真正的难点。

从实际应用来看，基于证据的文本生成技术有广阔前景：在学术写作中，它能自动为论文添加准确引用；在新闻报道中，它能让AI生成的内容可追溯，减少虚假信息；在客服领域，它能让AI的回答基于企业知识库，避免错误承诺。

当然，领域仍有诸多挑战：如何平衡“证据准确性”和“文本流畅度”？如何处理多语言场景下的证据引用？如何设计更高效的评估指标，减少对人工的依赖？这些问题都需要后续研究解决。

对于研究者和从业者来说，这三个数据集是重要的起点——通过分析现有论文的方法、评估指标和数据，能更快找到创新方向；对于想入门的人，这些数据也能帮助快速了解领域全貌。

五、许可证信息

本研究的所有数据集均遵循许可证规定，如需使用或二次开发，请遵守相关条款，确保合规使用。

通过这项研究，我们看到了大语言模型从“生成内容”向“生成可信内容”的重要转变。未来，随着技术的成熟，“每一句话都有依据”或许会成为AI文本生成的基本要求，而这项研究正是这一进程中的重要基石。