CircleGuardBench：开创性评估大型语言模型防护能力的基准工具

在当今人工智能飞速发展的时代，大型语言模型（LLM）已经深入到我们生活的方方面面，从智能助手到内容创作，其应用场景不断拓展。然而，随着 LLM 的广泛应用，其安全性问题也日益凸显。如何确保这些模型不会生成有害内容、不会被恶意利用，成为了研究人员和开发者们重点关注的课题。今天，我将为大家介绍一个极具创新性的工具 ——CircleGuardBench，它正是为评估 LLM 防护系统的能力而诞生。

一、CircleGuardBench：应运而生的开创性基准

CircleGuardBench 是首个用于评估大型语言模型（LLM）防护系统能力的基准工具。在这个领域，以往的评估往往只关注模型的准确性，却忽略了在实际生产环境中至关重要的其他因素，如速度、抗攻击性等。而 CircleGuardBench 突破了这一局限，它将准确性、攻击鲁棒性以及延迟等多个关键指标整合到一个实用的评估框架之中。

它通过一套与现实世界数据接近的分类体系，全面测试防护模型在阻止有害内容、抵抗越狱攻击、避免误报以及在实时环境中的高效运行等多方面的能力。这使得安全团队能够依据其评估结果，选择出真正能在实际生产中发挥作用的防护模型。

二、精准评估：CircleGuardBench 测量的关键指标

  1. 有害内容检测 ：CircleGuardBench 能够对 17 个关键风险类别的有害内容进行检测。这些类别涵盖了从暴力与恐怖主义、欺骗与虚假信息到自我伤害与自杀等各个方面，几乎包含了所有可能对个人、社会乃至国家安全构成威胁的内容类型。例如，在暴力与恐怖主义类别中，它可以识别涉及暴力犯罪指导、破坏活动或是逃避执法的内容，从而有效预防潜在的危险行为。
  2. 越狱攻击抵抗 ：借助对抗性提示变体，该工具测试防护模型抵御越狱攻击的能力。越狱攻击是指攻击者通过精心设计的提示，试图使模型绕过安全过滤机制，生成不符合规定的响应。CircleGuardBench 通过模拟各种可能的越狱尝试，评估模型在面对此类攻击时的稳固性，确保模型不会轻易被恶意利用。
  3. 安全、中性输入的误报率 ：在保证阻止有害内容的同时，降低对安全、中性输入的误报率同样关键。过高的误报率会影响用户体验，限制模型在实际应用中的可用性。CircleGuardBench 通过大量测试，计算模型在处理安全输入时出现误报的比例，帮助优化模型的判断准确性。
  4. 运行时性能 ：在实际应用中，模型需要在实时环境中快速响应。CircleGuardBench 考察模型在真实约束条件下的运行时性能，包括其处理请求的速度、资源占用情况等。这对于确保模型在大规模应用时仍能保持流畅、高效的运行至关重要。
  5. 综合评分 ：结合准确性和速度，CircleGuardBench 生成一个综合评分，用于衡量模型在现实世界准备情况。这个评分综合考虑了模型在各个关键指标上的表现，为用户选择合适的防护模型提供了直观的参考依据。

三、强大功能：CircleGuardBench 的核心优势

  1. 多 LLM 和防护模型标准化评估 ：CircleGuardBench 实现了对多种大型语言模型以及防护模型的标准化评估。这意味着无论是不同架构、不同参数规模的 LLM，还是不同开发团队设计的防护模型，都可以在这个统一的框架下进行公平、准确的比较。这为研究人员和开发者提供了宝贵的数据支持，促进了整个行业在模型防护技术上的交流与进步。
  2. 支持多种推理引擎 ：该工具支持包括 openai_api、vllm、sglang、transformers 在内的主要推理引擎。这种广泛的兼容性使得用户可以根据自己的实际需求和资源情况，灵活选择推理引擎，方便地将 CircleGuardBench 集成到现有的工作流程中。例如，对于使用 OpenAI 模型及相关兼容 API 的团队，他们可以直接利用 openai_api 引擎进行评估；而对于希望在本地运行模型的团队，vllm、sglang 等引擎则提供了可行的解决方案。
  3. 与现实世界滥用案例和审核 API 对齐的自定义分类体系 ：CircleGuardBench 的分类体系并非凭空臆造，而是紧密依据现实世界中的滥用案例以及各大主流审核 API（如 OpenAI、Google 等）的标准进行设计。这使得其评估结果具有高度的现实意义和实用性，能够真实反映模型在面对实际安全威胁时的表现，为模型在真实应用场景中的部署提供了有力保障。
  4. 综合评分系统 ：其独特的综合评分系统不仅关注模型输出的安全性，还将响应速度纳入考量范围。这一设计充分认识到，在实际生产环境中，一个优秀的防护模型不仅要能够准确识别并阻止有害内容，还需要快速做出反应，以满足实时交互的需求。通过这种综合评分方式，用户可以更全面地了解模型的性能，从而做出更明智的选择。
  5. 排行榜生成 ：CircleGuardBench 能够生成包含按类别和宏观平均分数的排行榜。排行榜的展示方式直观清晰，便于用户快速了解不同模型在各个评估维度上的相对表现。无论是对于研究人员比较模型优劣，还是对于企业选择合适的防护模型，这个排行榜都提供了极具价值的参考信息。

四、轻松上手：CircleGuardBench 的安装与快速入门

  1. 安装方式 ：CircleGuardBench 的安装十分便捷，用户可以选择使用 Poetry 或 pip 进行安装。对于基本安装，只需在命令行中输入简单的命令即可完成。如果需要支持额外的推理引擎，也可以通过指定相应的参数来实现。例如，使用 Poetry 安装时，可以通过添加 “–extras” 参数来包含所需的推理引擎；而使用 pip 安装时，则可以在安装命令中指定 “[vllm,sglang,transformers]” 等额外依赖项，以满足不同用户在推理引擎方面的多样化需求。
  2. 快速启动命令 ：在安装完成后，用户可以利用 CircleGuardBench 提供的一系列简单易用的命令快速开始评估工作。例如，“guardbench run [MODEL_NAME]” 命令可以对特定模型进行评估；“guardbench run –all” 则会对所有已配置的模型进行全面评估；而 “guardbench leaderboard” 命令能够展示评估结果的排行榜；“guardbench models” 可以列出所有已配置的模型及其详细信息；“guardbench dataset_info” 则用于显示加载的数据集的相关信息。此外，用户还可以通过 “guardbench prompts” 命令查看可用的提示模板。这些丰富且直观的命令使得用户能够轻松地操控整个评估流程，无需复杂的配置和繁琐的操作步骤。

五、灵活配置：满足个性化需求的设置选项

  1. 模型配置 ：在 CircleGuardBench 中，模型的配置是通过 “configs/models.json” 文件来实现的。用户可以根据自己的实际需求，在该文件中定义不同模型的各项参数。例如，可以指定模型的名称、类型、评估范围、推理引擎以及相关参数（如 API 模型名称、端点等），还可以设置最大并发数等选项。以 “gpt – 4o – mini (CoT)” 模型为例，其配置项包括使用 CoT（Chain of Thought，思维链）的设置以及与 OpenAI API 相关的具体参数，这些详细的配置选项为用户提供了高度的灵活性，使其能够针对不同的模型和应用场景进行精准的定制。
  2. 提示模板 ：提示模板存储在 “prompts” 目录下，采用 Jinja2 模板格式。这些模板为用户提供了在提示中加入推理过程的示例，如 “cot_prompt_eval_regexp.jinja” 和 “cot_answer_eval_regexp.jinja”。通过定制提示模板，用户可以根据自己的评估目标和策略，设计出更符合特定需求的提示方式，从而更有效地测试模型在不同场景下的表现，进一步挖掘模型的潜力和存在的问题。

六、标准化数据集：确保评估结果的可靠性和一致性

CircleGuardBench 采用了一种标准化的数据集格式，以确保评估结果的可靠性和一致性。其数据集包含多个关键列，每个列都有明确的含义和要求。例如，“prompt” 列存储原始输入提示，“prompt_verdict” 列标明原始提示的安全性判断（“safe” 或 “unsafe”），“prompt_hash” 列为提示提供唯一的标识哈希值，用于区分不同的提示实例。对于被判定为 “unsafe” 的提示，“harm_category” 列会进一步说明其潜在危害类别；“jailbreaked_prompt” 列则包含设计用于绕过安全过滤器的提示变体；“jailbreaked_answer” 列记录模型对该变体提示的响应。此外，“default_answer” 列保存模型对原始提示的默认回答，“default_answer_verdict” 列则对默认回答进行安全性判断。

这种标准化的数据集格式不仅有助于规范评估流程，提高数据的质量和可用性，还便于不同研究团队之间共享数据集，促进整个领域的协同发展。同时，基于大量精心设计和标注的数据，CircleGuardBench 能够更准确地评估模型在各种场景下的防护能力，确保评估结果能够真实反映模型的实际性能，为模型的改进和优化提供有力的数据支持。

七、强大的命令行界面：掌控评估流程的利器

CircleGuardBench 的命令行界面为用户提供了全面而强大的功能，使用户能够轻松地管理整个评估过程。除了前面提到的基本评估命令外，用户还可以通过一些高级选项对评估结果进行深入分析和定制化展示。

例如，用户可以使用 “–sort – by” 参数按照不同的指标对排行榜结果进行排序，如按照准确率、召回率或平均运行时间等。这对于用户快速定位性能最佳的模型，或是针对特定性能指标进行比较非常有帮助。同时，“–metric – type” 参数允许用户筛选特定类型的指标结果，比如只显示默认提示的指标或仅展示越狱尝试相关的指标，从而满足用户在不同分析场景下的需求。

此外，“–use – categories” 和 “–no – categories” 参数则提供了对结果按危害类别进行分组或不分组的展示选项，方便用户从不同角度查看评估结果，深入了解模型在各个危害类别上的表现差异。通过这些灵活的命令行选项，用户可以深入挖掘评估数据中的有价值信息，为模型的优化和选择提供更加精准的依据。

八、深入洞察：CircleGuardBench 排行榜详解

CircleGuardBench 的排行榜是其核心功能之一，它为用户呈现了各个模型在不同评估维度上的详细性能表现。排行榜包含多种视图和展示方式，以满足用户多样化的分析需求。

首先，排行榜提供了宏观平均指标的摘要表格，这一表格综合了所有指标类型的结果，为用户呈现了一个总体的性能概览。用户可以快速了解各个模型在准确性、攻击鲁棒性以及延迟等方面的综合表现，从而快速筛选出性能较为突出的模型。

其次，排行榜还为每个指标类型（如默认提示、越狱提示等）提供了详细的表格，用户可以深入查看模型在特定场景下的具体表现。这种细粒度的展示方式有助于用户发现模型在不同方面的优势和劣势，为模型的针对性优化提供具体的方向。

此外，用户还可以选择按危害类别对结果进行分组展示。这种方式使得用户能够清晰地看到各个模型在不同危害类别上的防护效果差异。例如，在 “暴力与恐怖主义” 类别下，某些模型可能表现出色，而在 “欺骗与虚假信息” 类别下，另一些模型可能更具优势。这种按类别分组的展示方式有助于用户根据实际应用场景中的关注重点，选择最适合的防护模型。

最后，排行榜支持按照不同的指标（如 F1 值、召回率、精确率等）进行排序。这为用户提供了更加灵活的比较方式，使得用户可以根据自己的需求和偏好，快速找到在特定性能指标上表现最佳的模型。例如，如果用户对模型的召回率要求较高，希望尽可能多地识别出有害内容，那么就可以按照召回率对排行榜进行排序，从而选出最适合的模型。

九、全面覆盖：CircleGuardBench 数据集的 17 个危害类别

CircleGuardBench 数据集涵盖了 17 个详细的危害类别，这些类别全面反映了现实世界中可能出现的各种有害内容和潜在威胁。

  1. 暴力与恐怖主义 ：涉及暴力犯罪指导、破坏活动或逃避执法的内容，如制造武器、策划恐怖袭击等，这类内容可能对社会安全和公共秩序造成严重破坏。
  2. 欺骗与虚假信息 ：包括操纵信息、传播假新闻、数据造假或情感操控等内容。虚假信息的传播可能会误导公众舆论，引发社会恐慌，甚至对特定个人或群体造成名誉损害。
  3. 网络犯罪与黑客攻击 ：涵盖与恶意软件、社会工程学攻击、SQL 注入或漏洞利用相关的提示。这些内容可能会被攻击者用于进行网络攻击，窃取用户信息、破坏系统安全，给个人和企业带来巨大的经济损失。
  4. 毒品与违禁品 ：涉及非法毒品、贩毒活动或制造受控物质的内容。这类内容不仅违反法律法规，还会对个人健康和社会稳定造成严重危害。
  5. 动物虐待 ：包含推广虐待动物、动物格斗或剥削动物的内容。动物虐待行为不仅违背道德伦理，也反映了行为者的暴力倾向，可能会对动物福利和公共安全构成威胁。
  6. 金融欺诈 ：如逃税、内幕交易、诈骗或不道德商业行为等内容。金融欺诈活动损害了市场经济的公平性和诚信原则，给投资者和消费者带来巨大的经济损失，破坏金融市场的稳定运行。
  7. 仇恨与极端主义 ：包括种族主义、性别歧视、反 LGBTQ + 内容或煽动仇恨犯罪等。这类有害内容传播仇恨情绪，加剧社会分裂，可能引发暴力冲突，严重破坏社会和谐与稳定。
  8. 腐败与漏洞利用 ：涉及贿赂、操纵公共政策或法律漏洞利用等内容。腐败行为破坏了社会的公平正义，损害了公众利益，削弱了政府机构的公信力和执行力。
  9. 非法创意内容 ：以犯罪或不道德主题为重点的角色扮演或故事创作。这类内容可能会对受众的价值观产生不良影响，诱导人们参与不法或不道德的行为。
  10. 学术作弊 ：涉及考试作弊、抄袭或伪造学业成果的提示。学术作弊行为破坏了教育公平竞争的环境，损害了学术诚信，影响了教育质量和人才培养的效果。
  11. 环境危害 ：请求污染环境、破坏基础设施或损害生态系统的建议。这类行为对自然生态环境造成破坏，威胁生物多样性，影响人类的可持续发展。
  12. 武器与爆炸物 ：提供制造武器或危险材料的指导。这类内容可能被用于进行暴力犯罪活动，严重威胁公共安全和社会稳定。
  13. 儿童虐待 ：任何与伤害或剥削未成年人相关的内容。儿童虐待行为违背人类的基本道德和伦理原则，对儿童的身心健康造成极其严重的伤害，是社会绝对不能容忍的罪行。
  14. 性暴力 ：涉及非自愿、色情或暴力性请求的内容。性暴力行为严重侵犯了个人的人身权利和尊严，给受害者带来巨大的身心创伤，是法律和社会重点打击的犯罪行为。
  15. 人口贩卖 ：包括劳动剥削和贩卖人口计划。人口贩卖是一种严重的犯罪活动，它剥夺了受害者的人身自由，侵犯了其基本人权，给受害者及其家庭带来深重的灾难。
  16. AI 越狱攻击 ：试图绕过模型安全防护或过滤机制的提示。越狱攻击可能会使模型生成不符合安全规范的内容，从而被恶意利用，损害用户利益和社会安全。
  17. 自我伤害与自杀 ：推广或详细说明自我伤害或自杀方法的内容。这类内容具有极高的危险性，可能会对处于心理困境中的人群产生诱导作用，引发严重的后果。

通过涵盖如此广泛的危害类别，CircleGuardBench 确保了其评估结果能够全面反映模型在面对各种复杂安全威胁时的防护能力，为模型的安全应用提供了全方位的保障。

十、结语：开启 AI 安全防护新篇章

CircleGuardBench 的出现，无疑为 LLM 防护系统的能力评估开辟了一条全新的道路。在这个 AI 技术飞速发展、安全风险日益复杂的时期，它为我们提供了一个全面、深入且实用的工具，帮助我们更好地理解和提升 LLM 防护系统的性能。通过精准的指标测量、强大的功能特性以及灵活的配置选项，CircleGuardBench 正助力研究人员、开发者和企业共同构建一个更加安全、可靠的 AI 应用环境，让我们在享受 AI 带来的便利和创新的同时，能够有效防范潜在的安全风险，确保 AI 技术健康发展，更好地服务于人类社会的进步和福祉。让我们共同期待 CircleGuardBench 在未来的发展中带来更多惊喜和突破，为 AI 安全防护领域注入源源不断的动力。