开云(中国)Kaiyun官方网站 登录入口

这项由约翰斯·霍普金斯大学与法国巴黎理工学院电信学院聚拢开展的辩论，于2026年6月以预印本样貌发布，论文编号为arXiv:2606.05009。辩论聚焦于一个乍听之下颇为"法律感"的问题：当你把一部复杂的法律法则丢给AI，让它帮你算税、判断外侨履历、或者弄明晰航空公司的行李章程时，AI到底应该把整部法则"塞进脑袋"一次性读完，如故应该像一个真实的讼师那样，随时翻查联系条规？两种策略的差距，远比你合计的要大得多。

一、一个练习却被忽视的贫瘠：法则太长，AI记不住枢纽的那一条

假定你是别称税务讼师，桌上摆着一份厚达数百页的好意思国联邦税法。你的客户阿丽斯问你：她2017年和丈夫共同汇报，年收入36,266好意思元，要缴几许税？

一个教悔老说念的讼师不会把整部税法从新背到尾，而是会径直翻到适用的条目——比如第1条（d）款对于已婚分袂汇报的税率表，再去查第63条对于应税收入的界说，终末用联想器算出谜底。这个"先找条目，再推理"的进程，正是东说念主类管制复杂法则体系的当然情势。

但是，现存的AI系统在管制这类问题时，走的却是一条迥然相异的路：把整部法则、案件事实和问题全部塞进一个超长的教导词，让模子在"连结"中完成总计职责。这种情势被辩论团队称为"径直推理"。问题在于，法则文本时常极其冗长且相互交叉援用，多数条目对于刻下具体问题绝不联系，模子很容易在海量文本中找不到真实枢纽的那几句话，就像你被要求在一座藏书楼里找一册特定的书，但不成目田行走，只可从进口一直走到出口，但愿书会"当然出当今你眼前"。

正因如斯，辩论团队冷漠了一套全新的框架，名为"步调性主动推理"（Deontic Agentic Reasoning，简称DAR）。中枢念念路很浅易：不再把法则文本塞进AI的"脑子"，而是把它放在一个文献夹里，让AI像真实的讼师一样，凭证需要随时去翻查。

二、两种迥然相异的职责情势：一次性阅读 vs. 按需查阅

辩论团队用一个直不雅的对比来评释两种情势的骨子区别。

在"径直推理"模式下，模子收到的是一个巨大的教导词，内部同期包含完好的法则文本、案件事实和问题，模子需要在一次推理中完成"阅读线路 + 逻辑推理 + 数值联想"的全部职责。这就好比让一个学生在闭卷考试中，凭记挂支吾一说念触及数百条法则的空洞题。

在DAR模式下，情况总计不同。法则文本被存放为一个安详的文献（statute.txt），模子只禁受案件事实和问题。当模子需要查阅某个条目时，它不错主动发出指示——比如用grep大喊搜索"§63"找到应税收入的界说，用sed大喊读取文献的特定行，或者用cat大喊放哨某一章节。每一次查阅的效果齐会被追加到模子的职责记挂中，供后续推理使用。当需要进行数值联想时，模子还不错径直运行Python代码，就像一个讼师在傍边开着联想器一样。

这种联想的骨子，是将"查阅法则"和"推理判断"这两个任务解耦。模子不再需要在一派汪洋的文本中碰命运，而是不错精确地、按需地提真金不怕火我方需要的信息。辩论团队模仿了"主动语料库交互"（Direct Corpus Interaction）的念念路——这一方法此前已在事实检索任务中被解说灵验，但在以"推理"为中枢的步调性任务中是否一样灵验，此前从未有东说念主系统考证过。

三、测试时势与参赛选手：四类任务，九款模子，三种比较框架

为了让推行论断迷漫真是，辩论团队聘用了DeonticBench这个挑升为步调性推理联想的评测基准，涵盖四类难度互异的任务。

第一类是SARA数值任务，要求模子凭证好意思国联邦税法联想具体的税款金额，评分圭臬是精确匹配的准确率，容不得半点邪恶。第二类是SARA二分类任务，要求模子判断某一法律看法是否成立，用宏平均F1值揣摸。第三类是航空行李计谋任务，要求模子凭证各航空公司的行李收费章程，判断特定情境下应收取的用度，一样以准确率计分。第四类是USCIS外侨行政任务，要求模子揣摸外侨上诉案件的最终效果，用宏平均F1值揣摸。

参与测试的模子共九款，横跨开源与闭源两大阵营。开源阵营包括来自阿里巴巴的Qwen3.5系列三款（参数目分袂为35B、122B、397B）、Qwen3-Coder-480B、Qwen3-235B，以及月之暗面的Kimi K2。闭源阵营则包括OpenAI的GPT-5.1和GPT-5.2（推理悉力进程设置为"无"），以及Anthropic的Claude Sonnet 4.5。

比较框架共三种：径直推理（基线）、Terminus-2（一个基础的末端型主动框架，让模子在沙箱环境中通过交互式末端操作文献）、以及Terminus-KIRA（在Terminus-2基础上矫正的增强版框架，挑升针对模子常见的几种失败模式进行了设置，包括提交不完好职责、在职务未完成时诞妄地阐明完成，以及在获取新信息后无法调换规画等问题）。

为了确保平允，每说念题有10分钟的时辰预算，超时、知道失败或框架运行诞妄的磨练均计为答错。

四、顶级模子的逆袭：框架加抓下，准确率最高飙升30个百分点

推行效果中最引东说念主注指标发现，来自三款闭源顶级模子在数值任务上的弘扬变化。

以GPT-5.2为例，在径直推理模式下，它在SARA数值任务上的准确率仅有30%。换上Terminus-2框架后，这一数字跳升至51%。而在Terminus-KIRA框架下，它进一步攀升到60%，整整翻了一倍。Claude Sonnet 4.5的轨迹一样令东说念主印象深刻：径直推理下36%，Terminus-KIRA下54%，涨幅接近20个百分点。GPT-5.1本人基础就较强（径直推理54%），在Terminus-KIRA下进一步升至69%。

航空行李任务则呈现出另一番情状。GPT-5.1在径直推理下依然弘扬出色（86%），框架加抓后依然保抓在86%到89%的高位，不错说近乎饱和。GPT-5.2则从径直推理下的2%（简直总计失败），在Terminus-KIRA下跃升至36%，这个涨幅简直是一丈差九尺。

在分类任务上，顶级模子的弘扬也合座呈高潮趋势。比如在SARA二分类任务中，Qwen3.5-397B（开源中最强的一款）在Terminus-KIRA下从78%普及到91%，Kimi K2从68%普及到89%，均创下各自的最高分。

辩论团队用"被误管的天才假说"来解释这一舒心：这些顶级模子其实具备迷漫的法则阅读才能，仅仅在一次性塞入多数文本的传统模式下，这种才能无法得到充分阐述。框架的作用，正是让它们能够以我方最擅长的情势职责——主动查阅，而非被迫禁受。

五、开源模子的坍塌：框架反而成了"加快诞妄"的催化剂

但是，一样的框架套在开源模子身上，效果简直总计相背。

Qwen3.5-35B在径直推理下的SARA数值准确率是34%，放进Terminus-2后降到23%，干涉Terminus-KIRA后更是跌至11%，比来源下跌了朝上20个百分点。Qwen3.5-122B的情况肖似：径直推理37%，Terminus-2下20%，Terminus-KIRA下仍然是20%，莫得任何改善。

航空行李任务更是一场灾祸。简直总计开源模子在径直推理下齐有一些非零的基础弘扬（比如Qwen3.5-35B有14%，Qwen3.5-122B有15%），但一朝干涉Terminus-2或Terminus-KIRA，准确率简直全部归零。Qwen3-Coder-480B、Qwen3-235B、Kimi K2在这两个框架下的航空任务准确率均为0或接近0。

为什么会这么？辩论团队给出的解释是：框架为模子提供了"多轮交互"的契机，但能否善用这个契机，取决于模子是否具备迷漫的判断力。对于顶级模子而言，多轮交互意味着能纠错、能精确检索；对于较弱的模子而言，多轮交互却变成了一种"信心放大器"——模子会在诞妄的推理旅途上越走越深，用更多的笔墨和更多的枢纽，坚决地得出并吞个诞妄谜底，而不是奢睿地实时叫停。

这一舒心在token耗尽数据上得到了直不雅印证。在Terminus-2框架下，Qwen3.5-122B平均每说念题耗尽40.1万个token，Qwen3-235B耗尽30.3万个。比较之下，GPT-5.1平均只要耗5.5万个，GPT-5.2耗尽3.1万个——开源模子的耗尽量是顶级闭源模子的4倍以上。用更多的联想，换来更差的谜底，这恰正是"框架放大才能"这一论点的最有劲佐证。

六、三款零碎框架与两种很是决议的测试

除了Terminus-2和Terminus-KIRA，辩论团队还补充测试了Claude Code和Codex CLI这两款框架，以及一种被称为"递归话语模子"（Recursive Language Models，简称RLM）的很是架构。

Claude Code的弘扬出乎预眼光过劲，尤其是对开源模子而言。在Qwen系列模子中，Claude Code在SARA数值任务上的弘扬，有三款模子齐是总计框架中最佳的（Qwen3.5-397B是例外，它在Terminus-KIRA下更强）。更枢纽的是，Claude Code是唯独能闪开源模子在航空行李任务上归附一定准确率的框架——Qwen3.5-35B、122B、397B、Coder-480B在Claude Code下的航空准确率分袂为8.8%、11.3%、10%、5%，固然依然偏低，但至少不是零。但是，即便如斯，径直推理仍然是好多弱模子在部分任务上的最强基线，Claude Code并莫得对总计情况齐带来普及。

Codex CLI的弘扬则比较泛泛。对大多数模子来说，它的SARA数值准确率低于其他可用框架，航空任务上开源模子一样接近归零。辩论团队将其解读为"Codex在数值任务上并莫得在基础模子之上增多太多结构"，行径上和径直推理差距不大。

递归话语模子的测试效果则有些出东说念主预眼光令东说念主失望。这种架构由一个"监督者"模子和一个"工东说念主"模子构成，两者不错是并吞个模子，通过最多10轮迭代、50次工东说念主调用来配合完成任务。测试效果走漏，RLM对简直总计模子的SARA数值和航空任务齐酿成了严重攀扯。以GPT-5.1为例，径直推理下航空准确率86%、Terminus-KIRA下89%，但在RLM下骤降至12.5%；SARA数值则从69%跌至11%。Qwen3-Coder-480B呈现出总计调换的崩溃模式。唯独弘扬相对矜重的是SARA二分类任务，GPT-5.1在RLM下的F1值（68.3%）与径直推理（70%）收支不大，Qwen3-Coder-480B甚而略有普及（从59.1%升至69.7%）。

七、诞妄分析：超时是真实的元凶，而非模子本人

辩论团队对总计失败案例进行了详尽的分类统计，将诞妄分为三种：超时（模子在10分钟内未能给出谜底）、运行时诞妄（框架自身出现故障）妥协析失败（模子输出神色不顺应要求）。

统计效果揭示了一个意念念的法则：闭源顶级模子在总计三个框架下的空洞诞妄率唯有0.7%，简直莫得运行时诞妄或知道失败，仅有少量数超时发生在Terminus-KIRA框架下。比较之下，开源模子的空洞诞妄率高达12.1%，是闭源模子的约17倍。在这些诞妄中，超时占了绝大多数（10.6%），知道失败次之（1.5%），运行时诞妄简直不错忽略不计。

更值得见谅的是，诞妄率随框架复杂度的增多而显耀高潮。Terminus-2框架下，开源模子的诞妄率为3.6%；Codex CLI下升至11.8%；Terminus-KIRA下则飙升至27.8%。这意味着，框架越复杂、交互轮次越多，开源模子就越容易堕入无至极的轮回而超时。辩论团队的论断是：开源模子弘扬不褂讪的压根原因，是它们的推理速率较慢、生成文本较长，导致时常超出时辰为止，而非框架本人或模子架构的根人道弱势。

八、辩论的局限与将来的目的

辩论团队对自身职责的局限性保抓了充分的深入意志。

在领域上，刻下的DAR决议把整部法则存放为单一文献，依赖模子通过grep和sed等用具自行导航。对于DeonticBench中的法则而言，这是可行的，但濒临真实庞大的法则体系——比如完好的好意思国《国内税收法典》或多司法统辖区的空洞监管文献——即就是顶级模子也需要翻阅多数文献内容才能定位联系条目，耗尽极多的token。一个更具膨胀性的联想，应该将DAR与高效的检索系统勾搭起来，比如分层法则查找或学习型章节级检索，在主动推理开动之前就先提真金不怕火出联系法则集。

在隐蔽范围上，总计推行齐基于DeonticBench这一个基准，涵盖好意思国联邦税法、外侨行政和航空行李计谋三个领域。真实全国的步调性推理远不啻于此，辩论论断的普适性需要在更泛泛的法则推理基准上加以考证。

在框架联想上，辩论评测的四个框架齐是为通用主动任务联想的，并莫得针对法则推理进行挑升优化。一个挑升为步调性推理联想的框架——比如内置条目感知导航功能或自动交叉援用用具——可能会为弱模子带来迥然相异的效果。Meta-Harness这类通过外层搜索自动发现任务特定框架的元框架，简略是探索这一目的的一条可行旅途。

此外，推行中GPT-5.1和GPT-5.2的推理悉力进程被设置为"无"，更高的推理悉力设置可能会显耀变调顶级模子的弘扬，从而影响顶级与开源模子之间差距的大小。

归根结底，这项辩论告诉咱们的中枢信息，其实并不复杂：给AI一部法则让它"查阅"，比让它"背诵"更奢睿——但前提是这个AI本人迷漫奢睿，知说念奈何查、查什么、什么时间停驻来。对至今天最顶级的闭源模子，这套决议能带来真实可不雅的普及；对于才能稍弱的开源模子，一样的用具却可能避人耳目，让它们用更多时辰、更多算力，更自信地犯一样的诞妄。

这种"才能门槛效应"对总计规画在高风险领域（税务、法律、外侨）部署AI系统的从业者来说，齐是一个值得堤防对待的警示：用具增强了才能，但无法创造才能。不管是否配备了主动推理框架，刻下的话语模子在这些任务上的准确率依然远称不上不错相信，它们是辩论用具，而不是东说念主类专科东说念主士的替代品。

有敬爱敬爱深入探索这项辩论细节的读者，不错通过论文编号arXiv:2606.05009查阅完好原文。

Q&A

Q1：DAR（步调性主动推理）和传统的径直推理有什么区别？

A：传统径直推理是把整部法则文本和问题沿路塞进AI的教导词，让模子一次性完成总计职责。DAR则把法则存成安详文献，AI凭证需要随时用grep、sed等用具主动查阅联系条目，肖似于讼师翻查法则而非背诵整部法典。中枢区别在于：一个是被迫禁受多数文本，一个是主动按需检索特定信息。

Q2：为什么开源模子在DAR框架下反而弘扬更差？

A：开源模子才能相对有限，给它多轮交互的契机反而成了职守。它们不知说念何时停驻来，会在诞妄的推理旅途上越走越深，生成多数笔墨却得出一样的诞妄谜底。数据上看，开源模子在Terminus-2框架下每题平均耗尽30-40万token，是顶级模子的4倍以上，但准确率却更低，多数磨练因超出10分钟时限而径直计为答错。

Q3：DeonticBench测试的四类任务分袂是什么？

A：DeonticBench包含四类任务：一是SARA数值任务，凭证好意思国税法联想精确税款；二是SARA二分类任务，判断某法律看法是否成立；三是航空行李任务，判断特定场景下的行李收费；四是USCIS外侨任务，揣摸外侨上诉案件效果。前两类来自好意思国联邦税法开云(中国)Kaiyun官方网站 登录入口，后两类分袂来自航空公司计谋和外侨行政法则。