从生成式问答到可校准决策：科研项目申报助手的分层架构与验证框架

摘要

目的：针对科研项目申报中规则核验、证据匹配与文本论证混合处理的问题，提出兼顾可追溯性、处理成本和人工责任的助手架构。方法：采用问题导向的叙述性文献分析与系统设计方法，结合检索增强生成、概率校准、选择性预测和模型级联研究，将申报流程分解为确定性计算、语义判断、复杂论证与人工确认，并设计相应的证据结构和对照评估。方案产出：形成以来源版本为基础、以缺项和冲突为显式状态、以任务风险决定自动处理范围的分层框架；提出同时报告误放行、误排除、自动处理覆盖率、引用支持度和总人工时间的验证方案。结论：科研申报自动化应优化可核查的决策链，而非仅优化文本生成。本文提出的是待验证的方法与实施方案，未开展新模型训练、真实申报对照试验或效率测量，不报告实测性能及获批率提升。

关键词：科研项目申报；决策模型；概率校准；检索增强生成；选择性预测；人机协同；证据追溯

一、问题提出：一份申请书包含多种不同的工作

科研申报的可见成果是一份申请书，其形成过程却包含多类性质不同的任务：辨认指南适用范围，核对申报主体与负责人条件，整理研究基础，寻找支持研究问题的文献，设计方法与预算，再按指定模板完成交付。将这些任务统一交给一个长提示词，容易使不确定的理解、精确计算与事实陈述混在同一段流畅文本中。

指令学习提高了语言模型遵循用户意图的能力，检索增强生成则为调用外部知识提供了方法基础。^[1][2] 但对申报系统而言，文本可读、资料可检索和资格可确认是不同终点。例如，能检索到一张资质证书，并不意味着证书仍有效；能生成一段研究基础，也不意味着其中的病例数量已经得到核实。

本文将研究问题限定为：在保持人工最终确认的条件下，怎样让每类任务由适合的计算机制承担，并用可重复的评估证明分层处理是否改善质量与效率？本文贡献在于面向申报场景的任务划分、证据状态设计及验证协议，不主张提出新的基础模型、概率校准算法或通用智能理论。

二、技术依据与证据边界

TypeSafe于2026年9月15日发布Jev，提出以RLCD训练结构化决策模型，并使用并行输出机制。^[3] 开发文档提供选择、评分和是非概率三类接口，强调将复杂问题拆成独立小问题，再由代码组合。^[4] 这一设计为高频语义判断提供了可研究的实现路线。

该厂商的“零幻觉”口径指结构匹配保证，并非零业务错误；速度与成本优势来自特定任务和运行条件。^[3] 其工作流评测采用其他模型的回答构造参考标签，因此与参考标签一致，不能直接等同于符合真实申报规则。^[6] 本文不将厂商性能数字作为子殷系统的预期指标，也未独立复现RLCD训练或Jev评测。

概率校准和允许模型拒答已有研究基础。Guo等讨论了神经网络概率与实际正确频率之间的偏差；Geifman与El-Yaniv研究通过降低预测覆盖率控制错误风险的选择性分类。^[7][8] FrugalGPT则为按任务组织不同模型、比较成本与质量提供了级联思路。^[9] 这些研究支持设计方向，具体收益仍取决于申报任务的数据、模型和工作流程。

本文的资料核对截至2026年9月16日，采用原始论文摘要、出版元数据及厂商公开文档，未开展系统综述或穷尽检索。文献中的实验结论只在其原任务范围内成立。以下架构、示例、表格和验证步骤属于本文的设计建议，均不代表子殷已完成的产品性能验证。

三、任务分解：让规则、判断与论证各司其职

本文建议设置四个协同层次。规则层处理有明确输入和运算定义的任务，包括日期比较、金额加总、比例计算及附件清单比对；语义决策层处理通知分类、材料归属和证据相关性；生成推理层处理研究问题论证、章节组织与方案比较；人工复核层确认存在歧义的条件、关键事实及最终版本。规则必须绑定具体指南及版本，而非写成跨项目通用的未经核对要求。

这种分工不等于让小模型批准、大模型兜底所有困难。一个预算错误可以由代码直接发现，一个证书缺失应转为补件，一个资料相互矛盾的问题需要查明来源。只有当任务需要新的语义理解或多因素推理时，才有理由升级模型。缺少证据时，增加推理次数不能补出真实事实。

具体任务接口应先定义允许的结果。例如材料分类可输出“指南、资质、成果、预算、其他、待确认”；条款核验可输出“满足、不满足、证据不足、来源冲突、不适用”。未知状态应作为正式结果保存，不能被转换成默认通过，也不能被一个综合高分抵消。表1给出各层的操作边界。

四、证据结构：从文件堆积到可追溯的判断单元

建议将最小证据单元设计为“原文片段＋定位＋版本＋用途”。指南记录发布主体、项目年度、适用范围、发布日期和更新关系；附件记录文件指纹、页码或段落位置、材料归属及有效期。扫描件经过识别后，关键数字、否定词和表格对应关系应能回到原页核查。系统保留原始文件，只在派生副本上整理与标注。

每条判断需要保存待回答的问题、使用的条款、候选证据、模型或规则版本、结果状态和复核记录。证据支持关系建议分成直接支持、间接相关、明确矛盾与不足四类。“没有检索到”只说明本次检索未命中；除非资料范围已被确认完整，否则不能据此断言材料不存在或条件不满足。

资料权威性须按事项确定：当年度通知及明确修订决定当次申报要求，往年通知用于比较变化；企业材料证明自身事实，外部论文说明领域研究，二者不能互相代替。不同来源发生冲突时，应展示冲突内容及时间关系，不能仅按文件上传时间选择答案。

生成阶段应继承这些证据关系。申请书中的病例数、专利状态、合作单位、前期结果等事实，必须指向被确认的材料；研究假设、拟开展工作和待补信息分别标识。FActScore将长文本拆成可核查事实进行评价，ALCE则将引用质量作为独立评价维度。^[10][11] 本文借鉴其问题划分，用于检查“有引用”和“引用真正支持主张”之间的差别。

五、决策与校准：高置信度何时可以触发自动处理

对于任务类别k，设p为模型对预定义结果的概率估计。概率校准关注大量同类样本中预测概率与实际结果是否匹配，例如预测某结果约0.8的样本群体，其实际发生比例是否接近0.8。这是群体层面的性质，并不保证某一个样本正确。TypeSafe的confidence字段由概率分布计算得到，因此不能直接把confidence＝0.9解释为该结论有90%的正确率。^[5][7]

本文建议将处理动作定义为规则约束下的成本敏感选择：a*＝argminₐ Σᵧ p(y｜x)Lₖ(a,y)。其中x为当前证据，y为真实状态，a为自动处理、升级或人工复核等动作，Lₖ表示该类任务中不同错误及复核的成本。该表达用于说明选择原则，不是本文提出的新算法；未知成本和概率都必须在开发阶段估计，不能随意指定后宣称最优。

实际系统还需要硬性条件：适用规则已确认，必要证据完整，来源没有未解决冲突，任务属于已验证范围。只有满足这些条件，且在独立校准数据上确定的阈值允许时，低风险分流才可自动执行。否决条件、资格结论、资金承诺与对外提交，应按既定责任流程处理，不能仅靠概率越过人工确认。

阈值应按任务分别设置。通知归类与资格排除的错误后果不同，不能共用一个“90%通过线”。新年度、新地区或新发布部门的材料进入后，应检查分布变化；未验证类型先转为待确认。多个条件来自同一份材料时，其错误可能相关，不宜将各条件概率直接相乘，作为整份申报合格的可靠概率。

六、流程示例：资料不全时，系统应当怎样继续工作

以下为虚构教学示例，与任何真实资助项目、机构或患者无关。设一项通知要求提交有效资质材料、近年相关成果和合作证明，并规定某预算科目的比例上限。系统收到通知、一个企业资料包和预算表后，先由人工确认抽取出的关键条款，再进入规则与语义处理。

规则层根据确认后的日期和金额计算有效期及比例；语义层将成果对应到研究方向，标记直接支持与仅主题相近的材料。若合作证明缺失，系统产生“待补合作证明”，并保留其对应条款；若成果文件中的数量存在两个版本，则生成冲突记录。两种情况都不应被写成“已具备完整合作基础”。

生成推理层可以继续完成不依赖缺失证明的内容，例如研究背景、待论证的技术路线和材料目录。依赖缺项的段落保留明确占位，并提示补齐后需要重算哪些判断。科研人员只需查看原文、相关证据与建议动作，不必从一整篇貌似完成的申请书中反向寻找不确定信息。

完成补件与复核后，系统按模板输出申请书、依据目录和未解决事项清单，并保存对应版本。导出成功只是技术交付状态；是否具备申报资格、是否提交及是否获批，属于不同的后续状态。这种区分有助于防止将软件完成度误报为业务完成度。

七、验证设计：先证明质量，再比较自动化收益

建议先建立覆盖通知分类、条款提取、材料匹配、条件核验、引用支持和完整交付的评估集。每个条目保留原始来源、适用年度及人工答案；资格类任务由两名熟悉申报规则的人员独立判断，分歧交由指定人员裁定。无法确定的样本保留歧义标签并单独报告，不强行制造唯一答案。测试集答案不得由待测模型自行生成。

数据划分应以完整通知及其项目资料包为单位，再检查模板家族、近重复文本和跨年度沿用条款。不能把同一通知的相邻段落分别放入开发集和测试集。开发集用于设计任务与提示，校准集用于选择阈值，冻结测试集仅用于最终评估；随后增加后续年度或新发布部门的外部验证。阈值调整后，不再把已查看的测试集称为未见数据。

表2建议四组比较。各组使用相同原始资料、可获取的证据范围和交付模板，并记录模型版本、提示、检索配置及工具权限。人工评阅时隐藏组别，随机呈现文稿顺序。为区分流程收益与模型收益，应优先在相同生成模型下比较分解前后，再替换语义决策模型；不同模型组合的结果单独报告。

主要安全终点建议预先指定为资格核验误放行率，同时报告自动处理覆盖率及置信区间；为避免系统通过全部转人工获得表面安全，还应报告总人工时间和误排除率。单位项目成本、端到端延迟的中位数与高分位数、引用支持度作为补充指标。若任务样本不足，不应作细分人群或部门的可靠性承诺。

消融比较可以移除概率校准、移除语义分流或移除证据核验，分别观察覆盖率、风险与工作量变化。此类移除只在冻结资料的离线评估中进行，不改变真实申报流程。样本量应根据先导样本的事件率、希望排除的误差上限和比较目的确定；本文不预设一个适用于所有任务的固定例数。

八、评价指标：避免被平均准确率和单次延迟误导

自动处理的选择性风险可定义为R＝自动处理样本中的错误数／自动处理样本数，覆盖率定义为C＝自动处理样本数／全部符合评估范围的样本数。没有自动处理样本时，R应记为不可估计，不能记为0。比较系统时应展示不同阈值下的风险—覆盖率关系，或在相近风险水平下比较覆盖率。^[8]

资格核验还需区分两类条件错误：误放行率以真实不满足条件的样本为分母，误排除率以真实满足条件的样本为分母。它们不能与“所有自动处理结果中有多少错误”混用。类别不均衡时，仅报告总体准确率可能掩盖稀少但重要的错误，故应同时给出计数、混淆矩阵与分层结果。

对概率输出，建议报告可靠性图，并使用Brier分数等适当指标观察概率误差；ECE可作辅助，但需说明分箱方法与样本量。模型返回的任意评分不得未经映射与验证就作为事件概率。对完整申请书，则分别评价关键事实正确性、应引用主张的支持覆盖、引用与主张的一致性及未解决事项的显式保留。^[7][10][11]

总成本应包含文件识别、检索、所有模型调用、重试、人工复核和返工。总耗时从资料进入到可审阅交付计量，同时单列人工实际操作时间与等待时间。比较预算应保持可比，并报告失败和超时；只统计成功调用的毫秒数，无法说明申报人员是否真正减负。对于同一项目内相关的多条判断，应按项目聚类估计不确定性，避免把大量段落误当成独立样本。

九、面向子殷的实施路径：从一项申报做通完整工作台

本文建议先选择一份公开指南与一套经授权的演示资料，贯通“导入—条件清单—材料对应—章节初稿—专业复核—版本导出”。首轮目标是让每条关键判断能回到来源、每个缺项能找到责任环节、每次修订能保存依据。完成候选流程后，再扩展到不同类型指南及资料不全、相互冲突和超时失败的情况。

第一批适合引入决策模型的功能，是通知归类、附件分拣和证据候选排序。可先比较确定性规则、可本地部署的分类或语义模型与现有大模型；统一问题与输出接口，避免业务流程绑定单一厂商。是否引入Jev，应另行核对访问条件、部署方式及实测收益；本文未确认其可供医院离线部署，也不把它列为必需依赖。

研发推进宜经过离线比较、影子运行和限定自动处理三个阶段。影子运行中模型只产生建议，原业务流程继续执行；复核人员的实际选择用于分析差异。达到事先确定的风险要求后，才扩大低风险任务的自动范围。验证未通过时保留原模式，并根据错误来源修正任务定义、资料质量或模型选择。

医院场景可采用本地资料库、本地检索与模型服务；公开指南的更新可通过受控导入完成。申报助手默认不需要读取患者原始影像，研究基础优先使用经授权的汇总数据和可共享成果。本文只提出部署边界，不宣称现有产品已经满足某项认证、临床用途或外部审批要求。

十、讨论与局限：自动化不能替代研究质量

分层架构的潜在收益来自减少不必要的生成、明确未知状态并缩短复核路径，但同时增加了接口、规则维护与版本管理的工作。若实际瓶颈是资料缺失、合作尚未落实或研究设计不充分，模型调用变快可能几乎不改变总周期。因而不能预设分层方案在所有机构、所有申报类型中均优于成熟人工流程。

概率校准也不能消除分布变化与相关错误。多个模型可能共享训练偏差，复核模型也可能认可同一错误。研究必须保留人工参考、反例和独立测试，并关注对稀有条款、否定语句、扫描质量差及多版本冲突的表现。发生错误时，应能够区分识别、检索、规则理解、语义判断和生成表达的责任环节。

本研究没有真实申报试验、模型训练结果或获批率数据，因此不能声称提高申报成功率。获批还受到创新性、研究基础、评审偏好、名额和竞争环境影响，不宜作为早期软件验证的唯一终点。更合理的近期目标是减少无依据陈述、漏项与重复整理时间，并保持科研人员对研究问题和最终承诺的控制。

结论

科研申报助手可以围绕可核查的小判断组织智能：让代码处理明确规则，让语义模型处理分类与证据对应，让大模型承担复杂论证，让专业人员确认重要事实和最终版本。其有效性需要由来源追溯、条件错误、风险—覆盖率关系以及完整流程的人工成本共同证明。

本文提出的架构与验证框架，为子殷开展科研申报助手的候选开发提供了可检验起点。下一阶段应按冻结的任务定义与人工参考开展实测，公开适用范围及失败类型，再依据结果决定自动化边界。科研价值最终体现在研究质量与可信交付，而非生成文本的数量。