从模型精度到临床生产效率：医学三维AI的三级价值评价框架

摘要

目的：建立医学三维AI从算法性能走向实际交付的评价框架，使不同专科能够以可复核的方式回答“能不能做、值不值得做、能不能交付”。

方法：以完整任务为评价单元，提出技术可行性、生产效率与临床可交付性三个相互衔接的层级。区分纯人工流程工时、AI处理耗时、AI辅助流程人工占用及端到端交付时间；以工程师人工工作负荷降低率作为主要效率指标，配合病例覆盖率、人工接管率、质量通过情况与返工记录。

适用场景：以肺叶肺段重建、跟骨骨折复位和双下肢测量作为拟开展验证的三个专科场景，统一记录口径，保留各专科的技术标准与质量边界。

结论：模型精度是必要基础，人工节省量需要经过完整流程核算，临床可交付性则需要逐例审核。本文为方法论与研究设计文章，未提供按统一口径完成的病例对照结果；所有算例均为教学示例。

关键词：医学三维；人工智能；医工协同；工作负荷；工作流评价；临床交付

一 为什么精度提升未必转化为工作效率

一个模型可以在测试集上获得较高的分割重叠度，却仍然需要工程师花大量时间整理输入、修补细小结构、纠正标签、处理几何关系和制作交付资料。如果这些工作没有减少，模型的技术进步就尚未充分转化为生产价值。

医学三维任务的评价对象应覆盖“输入影像到经审核输出”的完整过程。对于医院和工程团队，重要的问题包括：人是否更轻松地完成同等质量的任务，等待时间是否可接受，错误能否被发现，以及最终结果是否符合既定用途。

国际医学AI研究已经关注这一转化问题。DECIDE-AI面向早期现场临床评价，重视实际表现、安全与人因；CLAIM 2024强调医学影像AI研究的透明性与可复核性。^[1][2]因此，不能把行业概括为“只看精度”。本文希望进一步把这些原则转化为医学三维生产中可以逐例记录、跨专科对齐的工作口径。

本文评价的是AI辅助工程工作流。工程效率、可交付性和患者结局属于不同层面的证据：少用了一些人工时间，并不自动证明手术效果改善或患者获益增加。

二 三级评价采用逐层约束

第一层技术可行性回答能不能做，检查模型是否完成预定任务，以及对关键结构、边界和异常输入是否可靠。第二层生产效率回答值不值得做，检查相同任务质量要求下的人力占用与交付周期。第三层临床可交付性回答能不能交出去，检查最终结果、责任审核和输出对应关系。

三个层级不能简单相加成为一个总分。严重结构错误、错侧、错标或关键审核缺失，不能用速度优势抵消。技术门槛与交付门槛应根据专科用途预先确定；通过这些约束后，效率比较才有解释意义。

这里的“临床可交付”描述拟建立的流程目标，不代表文中研发模块已经取得正式临床使用资格。研究阶段可模拟这一交付链并进行医生研究性评价；实际临床使用仍须符合相应用途、产品范围和医院流程。

三 时间核算要把人和机器分开

以同一任务起点和终点建立两条可比路径：起点为收到可处理的影像或约定输入，终点为形成通过规定审核的交付物。若跟骨复位模块以已分割骨块为输入，应单独报告这一子任务，并另列上游分割工时，不能将局部复位时间与纯人工完整建模时间比较。

人工时间以“人分钟”记录。多人同时参与时，各人的实际占用分别累计；同一工程师在同一时间处理多个病例时不能重复记账。必要监看、无法离岗的等待计入人工占用；可以转做其他工作的机器运行等待不计入人工占用。

纯人工基线M包括数据准备、建模或规划、测量整理、工程质控、返工及输出。AI辅助后人工占用H包括准备与启动、必要监看、人工修订、工程质控、失败回退与输出。医生审核时间在两条路径中均单列，并同时检查团队总人工时间，避免把工程负担转移给医生却宣称整体提效。

AI处理时间A按约定的机器任务起止记录，排队、重复运行分别标记；端到端交付时间D按实际任务开始到最终完成的时钟时间计算。由于并行和排队存在，D不能简单用H与A相加替代。

四 核心效率指标与算例

单病例净节省人工时间：ΔH = M − H。单病例工程师人工工作负荷降低率：R = (M − H) ÷ M × 100%，其中M必须大于0。若H大于M，R为负值，应原样报告，说明该例AI辅助流程反而增加了人工负担。

H应按不重叠的活动类别计算：H = 准备与启动 + 必要监看 + 人工修订 + 工程质控 + 失败回退或返工 + 整理输出。人工修订时间只是H的一部分，不能直接当作AI辅助后的全部人工时间。

教学示例，非子殷实测：假设同等交付质量下，纯人工基线为60人分钟；AI辅助流程中，准备2分钟、必要监看0分钟、修订8分钟、工程质控3分钟、输出1分钟，失败返工0分钟，则H为14人分钟，净节省46人分钟，人工工作负荷降低率为76.7%。

假设该例另有10分钟AI运行时间，这10分钟应列入机器耗时与实际交付周期的分析，不能直接作为10分钟人工占用。若14分钟只记录了修订，而漏掉审核、准备和返工，上述76.7%的结论便不成立。示例也不证明患者结局改善或任何专科已达到该水平。

批次主要汇总指标为R批次 = (ΣM − ΣH) ÷ ΣM × 100%。应同时报告各病例降低率的中位数、分布、负节省病例及不确定性；按专科和模型版本分别统计。仅在两条路径工时完整且终点可比时纳入该配对估计；缺失、未完成和失败病例的数量、原因及已耗人工必须另报，不能默认为零或静默剔除。

五 覆盖率与接管率必须带上分母

只展示成功病例，会高估系统的真实作用。评价应先确定目标任务、连续入组范围、输入准入标准和统计单位，并把未尝试AI、输入拒绝、运行失败与人工回退都保留在流程记录中。

本文将病例级AI覆盖率定义为：生成符合预先规定的最低完整性要求、可供人工编辑的AI初稿病例数，除以评价期预先纳入的目标任务病例总数。应同时报告符合输入准入标准的病例数、实际尝试AI的病例数，以及尝试后的初稿生成成功率，解释覆盖不足发生在哪一步。

本文将病例级人工接管率定义为：已尝试AI后，因失败或质量不足而需要从头人工重做预先界定的核心任务的病例数，除以实际尝试AI的病例数。常规人工审核和局部修订不等于全量接管，但其工时必须计入H；重要子任务被接管时应另外记录。接管判定以任务清单为依据，不按修改次数临时决定。

覆盖率和接管率既不是互补指标，也不能单独用于奖励低接管。及时识别不适用病例并接管可能是正确行为。应结合最终质量、漏检与返工判断；任何比率均报告分子、分母及不确定性。

如果还需要任务级自动覆盖率，应先冻结需要完成的任务清单，明确每一项的完成标准。病例级与任务级结果分开呈现，不能把肺段数、骨块数和患者数混作同一种分母。

六 将临床可交付性落实到固定流程

固定路径为：AI出初稿 → 工程师修订 → 质控审核 → 临床交付。临床相关方案须由具备相应职责的医生确认；确认发生在医院规定的交付或使用节点，未确认内容不得作为已批准临床方案使用。

AI负责生成可编辑、可回溯的候选结果并提示异常。工程师结合原始影像检查结构、标签、几何与测量，保存修订版本。质控人员依据专科检查表核对完整性、对应关系、关键指标及输出文件。审核未通过则退回修订或转人工处理，保留失败和返工记录。

每次交付应能够追溯到输入、模型与软件版本、AI初稿、人工修订、审核意见及最终输出。病例身份与左右侧对应、关键结构遗漏、标签错误、无法解释的几何异常、结果与报告不一致，应进入明确的阻断规则。

交付评价至少记录首次送审通过率、最终质量通过率、关键错误、返工、报告与模型一致性，以及临床接收或退回原因。即使观察期没有发现关键错误，也应报告观察范围与样本量，不能宣称风险为零。

科研、演示和正式临床使用分别标识。原始医疗数据按既定授权只读处理，公开报告使用去标识化汇总。修订数据进入训练前须核对用途授权并质控，模型更新后重新测试，避免评价病例进入训练后再被计作独立测试。

七 在三个专科中使用同一套记录口径

肺叶肺段、跟骨复位、双下肢测量具有不同的解剖目标与错误模式，因此需要不同的技术评价对象。三者可以共用任务起止、人工计时、机器计时、回退和审核字段，但不能共用一个未经论证的精度阈值。

肺叶肺段重建应特别关注结构命名、支气管与血管对应、分支连通性及遗漏，并记录工程师在原始CT与三维模型之间复核的时间。外观平滑并不等同于解剖关系正确。

跟骨复位应区分骨块识别、初始分割与复位候选三个环节，记录骨块调整、局部接触检查和医生方案评价。鼠标操作次数能帮助定位交互负担，但不能换算成人工分钟，也不能单独证明复位质量。

双下肢测量应固定坐标、参考平面、解剖标志点与测量规则，记录纠正点位、检查角度和修订报告的时间。分割结果较好，并不自动意味着机械轴或角度测量正确。

上述内容是针对既有研发场景提出的验证安排，不构成三模块已经完成统一计时验证的结果报告。后续只有在病例级记录齐备、终点一致并完成统计后，才发布专科效率估计。

八 从现有记录走向可复核研究

第一步是冻结评价方案。各专科先约定任务边界、质量标准、主要终点、接管定义和版本；再确定连续病例纳入方式、人工基线来源、操作者经验分层及缺失数据处理。样本量依据预期差异、变异、研究设计与精度要求计算，不以展示病例数量替代。

第二步是建立公平比较。优先考虑随机分配或顺序平衡的配对任务研究，并通过独立操作者、适当间隔或其他设计控制同一病例重复操作的记忆效应。纯人工路径也应使用当地常规工具与既定审核，不能故意降低基线效率。

若采用实施前后的观察性比较，应说明病例难度、影像质量、操作者经验和工作负荷的差异，并明确残余混杂。回忆估算的基线与前瞻性计时必须分开，不能混为同等强度证据。

第三步是保留全流程记录。最小字段包括去标识病例编码、专科与任务范围、输入质量、软硬件版本、操作者角色与经验、各活动起止、AI运行与重跑、接管原因、审核结果、返工及最终状态。历史记录若只有“调整125次”或某次运行耗时，只能用于相应描述，不能补推为完整人工节省量。

第四步是同时分析效率与质量。按病例难度、数据来源、操作者与版本分层，报告样本量、效应估计及置信区间；同一患者的多结构或同一操作者的重复任务不应一概视作彼此独立。质量不劣于既有流程的界值与判定方式须预设，未完成相应分析前，不宣称“质量不下降”。

第五步是以失败样本指导迭代。高修订时间说明算法或交互需要改进；高回退率可能提示适用范围过宽；审核时间增加则要查清输出是否更难理解。所有修订进入受控版本更新，原始结果与失败证据保留。

九 用于研发会议的共同问题

这套框架可以形成研发、工程和临床团队共同使用的会议口径：模型完成了什么任务，在哪些病例上失败；今天究竟减少了多少工程师工作，是否增加医生负担；最终交付是否通过审核，哪些问题尚未闭合。

每次版本评审同时展示技术表现、完整人工工时、机器耗时、覆盖与接管、质量结果和缺失记录。展示“节省多少人分钟”时，应能返回到对应的计时和审核记录，解释分母与比较基线。

先完成可编辑、可审核、可追溯的工作流，再用数据提高自动化程度。“先上岗再提效”在这里指进入受控的工程评价流程，不意味着研发模块可以未经批准进入临床。工程师与医生的反馈由此成为确定下一次研发重点的依据。

“值不值得做”最终还涉及算力、许可、维护、培训与质量成本。人工负荷降低率用于衡量人力效率，不单独代表投资回报；当成本数据齐备后，可以另行开展单位合格交付成本的评价。

十 局限性与结论

本框架尚未通过前瞻性、多中心数据检验。不同专科的复杂度、操作者学习曲线和参考标准会影响结果，人工基线也可能随工具升级而变化。修订工时需要可靠计时，覆盖与接管定义需要在实际执行中保持一致；跨专科汇总时必须同时保留各专科结果。

临床可交付性是一项流程与质量判断，并不等同于临床有效性已经得到证明。患者获益、方案合理性和相关临床结局，需要与具体用途匹配的独立研究支持。

子殷提出这套评价框架，是为了把AI研发目标落实到可以检验的工作结果：技术上完成任务，生产上减少有效人工占用，交付上保留审核和责任。我们希望用真实病例与连续记录回答同一个问题——这个模型，今天到底替工程师完成了多少工作，并以怎样的质量交到临床。

把模型精度转化为临床可感知的效率价值，应当成为医学三维AI研发的一项持续评价目标。