AI医疗器械注册不能只准备一份“算法性能报告”。一套能够相互印证的申报证据,通常至少包括:产品定义与分类依据、软件研究资料、数据研究资料、算法研究资料、风险管理与产品技术要求、网络安全资料(适用时)、临床评价资料,以及版本和变更控制资料。核心不是材料数量,而是证明“产品声称—数据基础—算法性能—软件实现—临床证据—风险控制”在同一预期用途和使用场景下保持一致。
不一定。判断起点仍然是产品的预期用途、处理对象、核心功能和输出结果,而不是技术名称中是否出现“人工智能”“大模型”或“机器学习”。
按照《人工智能医用软件产品分类界定指导原则》,人工智能医用软件的管理属性应基于预期用途,结合处理对象和核心功能综合判定。若软件处理医疗器械数据,核心功能是对这些数据进行处理、测量、模型计算或分析,并用于医疗用途,可能作为医疗器械管理;不满足相应条件的产品,则不能仅因采用AI技术就直接按医疗器械申报。
在准备注册资料前,企业至少应先稳定以下内容:
• 产品解决什么临床问题;
• 输入数据来自哪里、属于什么类型;
• 算法执行什么处理;
• 输出是测量值、提示信息、辅助诊断建议,还是治疗相关建议;
• 谁使用产品,在哪种环境下使用;
• 输出是否直接参与临床决策;
• 产品有哪些明确限制和禁用场景。
如果这些问题尚未明确,软件边界、管理类别、临床评价路径和算法验证范围都会反复变化。
需要特别区分
“含有AI功能”是技术事实,“是否属于医疗器械、按第几类管理”是监管判断。分类界定需要结合预期用途、算法成熟度及现行分类目录、分类界定文件综合判断,不能把某一种算法或某一个应用名称直接等同于固定类别。
建议从七个相互关联的模块规划,而不是由算法、软件、临床团队分别形成互不相干的报告。
资料模块 | 主要回答的问题 | 常见输出 |
产品定义与分类 | 产品是什么、用于什么、如何管理 | 预期用途、结构组成、工作原理、分类依据、注册单元 |
软件研究 | 软件是否按受控过程完成并经过验证 | 软件研究报告、版本命名、架构、需求与测试、缺陷评估 |
数据研究 | 数据能否支持算法开发和性能确认 | 数据来源、分布、质控、标注、样本量、数据集划分 |
算法研究 | 算法是否达到预期性能并具有稳健性 | 算法基本信息、性能评估、压力测试、偏差分析 |
安全与风险 | 错误输出、失效和误用如何被控制 | 风险管理报告、产品技术要求、说明书警示与限制 |
网络安全 | 数据和产品是否免受未授权活动影响 | 网络安全研究报告、验证资料、更新与应急响应方案 |
临床评价 | 产品在拟申报用途下是否安全、有效 | 临床评价资料;必要时包括临床试验资料 |
这些资料的关键术语应保持一致。例如,说明书声称适用于多中心、多设备、多种人群,数据和算法性能研究就应覆盖相应范围;如果研究只支持特定设备或特定人群,就需要收窄产品声称,或者补充证据。
AI算法最终要通过软件实现。即使模型性能较好,如果软件需求、接口、运行环境、错误处理或版本控制存在问题,产品仍可能不能稳定实现预期用途。
根据《医疗器械软件注册审查指导原则(2022年修订版)》,申请人应结合软件类型、安全性级别和产品特点准备相应的软件研究资料。常见内容包括:
• 软件标识、发布版本和完整版本;
• 软件功能、使用限制和运行环境;
• 软件架构、模块和接口关系;
• 软件需求规范与需求分析;
• 软件生存周期过程;
• 软件验证与确认;
• 软件可追溯性分析;
• 剩余缺陷及其风险评价;
• 现成软件、外部软件环境和互操作性研究(适用时);
• 软件更新和版本控制策略。
企业不应只提交一次最终测试。审评更关心的是:需求如何转化为设计,设计如何落实到软件,测试是否覆盖关键需求和风险控制措施,以及发现的缺陷是否经过评价和处置。
软件资料中最容易遗漏的三项
第一,算法版本与软件版本的对应关系。如果同一个软件版本中替换了模型、训练参数或推理框架,需要能够追溯这项变化。
第二,异常场景。除正常输入外,还应考虑输入缺失、图像质量不足、设备不兼容、数据格式错误、计算超时、服务中断等情况。
第三,用户界面和人工确认机制。AI输出如何呈现、能否被误解、医生能否识别低置信度或不可分析结果,都可能影响产品风险。
数据是AI医疗器械性能形成和确认的基础。数据研究通常需要说明数据的来源、采集、治理、标注、分布、质量和用途,并证明数据能够代表拟申报产品的目标人群与使用场景。
建议至少回答以下问题:
1. 数据从哪里来?
说明数据来源机构、时间范围、地域、设备或试剂平台、采集条件、纳入排除标准以及数据获取的合规性。多中心并不自动等于代表性充分,还要分析各中心数据分布和临床差异。
2. 数据如何被处理?
说明清洗、脱敏、去重、格式转换、质量控制和异常值处理规则。若排除了大量低质量或困难样本,应分析产品上市后遇到这些样本时的风险。
3. 数据如何被标注?
说明标注人员资质、标注流程、标注标准、复核和争议解决机制,以及参考标准的确定依据。对于主观性较强的任务,还应关注标注者间一致性。
4. 数据是否具有代表性?
结合适用范围分析年龄、性别、疾病类型、疾病严重程度、并发情况、设备型号、采集参数和医疗机构层级等分布。并非每项都必须机械分层,但所有可能影响性能的因素都应被识别和论证。
5. 数据集是否相互独立?
训练集、调优集和测试集应按研究目的合理划分,并防止同一受试者、同源样本或高度相关数据跨数据集造成信息泄漏。独立测试集应当用于客观确认最终算法性能,而不是在反复调参后继续充当测试数据。
实务提醒
样本量大不能自动弥补数据偏倚。如果目标人群覆盖多种设备、病种或临床场景,而研究数据集中在单一中心、单一设备或典型病例,整体准确率很高也可能无法支持完整的产品声称。
算法研究应围绕预期用途说明算法如何工作、采用什么数据开发、如何确定性能指标,以及在目标场景下有哪些已知限制。
常见资料包括:
• 算法名称、类型、结构及版本;
• 输入、输出和预处理、后处理过程;
• 训练目标、损失函数及关键参数的确定依据;
• 训练、调优和测试过程;
• 性能指标及其临床意义;
• 与参考标准或对照方法的比较;
• 重复性、再现性和稳健性研究;
• 亚组性能和偏差分析;
• 压力测试、异常输入和最差情形分析;
• 算法性能限制、失效模式和风险控制;
• 若采用迁移学习、预训练模型或外部模型,相应来源和适用性说明。
性能指标应与任务匹配。分类任务可能关注灵敏度、特异度、受试者工作特征曲线等;检测或分割任务可能需要不同的评价方法;定量输出还可能关注误差、重复性和一致性。不能只选择一个看起来较高的指标,也不能脱离临床后果设定合格标准。
为什么必须做亚组和困难样本分析?
总体结果可能掩盖特定人群或设备上的性能下降。例如,不同年龄、病变程度、设备型号、图像质量和采集条件可能影响算法表现。企业应基于风险识别重要影响因素,进行分层统计或专项验证,并将无法覆盖的范围转化为说明书限制、警示或输入质量控制。
“可解释性”是否等于必须公开模型全部代码?
不是。注册资料关注的是申请人能否说明算法基本原理、输入输出关系、性能影响因素、已知局限、风险控制和验证结果。具体披露深度应结合算法类型、产品风险、临床用途和指导原则要求确定,而不是简单理解为公开全部源代码。
如果产品具备电子数据交换、远程访问与控制或用户访问等相关功能,应评估《医疗器械网络安全注册审查指导原则(2022年修订版)》的适用性,并根据产品特性和风险程度准备资料。
常见关注点包括:
• 网络与数据接口;
• 用户身份鉴别和权限控制;
• 数据保密性、完整性和可得性;
• 日志、备份、恢复和业务连续性;
• 漏洞识别、风险评估和验证;
• 现成软件和第三方组件风险;
• 远程维护与升级;
• 网络安全更新和事件应急响应。
网络安全不能只在申报前做一次渗透测试。其证据应与软件架构、数据流、风险管理、维护方式和上市后更新机制相衔接。AI医疗器械仍应按照医疗器械临床评价的一般逻辑,结合产品预期用途、风险程度、算法成熟度、现有临床数据和专属性要求确定证据路径。
临床评价需要回答的重点不是“算法能否算对”,而是产品在拟申报的临床流程中能否安全、有效地实现医疗用途。实验室条件下的算法性能验证,不能在所有情况下替代临床评价;但产品使用AI技术,也不意味着当然需要开展临床试验。
判断时可重点考虑:
• 算法输出是否直接影响诊断或治疗决策;
• 目标人群和使用场景是否明确;
• 算法性能研究能否覆盖真实临床数据分布;
• 是否存在充分、可靠且相关的现有临床数据;
• 人机交互和临床工作流是否带来新的风险;
• 错误输出可能造成什么临床后果;
• 是否仍有只能通过临床使用回答的关键问题。
如果现有证据不能充分证明产品在拟申报适用范围内的安全性、临床性能和有效性,就需要考虑产生新的临床数据;是否采用临床试验及其设计,应直接对应尚未解决的证据缺口。
注册申报需要对应一个明确、受控的软件和算法版本。企业应保存算法、数据、软件、产品技术要求和说明书之间的版本对应关系。
产品上市后发生以下变化时,应评估其对安全性和有效性的影响:
• 更换模型架构或基础模型;
• 增加或重构训练数据;
• 调整输入、输出或阈值;
• 扩展病种、人群、设备或使用场景;
• 改变预处理或后处理规则;
• 替换关键第三方软件组件;
• 改变部署环境或网络连接方式。
变化不应只由技术团队按“功能是否可用”判断。企业需要结合现行变更注册和质量体系要求,评估变化是否影响产品安全、有效,是否需要补充验证、临床评价、备案、报告或办理变更注册。
对于能够在使用过程中持续学习、自动改变性能的设计,还需要特别关注产品边界、更新机制和风险可控性。不能把尚未验证的新模型直接视为原注册版本的自然延伸。
□ 已明确产品预期用途、目标人群、使用者和使用场景;
□ 已明确输入数据、核心算法功能和输出结果;
□ 已完成医疗器械属性、管理类别和注册单元初判;
□ 已确定软件安全性级别及其理由;
□ 已建立软件需求、风险、设计和测试的追溯关系;
□ 已明确算法版本与软件版本的对应关系;
□ 已形成训练集、调优集和测试集的划分规则;
□ 已排查受试者或同源数据跨数据集泄漏;
□ 已说明数据来源、质控、标注和代表性;
□ 已确定与产品任务匹配的算法性能指标;
□ 已识别关键亚组、困难样本和最差情形;
□ 已将算法局限转化为风险控制或说明书限制;
□ 已评估网络安全指导原则的适用性;
□ 已确定临床评价路径并识别证据缺口;
□ 已规划算法、软件和数据的变更控制机制;
□ 已核对适用的产品专属性指导原则和标准。1. AI医疗器械注册最核心的是算法准确率吗?
不是。算法性能很重要,但注册证据还需要覆盖预期用途、软件质量、数据代表性、风险控制、临床评价和版本管理。一个准确率较高但适用范围不清、测试集存在泄漏或无法控制错误输出风险的算法,仍不能形成充分证据。
2. 训练数据越多,注册通过率就越高吗?
不一定。数据量需要与任务复杂度、目标人群、性能指标和统计设计相匹配。审评关注数据是否具有代表性、质量是否可控、标注是否可靠、数据集是否独立,以及样本量是否有合理依据。
3. 使用公开数据集可以支持注册吗?
公开数据可以用于研发或作为部分研究数据,但需要评价其来源、质量、标签、授权、目标人群相关性和与实际使用场景的一致性。仅在公开数据集上取得良好结果,通常不足以自动支持完整的产品声称。
4. 使用大模型或第三方预训练模型,需要准备什么?
除说明产品层面的输入、输出、用途和性能外,还应关注模型来源、版本、训练或微调方式、第三方依赖、已知限制、数据与知识更新、输出稳定性、异常输出以及变更控制。具体资料深度取决于该模型在实现医疗用途中的作用和风险。
5. AI产品是否都要开展多中心临床试验?
不是。是否需要临床试验以及是否采用多中心设计,应基于临床证据缺口、目标人群、产品风险和研究目的判断。多中心可以帮助评价不同机构和数据来源下的适用性,但不能替代合理的研究设计和数据质量控制。
6. 算法优化后,只要准确率提高就不需要办理变更吗?
不能这样判断。算法架构、训练数据、阈值、输入输出或适用范围的变化,都可能影响产品安全性和有效性。应按变更控制程序评估变化影响,并结合现行法规判断是否需要补充研究或办理相应注册事项。
AI医疗器械注册资料的主线,不是把“软件报告、算法报告、数据报告、临床报告”分别写完,而是让它们共同支持一个清晰且稳定的产品定义。
企业越早统一预期用途、数据边界、算法性能、软件版本、风险控制和临床证据,越容易在研发过程中发现真正的证据缺口,减少申报前补数据、改声称和重复验证。具体产品仍应结合现行法规、分类结果、专属性指导原则和完整技术资料进行个案判断。
AI医疗器械注册路径与证据规划
德大医学可结合产品预期用途、数据来源、算法功能、软件架构和目标注册路径,协助企业开展产品属性与分类初判、注册证据框架设计、数据及算法研究资料差距分析、软件与网络安全资料规划、临床评价路径评估,以及版本和变更控制策略梳理。具体工作范围和结论需根据产品资料及现行监管要求确定。