人工智能医疗器械注册产品设计开发检查要点
人工智能医疗器械注册产品设计开发检查要点举例
1.算法策划
算法开发策划阶段，应对算法需求、数据收集、算法设计、验证与确认、算法更新、风险管理、可追溯性分析等过程进行算法生命周期策划，输出《算法开发计划书》。
2.算法需求
算法需求分析以用户需求与风险为导向，结合产品的预期用途、使用场景、核心功能，综合分析法律、法规、规章、标准、用户、产品、功能、性能、接口、用户界面、网络安全、警示提示等需求，重点考虑数据收集、算法性能、使用限制等要求。输出《算法需求规范》。
3.数据收集
3.1数据入选、排除标准
在《算法需求规范》中明确算法数据入选、排除标准。
3.2数据来源及质控
数据收集应确保数据来源的合规性，数据质控的充分性、有效性、准确性。
3.3数据采集
数据采集需考虑采集设备、采集过程、数据脱敏等质控要求，并建立《数据采集操作规范》。
3.4数据整理
脱敏数据汇总形成原始数据库，不同模态的数据在原始数据库中需加以区分。数据整理基于原始数据库考虑数据清洗、数据预处理的质控要求。输出《数据整理规范》，同时《数据整理规范》中需明确样本类型、样本量、样品分布等信息，数据经整理后形成基础数据库。
3.5数据标注
3.5.1数据标注前应建立《数据标注操作规范》，明确标注资源管理、标注过程质控、标注质量评估等要求。数据经标注后形成标注数据库。
3.5.2数据标注可使用自动标注软件，但自动标注结果不得直接使用，应由标注人员审核后方可使用；同时，自动标注软件亦需明确名称、型号规格、完整版本、制造商、运行环境等信息，并进行软件确认。
3.6数据集构建
3.6.1基于标注数据库构建训练集、调优集、测试集，明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例，输出《数据集构建标准》。
3.6.2训练集应当保证样本分布具有均衡性，测试集、调优集应当保证样本分布符合临床实际情况，训练集、调优集、测试集的样本应当两两无交集并通过查重予以验证。
3.6.3为解决样本分布不满足预期的问题，可对训练集、调优集小样本量数据进行扩增，原则上不得对测试集进行数据扩增，对抗测试除外。数据扩增需明确扩增的对象、方式（离线、在线）、方法（如翻转、旋转、镜像、平移、缩放、滤波、生成对抗网络等）、倍数，扩增倍数过大应考虑数据偏倚的影响及风险。若采用生成对抗网络进行数据扩增，需明确算法基本信息以及算法选用依据。
3.6.4数据经扩增后形成扩增数据库，需列表对比扩增数据库与标注数据库在样本量、样本分布（注明扩增倍数）等差异，以证实扩增数据库样本量的充分性以及样本分布的合理性。
3.7数据库管理
3.7.1数据库管理应遵循真实性、完整性、可用性、合规性、可追溯性、临床代表性、时效性、安全性、准确性9大原则。
3.7.2应定期对逻辑数据库的数据以及文件数据进行备份，备份文件保存在不同机架的机器磁盘上以提高备份的安全性。
3.7.3在整个数据转移过程中，应当明确数据转移方法、数据防污染措施以及数据销毁方式。
4.算法设计
人工智能算法设计主要考虑算法选择、算法目标设定分析、算法训练、算法性能评估等要求，形成《算法设计说明书》。对于黑盒算法，算法设计应开展算法性能影响因素分析，同时与现有医学知识建立关联，以提升算法可解释性。
5.验证与确认
算法训练过程中，需要明确算法训练环境，应当对算法进行性能评估，以确保选择的算法准确、有效。算法验证阶段，明确算法性能评估环境，应完成算法性能指标评估、压力测试、对抗测试，黑盒需要算法性能影响因素分析，输出《算法性能评估报告》。
同时，开展算法性能比较分析，详述各类测试场景（含临床评价）算法性能变异度较大的原因，基于分析结果明确产品使用限制和必要警示提示信息，输出《算法性能比较分析报告》。
最后，结合算法训练、算法性能评估、临床评价等结果开展算法性能综合评价，针对训练样本量和测试样本量过少、测试结果明显低于算法设计目标、算法性能变异度过大等情况，对产品的适用范围、使用场景、核心功能进行必要限制。输出《算法性能综合评价报告》。
6.算法风险管理
人工智能医疗器械的软件安全性级别可基于产品的预期用途、使用场景、核心功能进行综合判定，并开展风险管理活动，采取有效的风险控制措施将风险降至可接受水平，并贯穿于人工智能医疗器械全生命周期过程。
人工智能医疗器械的主要风险从算法角度包括过拟合和欠拟合。从用途角度，辅助决策主要包括假阴性和假阳性，其中假阴性即漏诊，可能导致后续诊疗活动延误，特别是要考虑快速进展疾病的诊疗活动延误风险，而假阳性即误诊，可能导致后续不必要的诊疗活动；非辅助决策从算法设计目标能否得以实现角度，亦可参考辅助决策分为假阴性和假阳性。应输出《风险管理报告》，明确过拟合与欠拟合、假阴性与假阳性、数据扩增与数据偏倚等风险的控制措施。
7.算法可追溯性分析
医疗器械全生命周期管理中，应实现算法的可追溯性，并形成算法可追溯性分析报告等相关文件及记录，即追溯算法需求、算法设计、算法实现、算法验证与确认、风险管理、数据集的管理。
在数据收集过程中，数据采集、数据整理、数据标注、数据集构建过程中形成《数据脱敏交接记录》《数据清洗记录》《数据标注记录》《数据审核记录》《数据仲裁记录》《数据集构建记录》，以上记录均由操作人员签字确认。
数据集管理过程中，每一例数据都可追溯到唯一识别号、脱敏人员、清洗人员、标注人员、审核人员、仲裁人员、入库人员，保证了数据收集各环节的数据和操作人员的可追溯。
8.算法更新控制
人工智能医疗器械若发生算法更新、软件更新，均应当按照质量管理体系的要求，开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动，将风险管理、可追溯分析贯穿于更新全程，形成记录以供体系核查。
对于算法更新，无论算法驱动型更新还是数据驱动型更新，均应开展算法性能评估、临床评价等验证与确认活动，以保证算法更新的安全有效性。对于软件更新，具体要求详见医疗器械软件指导原则、医疗器械独立软件生产质量现场检查指导原则。
人工智能医疗器械所含的每个人工智能算法，均应独立开展需求分析、数据收集、算法设计、验证与确认、更新控制等活动，同时考虑人工智能算法组合的整体评价要求，以保证产品的安全有效性。
若有人工智能医疗器械注册咨询服务需求，欢迎您随时方便给我留言。
转载请注明：http://www.jinyawz.com/zflzy/11514.html
