ICS35. 020 CCSL70 T/SAIAS 上海市人工智能行业协会团体标准 T/SAIAS0012024 神经网络分类模型鲁棒性测试方法 Test methods for robustness of neural network classification models 2024-08-31发布 2024-09-01实施 上海市人工智能行业协会 发布
T/SA1AS 001-2024 目次 前 1范围. 2规范性引用文件 3术语和定义... 4神经网络分类模型鲁棒性需考虑因素 4.1模型研发和训练阶段 4.2模型使用阶段 5测试方法 5.1概述.. 5.2基本原则.
5.3对抗攻击测试方法 5.4中毒攻击测试方法 5.5后门攻击测试方法.
5.6基本指标与测试报告.. 附录A（资料性）神经网络分类模型鲁棒性攻击/干扰方法 A.1对抗攻击方法 A.2中毒攻击方法 A.3后门攻击方法， 附录B（资料性）神经网络分类模型测试报告模板示例 参考文献. 13
T/SA1AS 001-2024 前言 本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起 草.
请注意本文件的某些内容可能涉及专利.
本文件的发布机构不承担识别专利的责任.
本文件由上海市人工智能行业协会提出并归口.
本文件起草单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海） 有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之 神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中 电金信数字科技集团有限公司、蚂蚊云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、 上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集 团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产 业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务 所、东方财富信息股份有限公司.
本文件主要起草人：彭莉、常永波、陈俊琰、刘项杨、崔世文、孟昌华、陈曦、张正敏、谢永康、 曹东、墨晶晶、白磊、吴庚、余佳、况文川、杨清、谢恽、谢军、张宇军、龙刚、林娇娇、魏丹、李晓 强、刘华、孔杰、高永志、何之栋、杜漫、牛红星、夏禹、刘津恺、堵炜炜、胡超、虞祝豪、王骏翔、 杨文恺、郭汉杰、蔡曼、旭东、刘志毅、张恺.
首期承诺执行单位：上海华东电信研究院、京东科技信息技术有限公司、蚂蚁智安安全技术（上海） 有限公司、上海市人工智能行业协会、上海市质量和标准化研究院、百度（中国）有限公司、上海传之 神科技有限公司、上海人工智能实验室、上海商汤智能科技有限公司、上海淇毓信息科技有限公司、中 电金信数字科技集团有限公司、蚂蚁云科技集团股份有限公司、中国电子科技集团公司第三十二研究所、 上海工程技术大学、上海大学、上海稀宇极智科技有限公司、上海笑聘网络科技有限公司、云从科技集 团股份有限公司、迪爱斯信息技术股份有限公司、上海仪电人工智能创新院有限公司、联通（上海）产 业互联网有限公司、中远海运科技股份有限公司、中国电信股份有限公司上海分公司、立信会计师事务 所、东方财富信息股份有限公司.
I1
T/SA1AS 001-2024 神经网络分类模型鲁棒性测试方法 1范围 本文件提出了神经网络分类模型鲁棒性需考虑的因素，并提供了神经网络分类模型鲁棒性测试方 法.
本文件适用于神经网络分类模型鲁棒性测试评估系统.
2规范性引用文件 下列文件中的内容通过文中的规范性引用面构成本文件必不可少的条款.
其中，注日期的引用文件， 仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括的修改单）适用于本 文件.
GB/T41867-2022信息技术人工智能术语 3术语和定义 GB/T41867-2022界定的以及下列术语和定义适用于本文件.
3.1 神经网络分类模型neuralnetwork classification model 向给定的神经网络输入数据，输出其所属的一个或多个类别的机器学习模型.
3.2 神经网络分类模型鲁棒性robustness of neural networkclassification model 神经网络分类模型在输入数据受到攻击或干扰等情况下保持其性能水平的特性，通常通过抵抗攻 击或干扰的成功率进行衡量.
3.3 对抗攻击adversarialattack 方式.
3.4 中毒攻击poisoning attack 通过向神经网络分类模型的训练数据投放特定设计的污染数据，从而影响神经网络分类模型判断 能力使得模型中毒的攻击方式.
3.5 后门攻击backdoor attack 在神经网络分类模型训练阶段通过某种方式对模型植入后门，从而导致模型将精心设计的含有后 门触发条件的样本识别成特定类型的攻击方式.
4神经网络分类模型鲁棒性需考虑因素
T/SA1AS 001-2024 4.1模型研发和训练阶段 为提升神经网络分类模型鲁棒性，在神经网络分类模型的研发和训练阶段，需考虑的因素包括且不 限于： a）选择适当的神经网络结构，提高抵御对抗攻击和中毒攻击的能力： b）各类异常数据检测方法，能检测并清除对抗样本、中毒样本、后门样本等恶意数据： c）进行针对对抗样本的对抗训练，用于提升模型对污染数据进行识别的鲁棒性： d）采用模型剪枝、后门检测等技术提升模型抵抗攻击的防御能力.
4.2模型使用阶段 为提升神经网络分类模型鲁棒性，在神经网络分类模型的使用阶段，可针对不同攻击/干扰，需考 虑的因素包括且不限于： a）具备防止对抗攻击通过构造针对性样本以达成诱使人工智能系统决策出错的能力： b）具备识别并防止中毒攻击通过向模型的训练数据集注入中毒样本以达成在调优过程中劣化模 型性能的能力： c）具备识别并防止后门攻击通过后门样本对人工智能系统进行攻击以达成定向操纵人工智能系 统的能力： d）具备识别并防止其他针对输入数据、模型本身的任何其他攻击/干扰而保持其性能的能力.
5测试方法 5.1概述 5.1.1通过对待测试神经网络分类模型发起攻击并观测模型抵抗攻击的能力来对神经网络分类模型进 行兽稀性测试.
5.1.2针对神经网络分类模型鲁棒性的攻击方式主要有对抗攻击、中毒攻击、后门攻击.
5.1.3通过模型抵抗攻击的成功率来衡量和量化模型鲁棒性指标，抗攻击成功率越高模型鲁棒性越 强，反之，则鲁棒性越.
5.2基本原则 神经网络分类模型鲁棒性测试方法的设计可遵循如下原则： a）方法的完备性.
测试过程宜尽可能覆盖对抗攻击测试、中毒攻击测试和后门攻击测试： b）数据的完备性.
攻击样本宜覆盖神经网络分类模型所能识别的样本类别，且每个类别的样 本分布宜均衡且分散.
5.3对抗攻击测试方法 5.3.1测试方法描述 5.3.1.1依据5.2的基本原则，选择能被正确分类的一组测试样本，向被选中的测试样本添加扰动/干 扰，生成对抗攻击样本.
注：添加扰动/干扰表示通过加入新信息，或删除、修改原数据达到生成新的样本的目的.
5.3.1.2使用攻击样本向神经网络分类模型发起攻击，观察神经网络分类模型对攻击样本分类结果是 否正确或结果受干扰程度，判断神经网络分类模型的抗对抗攻击的鲁棒性.
5.3.1.3若模型对攻击样本的分类结果正确，抗攻击成功，反之，则抗攻击失败.
2
