ICS35.080 CCS L77 T/SAITA 团体标准 T/SAITA001—2023 自然语言处理系统测评规范 Specification for natural language processing system test and evaluation 2023-12-18发布 2023-12-20实施 上海市人工智能技术协会发布 T/SAITA001—2023 目 次 前言 III 引言 1范围.... 1 2规范性引用文件. 3术语和定义 1 4符号和缩略语..... 5自然语言处理系统的基本框架 6自然语言处理系统测评指标 3 6.1概述.. 3 6.2功能有效性........ 4 6.3性能. 6 6.4兼容性.... 6 6.5可维护性...... 6 6.6可迁移性.......... 6 6.7数据集的质量.. 2 6.8对抗性样本的影响..... 7 6.9鲁棒性.. 7 6.10可解释性.. 7 6.11安全性.... 8 7自然语言处理系统测评流程 8 7.1确定系统质量目标. 8 7.2构建测试数据集. 9 7.3构建测试环境. 9 7.4选择测试指标..... 9 7.5开展测试活动.... 9 7.6统计、汇总并分析测试结果， 9 8自然语言处理系统测试方法 9 8.1准备测试数据集.... 9 8.2功能有效性. 9 8.3性能. ..10 8.4兼容性....... ...10 8.5可维护性.... 8.6可迁移性. ..........11 8.7数据集的质量....... ..11 8.8对抗性样本的影响... ....12 8.9鲁棒性.. ..12 8.10可解释性.. ..13 8.11安全性. ......13 附录A(规范性)自然语言处理系统功能有效性评估指标计算方法.............15 I T/SA1TA001—2023 A.1自然语言理解功能有效性评估指标计算方法15 A.2自然语言生成功能有效性评估指标计算方法 ..16 附录B(资料性)数据集 附录C(资料性)自然语言处理系统评价指南22 参考文献23 II ...
T/SAITA 001-2023 自然语言处理系统测评规范.pdf
