T/SIA 038-2024 人工智能企业能力评估规范.pdf

ICS 35.020 T/ SIA 1653 中国软件行业协会团体标准 T/SIA 038-2024 人工智能企业能力评估规范 Specifications for capability assessment of artificial intelligence enterprises 2024-6-15发布 2024-6-15实施 中国软件行业协会发布
目录 前言. 引言. 人工智能企业能力评估规范， 1范围.... 2规范性引用文件， 3术语和定义.... 3.1人工智能. 3.2精确率. 3.3召回率， 3. 4 F1 值 3.5混淆矩阵. 3.6 ROC 曲线 3.7 AUC值 3.8交叉损失.. 3.9鲁棒性.... 3.10软件项目管理能力评估， 4人工智能企业能力评估要素 5人工智能企业能力评估模型. 5.1企业基础.... 5.1.1稳定性 5.1.2人员规模 5.1.3服务链， 6 5.2技术创新能力， 5.2.1研发投入 5.2.2研发人员. 5.2.3研发成果 5.2.4行业认可 5.3项目管理与质量管理能力 5.3.1项目级管理能力 6 5.3.2组织级管理能力 5.3.3质量管理能力， 5.4财务与信用状况， 5.4.1收入情况， 5.4.2成长性 5.4.3信用状况 5.5产品技术能力.. 5.5.1人工智能企业通用产品能力 5.5.2人工智能企业个性产品能力 6评价标准等级划分... 7人工智能企业能力评估模型应用场景.
T/S1A038- 2024 人工智能企业能力评估规范 前言 本标准由中国软件行业协会提出并归口.

本标准起草单位：北京软件和信息服务业协会、上海市软件行业协会、重庆市软件行业 协会、山西软件行业协会、吉林省软件行业协会、辽宁省软件行业协会、山东省软件行业协 会、福建省软件行业协会、浙江省软件行业协会、河南省软件服务业协会、湖南省软件行业 协会、江苏省软件行业协会、安徽省软件行业协会、广东软件行业协会、广西软件行业协会、 海南省软件行业协会、四川省软件行业协会、贵州省信息技术服务业协会、云南省软件行业 协会、深圳市软件行业协会、大连软件行业协会、厦门市软件行业协会、中国软件行业协会 项目管理专业委员会.

本标准起草人：陈宝国、龙飞、姚宝敬、刘谦、赵原、吕彦伟、吴开宇、李倩、刘灿军、 范为民、王小号、陈云贺、于洋、喻晖、夏冰莹、董先权、吕晖、林明广、邓月琴、邓小华、 杨兵、李巡生、郑飞、秦健、吴戈、黄曼、孙志信、鹿麟、张劲明、张然.

T/SIA038- 2024 人工智能企业能力评估规范 引言 人工智能是当前全球最受关注的新兴科技.

近年来，以生成式人工智能为代表的新一代 人工智能技术加速创新发展，进入成果爆发期，不断催生新场景、新业态、新模式、新市场， 告提出，深化大数据、人工智能等研发应用，开展“人工智能”行动，打造具有国际竞争 力的数字产业集群，以加快发展新质生产力.

人工智能（AI）以其强大的计算能力、自动化 迈进.

为顺应人工智能领域的发展趋势及市场需求，维护市场秩序，加强行业自律，促进人工 智能企业能力的不断进步，增强人工智能企业的技术创新及深化拓展能力，规范人工智能领 域的产品质量与服务，特制订本标准.

本标准结合人工智能领域的发展趋势和企业的发展实践，对人工智能企业的基本能力、 技术创新能力、项目管理及质量管理能力、财务与信用状况、产品技术能力五个方面的要素 提出了要求.

本标准是由相关软件行业协会、企业、评估机构基于市场和行业发展需要而共同制定， 有利于发挥行业自律和示范作用，促进人工智能企业的健康、可持续发展.

T/SIA038- 2024 人工智能企业能力评估规范 人工智能企业能力评估规范 1范围 正在开展人工智能业务的企业均适用于本标准，以对企业的整体水平及开展人工智能业 务的能力进行客观评价.

本标准可作为第三方机构的评估、认证依据.

2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.

其中，注日期 的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括 的修改单）适用于本文件.

GB/T22900-2009科学技术研究项目评价通则 GB/T40147-2021《科技评估通则》 GB/T40148-2021《科技评估基本术语》 GB/T11457-2006信息技术软件工程术语 3术语和定义 3.1人工智能Artificial Intelligence 人工智能是一门研究如何使计算机以及机器模拟、延伸和扩展人的智能行为的学科.

它 涉及计算机科学、认知科学、暂学、神经科学、心理学、数学、语言学等多个领域.

人工智 能的核心目标是创造能够理解环境、学习新知识、解决间题、作出决策，并以类似于或超越 人类智能的方式进行有效沟通的智能体.

3.2精确率Precision 精确率（Precision）是一种衡量分类模型或信息检索系统性能的指标，它专注于所检 索或预测为正例的样本中真正为正例的比例.

3.3召回率Recall 在机器学习和统计学中，特别是在评估分类模型性能时，是一个重要指标.

它衡量的是 模型识别出的真正正类占实际正类的比例.

3.4 F1值 F1-score F1值是评估分类模型性能的一个重要指标，尤其适用于那些关注精确率和召回率平衡的 场景.

它是精确率和召回率的调和平均数.

3.5混淆矩阵Confusion Matrix 混淆矩阵又称为误差矩阵，是一种用于评估和可视化分类模型性能的标准工具，特别是 在监督学习任务中.

它以表格的形式呈现，用来总结分类器预测结果与实际类别标记之间的 对应关系.

混淆矩阵的大小通常是n行n列，其中n代表类别的数量.

3.6 ROC曲线 Receiver Operating Characteristic Curve ROC曲线是一种在二分类模型中评估其性能的图形表示方法.

ROC曲线通过绘制真阳性率 （True Positive Rate，TPR）对假阳性率（False Positive Rate，FPR）的图形，展现了 分类器在不同阅值设置下的敏感性和特异性平衡.

3.7 AUC值 Area Under the Curve