案例说 | 中国信通院开展安全大模型能力评估工作

同时，由于业内网络安全大模型产品形态各异，技术能力参差不齐，缺乏安全基线要求，且网络安全大模型应用场景及能力评价指标仍未形成一致性的定义。为进一步规范网络安全大模型的设计、开发与应用，由中国信息通信研究院（简称“中国信通院”）人工智能研究所牵头，联合行业多家单位研制并发布了《安全大模型能力要求与评估方法 第1部分：总体框架》《安全大模型能力要求与评估方法 第2部分：基础网络安全》技术规范。第一个规范文件是总册，第二个是基础网络安全评测分册，该标准规范对网络安全大模型的相关术语和定义、技术框架、各类安全应用场景，以及数据增强、训练推理、任务微调、工具协同等关键技术能力，提出相应的能力要求及评估方法。

为了评估业界安全大模型产品的功能、性能及安全性，为安全大模型的开发方提供产品的改进方向、提升市场竞争力，为安全大模型使用方提供选型依据，并促进安全大模型产业的成熟度，中国信通院人工智能研究所依托中国人工智能产业发展联盟（AIIA），发挥产业协同能力及专业的评估能力优势，启动了首轮“安全大模型基础网络安全能力”评估工作，评估依据为《安全大模型能力要求与评估方法 第2部分：基础网络安全》中的通用安全能力和安全原子能力。通用安全能力包括安全问答、安全语言翻译、安全数据处理、安全任务编排、安全工具调用、安全告警研判、安全报告生成、大模型内生安全等通用能力。安全原子能力包括了安全大模型可具备的基础网络安全能力、数据安全能力、内容安全能力和业务安全能力。首轮共测试了华为、启明星辰、奇安信、绿盟、360、联通、上海斗象共7家企业的安全大模型产品。后续我们将持续开展相关评估工作，与有意向的企业启动相关业务合作。

业务联系人

静静

15810821574（同微信）

jingjing@caict.ac.cn

校  审 | 谨  言、珊  珊

编  辑 | 凌  霄

推荐阅读