近日， 全球知名咨询机构Forrester发布了《生成式人工智能安全报告》，报告详细介绍了最有可能采用生成式人工智能的部门、其主要用例、威胁，以及随着这项新兴技术成为主流，安全和风险团队需要防御的重点方向，本文将摘取安全和风险部分做分享。
随着基于大语言模型的生成式人工智能的企业和消费应用快速发展，其安全风险已经开始快速累积。我国不久前刚刚颁布的《生成式人工智能服务管理暂行办法》明确规定了生成式人工智能服务不得侵犯个人隐私、知识产权、商业机密或捏造有害虚假信息。但是由于生成式人工智能技术已经快速渗透到各种产品、服务和技术中，业务用例不断增长，相关内容安全和网络安全违规事件势必将呈现爆发式增长。Salesforce最近对500多名IT主管进行的调查显示，尽管大多数人(67%)在未来18个月内优先考虑在其业务中使用生成式AI，但几乎所有IT主管都承认需要采取额外措施来解决安全问题。报告显示，大多数企业都计划购买（而不是开发）生成式人工智能，许多企业准备在业务应用中集成该功能（服务）。这意味着安全主管们需要未雨绸缪，投入时间了解不同业务的生成式人工智能用例及其相关风险。因为不同企业和业务领域的生成式人工智能用例存在很大差异，引入的安全风险也存在迥然不同。根据Forrester的《生成式人工智能安全报告》，在企业应用市场最热门的七大生成式人工智能用例及其相关的安全风险是：一、营销：文本生成器允许营销人员立即生成营销活动的草稿。Forrester表示，这会带来数据泄露和竞争情报威胁。大语言模型营销应用的风险还包括内容发布前监督和治理流程不善导致的公共关系/客户问题。二、设计：Forrester指出，图像生成工具激发了设计师的灵感，大大提高创意模型的制作效率，但这同时也引入了模型中毒、数据篡改和数据完整性威胁。需要考虑的风险包括数据完整性问题和生成内容的潜在版权/知识产权问题。三、IT：程序员使用大型语言模型(LLM)来查找代码中的错误并自动生成文档。Forrester表示，这会带来数据泄露、数据泄露和数据完整性威胁，而生成的文档可能会泄露公司重要系统机密信息。四、开发人员：TuringBots能帮助开发人员编写原型代码并实现复杂的软件系统。但Forrester认为，这会带来代码安全、数据篡改、勒索软件和IP盗窃问题。潜在风险包括不遵循SDLC安全实践的不安全代码、违反知识产权许可要求的代码，或生成AI被黑客入侵以勒索生产系统。五、数据科学家：数据科学家可以利用生成式人工智能生产和共享模型训练数据，优点之一是不会侵犯个人隐私。但这引入了数据中毒、数据反混淆和对抗性机器学习威胁。对手可利用逆向工程分析合成数据生成模型，识别其所使用的源数据。六、销售：生成式人工智能可帮助销售团队产生想法，或者使用包容性语言创建新内容。但这同时这会带来数据篡改、数据泄露和法规遵从性威胁。销售团队用AI生成和分发内容时可能会背离联系人的偏好。七、运营：企业可在内部运营中使用生成式人工智能来提升自动化和智能化水平。但这也引入了数据篡改、数据完整性和员工体验威胁。Forrester指出，风险在于，决策使用的数据可能会被篡改，从而导致错误的结论和执行。虽然Forrester列出的七大最热门生成式AI业务用例（及风险）都集中在企业内部业务功能，但Forrester也敦促企业安全领导者不要忽视供应商和第三方风险因素：“鉴于大多数组织都会将生成式人工智能集成到已部署的产品和服务中，安全领导者的当务之急是管理第三方风险管理，因为除了微软和谷歌外，大多数解决方案中的生成式AI来自第三方供应商。这些第三方AI服务的风险管理需要根据以上不同业务用例具体分析。来源：GoUpSec(https://www.forrester.com/report/securing-generative-ai/RES179497）