CISO的噩梦:影子AI

影子IT,即员工使用未授权IT工具的现象,在职场中已经存在了几十年。现在,随着生成式AI的野蛮生长,CISO开始意识到,他们正面临比影子IT更加可怕的内部威胁:影子AI。

对于企业来说,员工使用的影子AI(尤其是生成式AI)虽然可带来生产力的大幅提升,但由于生成式AI自身正面临提示注入等多种攻击,很可能给企业带来数据泄露、内容安全等新兴威胁。

此外,国内外的大语言模型正在大量IT系统中飞速普及,很多与应用程序集成的大语言模型可以访问外部资源(例如从其它网站检索内容),并且可能通过API调用与其他应用程序进行交互,摄入不受信任的、甚至恶意的输入,后者可用于操纵输出结果。因此,如果企业员工使用未经安全评估、审核的生成式AI工具,很有可能给企业带来意想不到的灾难性后果。

影子AI已成头号难题

根据Gartner的报告,2022年82%的数据泄露是“员工不安全或疏忽行为造成的”,而影子AI正在加速放大这种“人为因素”产生的威胁。

根据The Conference Board的一项调查,56%的北美企业员工在工作中使用生成式AI,但只有26%的企业制定了明确的生成式AI使用政策。在没有制订AI政策的企业中,使用影子AI的员工中只有40%向主管如实汇报。

很多公司都在尝试限制或规范员工在工作中使用生成式AI的行为。但是,在提高生产力的“第一性”需求刺激下,多达30%的员工在没有IT部门的许可,不计后果地使用生成式AI,也就是所谓的影子AI。

影子AI的治理难题

根据Gartner的报告,三分之一的成功网络攻击来自影子IT,给企业造成数百万美元的损失。此外,91%的IT专业人员表示在压力迫使下牺牲安全性来加快业务运营,83%的IT团队认为不可能强制执行(完全清除影子IT的)网络安全策略。

Gartner指出,尽管市场上有无数管控影子IT的安全解决方案(让员工更难访问未经批准的工具和平台),但去年仍有超过30%的员工报告使用了未经授权的通信和协作工具。

如今,影子AI的治理也面临同样的难题。

为了对付如雨后春笋且无处不在的影子AI,企业IT和安全主管可以实施一些经过验证的策略,找出未经授权的生成式AI工具,并在它们开始产生威胁之前将其拒之门外。CISO可以考虑采取的六大应对措施如下:

  • 发现。找出企业内未授权使用的生成式AI工具(尤其是研发和营销部门)。
  • 风险评估。对发现的影子IT和影子AI进行风险评估,确定它们可能带来的风险。
  • 意识培训。对员工进行生成式AI的专项安全意识培训,宣贯生成式AI的潜在风险以及合规性和安全性的重要性。
  • 制订生成式AI使用指南和规范,明确哪些技术和工具是被允许的,以及使用范围和方式。
  • 持续监控并定期审核评估企业中包括生成式AI在内的新技术和应用。
  • 优化与改进。不断改进预防和治理策略,以减少未来出现影子AI的可能性。

参考链接:

https://www.conference-board.org/press/us-workers-and-generative-ai

前一篇收藏系列 | 19天安全意识小提示
后一篇周刊 | 网安大事回顾(2023.10.23—2023.10.29)