利用大模型幻觉的新型网络钓鱼：AI幻觉域名抢注攻击

大语言模型（LLM）正在以一种意想不到的方式成为网络钓鱼攻击的新媒介。

如今，越来越多的用户将大模型作为搜索引擎使用，但对其安全问题毫无戒备。Netcraft的安全研究人员发现，当用户询问某个品牌的官网地址时，市场上流行的人工智能模型经常将用户引向错误甚至恶意的（钓鱼）网址。

AI幻觉：网络犯罪的“完美风暴”

Netcraft的研究人员向一个流行的大语言模型询问了一系列知名品牌的网页地址。结果令人震惊：模型给出的网页链接中，高达34%并非品牌方所拥有。更糟糕的是，其中一个链接直接导向了一个活跃的钓鱼网站。

例如，当研究人员要求AI提供富国银行（Wells Fargo）的登录页面时，AI搜索引擎Perplexity推荐了一个托管在谷歌网站上的页面：

hxxps://sites[.]google[.]com/view/wells-fargologins/home。这个页面是一个高度逼真的克隆网站，专门用于窃取用户的登录凭证。Netcraft的研究人员指出，AI之所以会提供这个链接，仅仅是因为它“认为”这个地址是正确的。

这种现象被称为“AI幻觉”（SlashNext首席技术官JStephen Kowski将此形容为“网络犯罪分子的完美风暴”。他解释说：“当AI模型幻觉出指向未注册域名的URL时，攻击者只需抢先注册这些域名，然后坐等受害者自投罗网。” 

研究还发现，近30%的错误（幻觉）URL是尚未注册或处于非活动状态的域名。这为黑客提供了绝佳的机会，他们可以轻易地抢注这些域名，并建立起以假乱真的恶意网站，这种攻击手法也被称为“口误抢注”。

这相当于AI为未来的网络攻击预先绘制了一份精准的“受害者地图”。一个被AI推荐的恶意链接，可能危害成千上万名原本非常谨慎（但对AI缺乏必要安全意识）的用户。

问题根源：生成而非检索

为什么会发生这种情况？Darktrace公司的现场首席信息安全官Nicole Carignan一语道破了天机：“大型语言模型并非在检索信息，而是在生成信息。” 她指出，模型被设计的初衷是“乐于助人”，而非“确保准确”。当用户将AI的输出奉为事实时，就为大规模的漏洞利用打开了大门。

“除非AI的响应基于经过验证的数据，否则它们将继续发明URL，并常常带来危险的后果。”

研究表明，金融和金融科技行业的区域或小众品牌受影响最严重。与全球巨头相比，信用合作社、区域性银行和中型平台的面临的威胁更大，因为这些规模较小的品牌在大模型的训练数据中出现的频率较低，因此更容易被AI“幻觉”出错误的地址。

不仅仅是意外：AI训练管道中的蓄意投毒

更令人担忧的是，并非所有的幻觉URL都是无心之失。Netcraft在另一项研究中发现，黑客正通过在GitHub上散播恶意代码库来蓄意“毒化”AI系统。

研究人员发现，多个虚假的GitHub账户分享了一个名为“Moonshot-Volume-Bot”的项目。这些账户拥有丰富的个人简介、头像、社交媒体链接和看似可信的编码活动记录，其目的就是为了被AI的训练管道索引和学习。该项目包含一个伪造的Solana区块链API，能将用户的资金直接转移到攻击者的钱包中。

“用于AI训练管道的数据语料库被污染，凸显了日益增长的AI供应链风险，”Carignan评论道，“这已不再是简单的幻觉，而是有针对性的操纵。数据完整性、来源、清洗和验证对于确保大模型输出的安全至关重要。”

如何应对“幻觉域名”抢注攻击

面对这种新型威胁，一些看似可行的方案，例如提前注册所有可能被AI幻觉的域名，实际上是行不通的，因为URL的变体是无穷无尽的，大模型总能“创造”出新的组合。

虽然通过AI安全人员进行大模型持续监控，并在发现后及时清除等被动措施是必要的，但专家们呼吁采取更主动的防御策略。Noma Security公司首席技术官办公室的Gal Moyal建议，AI企业应建立“AI护栏”。他说：“AI护栏应该在推荐登录页面之前验证域名的所有权。你不能让模型去‘猜测’URL。每一个包含URL的请求都必须经过审查。”

与此同时，企业，尤其是知名品牌，也需要行动起来。Enterprise Strategy Group的高级分析师Melinda Marks建议：“公司应该通过与客户沟通，明确告知哪些URL是可信的官方渠道，以此来保护自己的声誉，并保障客户重要通信和安全交易的安全。”

总之，AI幻觉与域名抢注的结合，为网络钓鱼攻击提供了前所未有的规模和效率。要应对这一挑战，我们需要从根本上转变思路，推动AI从“乐于助人”向“经验证的准确”发展，并通过技术护栏和用户安全意识培训，共同构筑抵御新型AI威胁的防线。