查看: 894|回复: 2
收起左侧

[IT业界] 太简单!工程师仅花82元就能污染AI信息源:伪造自己是游戏世界冠军

[复制链接]
anyangmo
发表于 2026-5-4 18:49:19 | 显示全部楼层 |阅读模式
太简单!工程师仅花82元就能污染AI信息源:伪造自己是游戏世界冠军

快科技5月4日消息,用搜索引擎找答案,你能看到多个竞争信息源,自己判断真伪。但带联网搜索的AI聊天机器人,会把网上不靠谱的内容,包装成笃定的标准答案。

一位安全工程师的简单实验,就把AI的这个致命漏洞扒得明明白白。

实验的发起者,是安全工程师RonStoner。他选中的目标,是德国经典卡牌桌游《6Nimmt!》。这款游戏在国内被玩家熟知为《谁是牛头王》,英文译名叫《Take5》,本身根本没有官方世界冠军赛,更不存在2025年的世界冠军得主。

2月份,Stoner悄悄编辑了这款游戏的维基百科条目,把自己写成了该游戏的2025年世界冠军。

他还花12美元,也就是约82元人民币,注册了和游戏名高度相似的6nimmt.com域名,在网站里放了一篇庆祝自己夺冠的假新闻稿,当成维基百科条目的唯一引用来源。

就是这么一个简陋到极致的骗局,却轻松骗过了多款主流AI聊天机器人。当他向这些带联网搜索功能的AI,询问自己的“冠军身份”时,所有机器人都一本正经地给出了确认答案,笃定地宣称他就是这款桌游的现任世界冠军。

“我的网站没有任何独立佐证,全是虚构的。”Stoner在博客中直言,“整个谎言的根基,不过是我喝咖啡时花82块钱注册的一个域名。”

这次攻击针对的,不是常见的提示词注入,而是AI系统的检索增强生成(RAG)层,也就是AI回答问题前,联网搜索并抓取资料的核心环节。

AI不会甄别信息来源的真伪与权威性,只会抓取检索排名靠前的内容。他的假网站是这个“冠军头衔”的唯一信息来源,再加上维基百科的权威背书,轻松就让AI把谎言包装成了事实。

Stoner坦言,这个手法没有任何技术创新。只是把老套的SEO和虚假信息手段,套上了大语言模型的新外壳。真正危险的是,AI会把这些结果当成权威信息呈现,而绝大多数用户根本不知道背后的信息处理流程。

这场实验,还暴露了AI系统的三层致命安全隐患。

第一层是即时检索层,靠联网搜索生成答案的AI,可信度完全绑定搜索结果的质量。

第二层是模型训练语料库,他的维基百科编辑从2月一直存活到上周五,这段时间里爬取维基百科的AI公司,很可能已将假信息纳入训练数据,就算条目事后删除,模型里的虚假痕迹也很难清除。

第三层也是最危险的,是AI代{过}{滤}理。聊天模型输出错误信息只是声誉问题,拥有工具权限的AI代{过}{滤}理被误导后,产生的错误操作就是实打实的安全问题,攻击者可直接操控代{过}{滤}理执行恶意行为。

整个实验,Stoner只花了82块钱、一次维基百科编辑,前后20分钟就完成了。他提醒,若是有组织的恶意攻击者,批量注册域名、发起协同编辑攻击,攻击面会以极快的速度扩大。他呼吁AI厂商必须重视信息来源溯源,建立对应的风险过滤机制。

如今,假冠军的信息已经从维基百科和AI检索结果中消失。但AI对网络信息的盲目信任,这个底层漏洞依然真实存在。这才是悬在整个AI行业头上,最需要警惕的隐患。






hanber3000
发表于 2026-5-5 01:01:58 | 显示全部楼层
ai的治理已经刻不容缓
anyangmo
 楼主| 发表于 2026-5-5 09:16:00 | 显示全部楼层
hanber3000 发表于 2026-5-5 01:01
ai的治理已经刻不容缓

AI需要训练(填充知识块),而貌似正确的答案一旦被AI收录,便会是个大坑.......
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

手机版|杀毒软件|软件论坛| 卡饭论坛

Copyright © KaFan  KaFan.cn All Rights Reserved.

Powered by Discuz! X3.4( 沪ICP备2020031077号-2 ) GMT+8, 2026-10-31 16:27 , Processed in 0.052069 second(s), 4 queries , Redis On.

卡饭网所发布的一切软件、样本、工具、文章等仅限用于学习和研究,不得将上述内容用于商业或者其他非法用途,否则产生的一切后果自负,本站信息来自网络,版权争议问题与本站无关,您必须在下载后的24小时之内从您的电脑中彻底删除上述信息,如有问题请通过邮件与我们联系。

快速回复 客服 返回顶部 返回列表