警惕AI“幻觉”成为诈骗“谣篮”
来源:中国银行保险报网、河南省保险学会作者:
创建时间:Fri Mar 07 00:00:00 CST 2025
DeepSeek热火朝天之际,不少网友却发现,一些“黑嘴”利用AI大模型散布虚假消息,致使不少投资者蒙受损失。
AI大模型何以成为虚假消息的“谣篮”?
一方面,AI大模型本身就存在“幻觉”,“AI幻觉”是指大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息。大模型出现幻觉,简而言之就是“胡说八道”,准确而言,是指模型生成的内容与现实世界事实或用户输入不一致的现象。
另一方面,AI大模型的出现也让不法分子有机可乘,他们借机展开“诈骗”黑产。一批账号“马甲”疯狂散布诸如“某公司入股DeepSeek”“某公司为DeepSeek提供技术服务”等谣言,“调教”误导AI大模型给出错误答案,将AI 作为其构建“信息陷阱”的嘴替。互联网散布的不实信息被AI大模型纳入语料后,大模型没有鉴别信息真伪的能力,将之生成的错误答案回馈给用户,用户如果不仔细加以甄别,很容易被误导。
AI本身的缺陷被别有用心的不法分子利用后,AI大模型被误导后容易沦为黑嘴的“嘴替”,几经升级后,这类虚假内容从刚开始的较易分辨已逐步“升级”到了真假难辨,特别是当谣言所涉及上市公司未主动澄清时,普通投资者几乎难以甄别信息的真伪。
对投资者而言,使用AI帮助投资是一种全新的尝试,但也应当注意,在使用AI获取信息和帮助时,本身就需要加以甄别。对于上市公司而言,加强对相关资讯的关注,及时辟谣帮助投资者辨别真伪,向“AI谣言”重拳出击,既是稳定公司股价的有力举措,也是提振投资者信心和信任的重要机会。对于监管而言,日新月异的投资环境呼唤更强大的监管机制和手段,“魔高一尺道高一丈”,利用好新出现的技术,莫让AI成为损害投资者利益的“谣篮”。