近期，多地公安(an)机关发布(bu)了多起利用AI工具实施造谣的相关案件。6月20日，上海市公安(an)局城市轨道(dao)和公交总队官方微博@轨交幺幺零发布(bu)警情通报：两名(ming)营销人员为博取关注造谣地铁站(zhan)发生持刀伤人的情况，被警方依法处以行政拘留(liu)。其(qi)中一人，使(shi)用AI软件生成视频技(ji)术，编造了地铁行凶的虚假视频等不实信息(xi)发布(bu)到网上，造成恶劣社会影响。
记者采访了解到，便利的AI工具大大降低了造谣的成本，提升了谣言(yan)的数(shu)量级(ji)和传播力。AI造谣呈现出门槛低、批量化、识别难等特点，亟(ji)待加(jia)强监管，斩断背后利益链条。
AI造谣频发
记者梳理发现，近年(nian)来，AI造谣在全国(guo)多地频发，传播快、门槛低、迷惑性强。
去年(nian)，在上海一女童走失事(shi)件中，一团伙以“标题党”“震惊体”方式(shi)，恶意编造炒作“女孩父亲系继父”“女孩被带往温州”等系列谣言(yan)。该(gai)团伙利用AI工具等生成谣言(yan)内容，通过114个账号矩阵，在6天内发布(bu)268篇(pian)文(wen)章(zhang)，多篇(pian)文(wen)章(zhang)点击(ji)量超过100万(wan)次(ci)。
AI造谣门槛很(hen)低。一名(ming)办案人员透露(lu)，此前在调查(cha)一起谣言(yan)案件时发现，谣言(yan)源头来自中部某省份的一个村落。经调查(cha)，该(gai)村有大量村民(min)利用生成式(shi)AI撰写(xie)网络(luo)文(wen)章(zhang)。
“部分村民(min)通过口口相传获知，把搜索(suo)到的网络(luo)热点信息(xi)粘贴进(jin)AI模型后，可以生成新文(wen)章(zhang)；在一些互联网平台上发布(bu)，即可通过流量赚钱。不少村民(min)都自发从事(shi)该(gai)活动。”办案人员说。
迷惑性强，也是AI造谣的一大特点。
公安(an)部网安(an)局近期公布(bu)一起案例。2023年(nian)12月以来，一条“西安(an)市鄠邑区地下涌出热水”的信息(xi)频繁(fan)在网络(luo)上传播，出现如“地下出热水是因为发生了地震”“是因为地下热管道(dao)破裂”等谣言(yan)。经查(cha)，相关谣言(yan)是通过AI洗稿方式(shi)生成的。
记者发现，上述谣言(yan)采用类似新闻的行文(wen)，其(qi)中夹杂着(zhe)“据(ju)报道(dao)”“相关部门正对事(shi)故原因进(jin)行深入调查(cha)，并采取措施进(jin)行抢修”“提醒广大市民(min)在日常生活中要注意安(an)全”等内容。普通人难辨真(zhen)伪。
清华大学新闻与传播学院教授沈阳(yang)表(biao)示，AI的介入使(shi)得(de)信息(xi)的生成和传播速度大大加(jia)快，同时也增加(jia)了判断信息(xi)真(zhen)实性、准确(que)性的难度。AI工具从技(ji)术上降低了不法团伙造谣、传谣的门槛，大幅提升了谣言(yan)的数(shu)量级(ji)和传播力，可能促使(shi)网络(luo)谣言(yan)“定(ding)制化”生成、“精准化”传播、“智能化”扩(kuo)散。
清华大学新闻与传播学院新媒体研究中心今年(nian)4月发布(bu)的一份研究报告(gao)显(xian)示，近两年(nian)的AI谣言(yan)中，经济与企业(ye)类谣言(yan)占比最(zui)高(gao)，达43.71%；近一年(nian)来，经济与企业(ye)类AI谣言(yan)量增速高(gao)达99.91%，其(qi)中餐饮外卖、快递配送(song)等行业(ye)更是AI谣言(yan)重灾区。
流量牟利
记者发现，多起AI造谣事(shi)件背后，造谣者的动机主要源于获取互联网内容平台给予创作者的点击(ji)量、阅读量奖励，以及为电商平台经营引流等。
浙江(jiang)省绍兴市上虞区人民(min)法院2023年(nian)宣判的一起案件中，不法分子为吸粉引流，通过非法渠道(dao)购(gou)买AI视频生成软件，将网上搜集的热门话题，通过AI一键生成视频，并发至多个热门视频平台上牟利。
经审查(cha)发现，截(jie)至案发，不法分子发布(bu)的《浙江(jiang)工业(ye)园(yuan)现场大火浓烟滚滚，目(mu)击(ji)者称有爆炸(zha)声！》等20余条虚假造谣视频，涉及浙江(jiang)、湖(hu)南、上海、四川等多个省市，累计(ji)阅读观看量超过167万(wan)次(ci)。
记者调查(cha)发现，在自媒体平台上发布(bu)内容、博取流量已经成为一门生意。“图文(wen)创作，AI自动写(xie)文(wen)章(zhang)，单号轻松日产500+，可多号操作，小白轻松上手(shou)”“无需洗稿，AI一天100篇(pian)原创”之类的文(wen)章(zhang)在互联网上广为流传。
以一家大型互联网内容平台为例，发布(bu)内容基础千次(ci)的阅读单价为0.12元，但通过一系列系数(shu)相乘，可以让千次(ci)阅读收益提高(gao)10倍。这(zhe)意味着(zhe)如果一篇(pian)文(wen)章(zhang)阅读量达到100万(wan)次(ci)，创作者即能收益超过1000元。
一些人使(shi)用AI造谣的目(mu)的是为电商平台产品销售引流。今年(nian)2月，上海公安(an)机关发现，在一家电商平台上出现了某艺人“命运多舛(chuan)、含恨离世”等短视频，引发大量点赞(zan)和转发。
经查(cha)，该(gai)视频内容完全系伪造。视频发布(bu)者到案后交代，他在某电商平台上经营一家土特产网店。由于销量不佳(jia)，他便通过编造夺(duo)人眼球的虚假新闻给网店账号吸引流量。他不会视频剪辑，便利用AI技(ji)术生成文(wen)本和视频。
多管齐下强化治理
今年(nian)4月，中央网信办秘书局发布(bu)《关于开展“清朗·整治‘自媒体’无底(di)线博流量”专项行动的通知》，要求加(jia)强信息(xi)来源标注展示。使(shi)用AI等技(ji)术生成信息(xi)的，必须明确(que)标注系技(ji)术生成。发布(bu)含有虚构、演绎等内容的，必须明确(que)加(jia)注虚构标签。
专家表(biao)示，随着(zhe)AI使(shi)用门槛降低，AI造谣问题可能加(jia)剧；建议压实互联网内容平台、AI内容生成平台等主体责任，阻断造谣背后的利益链条；加(jia)强法律研究和适用，提高(gao)造谣者、传谣者的违法成本。
北京师范大学新闻传播学院教授喻国(guo)明建议，AI内容生成平台要进(jin)一步完善对生成内容和内容来源的标识机制，例如附加(jia)不可删(shan)除的数(shu)字水印和文(wen)本说明。互联网内容平台可接入AI内容生成平台的大模型系统，实时进(jin)行数(shu)据(ju)识别比对。
中国(guo)社会科学院大学互联网法治研究中心主任刘晓春建议，互联网内容平台应(ying)加(jia)强对AI造谣行为的智能识别机制研究，进(jin)一步优(you)化涉及AI内容的流量分发和收益分成机制，压缩别有用心者批量生产谣言(yan)的牟利空间。
喻国(guo)明认为，在辟谣方面，可利用AI辟谣应(ying)对AI造谣，“针对被确(que)认为谣言(yan)的内容，互联网内容平台可利用AI技(ji)术向曾经浏览过相关内容的用户(hu)智能推送(song)辟谣内容或进(jin)行风(feng)险提示，降低谣言(yan)破坏力。”
沈阳(yang)等业(ye)内专家表(biao)示，界定(ding)AI谣言(yan)产生是否存在主观恶意、认定(ding)被造谣方损(sun)失等存在一定(ding)困难，对AI造谣等行为在刑事(shi)处罚上容易出现法律适用难题，导致打击(ji)效(xiao)果难以落地。“我们研究发现，在86起涉AI造谣相关案件中，惩(cheng)处类型为刑事(shi)处罚的占比仅(jin)为15.66%。”沈阳(yang)说。
北京孟真(zhen)律师事(shi)务所律师舒胜来认为，面对AI谣言(yan)等技(ji)术和犯(fan)罪形式(shi)的快速迭代，法律法规研究也要与时俱进(jin)。要进(jin)一步明确(que)AI造谣犯(fan)罪的认定(ding)标准，加(jia)强行刑衔接，对AI造谣者“精准惩(cheng)处”，做到罚当(dang)其(qi)罪、罚当(dang)其(qi)过，为广大网民(min)营造风(feng)清气(qi)正的网络(luo)空间。