新華社北京9月16日電 題：聳人聽(tīng)聞背后的生意經(jīng)——揭開(kāi)AI造謠利益鏈

新華社“新華視點(diǎn)”記者印朋、蘭天鳴、魯暢

不久前，某公眾號(hào)運(yùn)營(yíng)者鐘某為蹭“海嘯預(yù)警”熱點(diǎn)，利用AI生成“30萬(wàn)居民撤離上海”“數(shù)十萬(wàn)上海市民正排隊(duì)登車”等聳人聽(tīng)聞的言論。這條假消息被大量閱讀、轉(zhuǎn)發(fā)，引發(fā)恐慌情緒。其后，鐘某被警方拘留。

AI的廣泛應(yīng)用，為虛假信息的批量生產(chǎn)和病毒式傳播提供了“溫床”，給社會(huì)治理帶來(lái)挑戰(zhàn)。

9月15日，《人工智能安全治理框架》2.0版正式發(fā)布。中央網(wǎng)信辦負(fù)責(zé)人表示，要強(qiáng)化規(guī)范引導(dǎo)，不斷完善人工智能安全監(jiān)管制度和標(biāo)準(zhǔn)規(guī)范體系，促進(jìn)人工智能健康有序發(fā)展。

利用AI造謠日漸頻繁

今年3月，福建廈門(mén)公安機(jī)關(guān)發(fā)現(xiàn)，網(wǎng)上有信息稱：“2025年3月3日，廈門(mén)市某化工廠發(fā)生一起嚴(yán)重的閃爆事故，造成3人死亡、3人受傷……”公安機(jī)關(guān)調(diào)查發(fā)現(xiàn)，這是發(fā)布者許某通過(guò)網(wǎng)上AI助手軟件生成的虛假文章。公安機(jī)關(guān)對(duì)許某予以行政處罰。

人工智能時(shí)代，利用AI造謠日漸頻繁。公安部曾發(fā)布多起典型案例。如，湖南公安機(jī)關(guān)查處編造“民警離職潮”謠言案，江西公安機(jī)關(guān)查處MCN機(jī)構(gòu)使用人工智能工具造謠案，重慶公安機(jī)關(guān)查處使用人工智能工具編造“爆炸事故”謠言案，廣東公安機(jī)關(guān)查處編造“廣州限制外賣配送”謠言案。相關(guān)人員均被繩之以法。

清華大學(xué)新聞與傳播學(xué)院新媒體研究中心2024年發(fā)布的《揭秘AI謠言:傳播路徑與治理策略全解析》研究報(bào)告指出，2023年以來(lái)，伴隨AIGC技術(shù)的高速發(fā)展，一些造謠者不當(dāng)利用AI工具，使得AI謠言量高速增長(zhǎng)。

報(bào)告指出，在各類AI謠言信息量占比中，經(jīng)濟(jì)與企業(yè)類謠言和公共安全類謠言占比最多、增速最快，其中餐飲外賣、快遞配送等民生行業(yè)成為謠言重災(zāi)區(qū)。

記者調(diào)查發(fā)現(xiàn)，人工智能技術(shù)讓網(wǎng)絡(luò)謠言內(nèi)容更為逼真，常配有偽造的圖片、視頻甚至所謂“官方回應(yīng)”，極具迷惑性。

中國(guó)（深圳）綜合開(kāi)發(fā)研究院院長(zhǎng)助理、數(shù)字經(jīng)濟(jì)與全球戰(zhàn)略研究所所長(zhǎng)曹鐘雄等業(yè)內(nèi)人士認(rèn)為，AI不僅能高效生成虛假信息，而且可以通過(guò)過(guò)濾、推薦機(jī)制，將虛假信息聚合形成“證據(jù)鏈”，給普通用戶乃至專業(yè)人士造成誤導(dǎo)。

流量變現(xiàn)驅(qū)動(dòng)商業(yè)化黑產(chǎn)

不久前，某著名食品公司向安徽省合肥市公安局經(jīng)開(kāi)分局報(bào)案稱，多個(gè)網(wǎng)絡(luò)平臺(tái)上集中出現(xiàn)大量虛假、帶有誘導(dǎo)性的負(fù)面文章，惡意攻擊公司品牌及產(chǎn)品品質(zhì)。公安機(jī)關(guān)立案調(diào)查，民警在多個(gè)平臺(tái)發(fā)現(xiàn)關(guān)于該品牌“二氧化硫殘留”“霉變”等內(nèi)容的文章200余篇，且內(nèi)容高度雷同。

經(jīng)公安機(jī)關(guān)核實(shí)，上述內(nèi)容均為虛假信息。信息發(fā)布者陳某被行政拘留。陳某交代，今年8月，他在網(wǎng)上看到該公司相關(guān)信息后，想到知名企業(yè)涉及食品安全問(wèn)題，容易引發(fā)公眾關(guān)注。為博取流量，他使用AI工具編造內(nèi)容，生成多篇虛假負(fù)面文章，在多個(gè)平臺(tái)集中發(fā)布。

業(yè)內(nèi)專家指出，傳統(tǒng)謠言生產(chǎn)依賴造謠者人工操作。如今，造謠者使用AI工具，只要輸入特定關(guān)鍵詞或指令，便可快速生成內(nèi)容逼真、欺騙性強(qiáng)的謠言，從而實(shí)現(xiàn)謠言的大規(guī)模、高效率生產(chǎn)。

去年3月，江西公安機(jī)關(guān)查處一起MCN機(jī)構(gòu)使用人工智能工具造謠案。經(jīng)查，王某某經(jīng)營(yíng)有5家MCN機(jī)構(gòu)，共運(yùn)營(yíng)自媒體賬號(hào)842個(gè)，長(zhǎng)期組織公司人員選取熱點(diǎn)文章，使用AI工具批量生成不實(shí)文章進(jìn)行吸粉引流。

“他平均每天通過(guò)AI工具發(fā)布4000到7000條信息，最高的一條收入是700元。經(jīng)初步估算，每天收入在1萬(wàn)元以上?！鞭k案民警說(shuō)。

記者發(fā)現(xiàn)，多起AI造謠事件背后，不法者的造謠動(dòng)機(jī)主要源于牟取互聯(lián)網(wǎng)內(nèi)容平臺(tái)給予創(chuàng)作者的獎(jiǎng)勵(lì)，以及為電商平臺(tái)經(jīng)營(yíng)引流等；一些造謠者還可以從廣告收入、合同推廣、直播帶貨或其他相關(guān)的商業(yè)活動(dòng)中獲益?！　?/p>

一名長(zhǎng)期從事自媒體工作的博主對(duì)記者說(shuō)：“以某大型內(nèi)容生產(chǎn)平臺(tái)為例，收益計(jì)算公式可以簡(jiǎn)化為‘有效播放量×互動(dòng)系數(shù)×千次播放單價(jià)’。平臺(tái)會(huì)對(duì)點(diǎn)擊量高、互動(dòng)性強(qiáng)的原創(chuàng)性內(nèi)容給予更多收益分成。如果整體權(quán)重較高，一篇閱讀或播放100萬(wàn)次的稿件，收益可超過(guò)1000元?！?/p>

此外，不正當(dāng)商業(yè)競(jìng)爭(zhēng)也進(jìn)一步催生了AI謠言黑色產(chǎn)業(yè)鏈。一位頭部消費(fèi)電子企業(yè)法務(wù)相關(guān)負(fù)責(zé)人透露，“金主”企業(yè)放出任務(wù)信號(hào)后，公關(guān)公司會(huì)找來(lái)一批自媒體運(yùn)營(yíng)者、KOL（關(guān)鍵意見(jiàn)領(lǐng)袖），利用AI技術(shù)生成虛假信息，大批量、高頻次在社交媒體、網(wǎng)絡(luò)平臺(tái)等釋放抹黑競(jìng)爭(zhēng)對(duì)手的內(nèi)容；此后還有營(yíng)銷公司及流量商加入，進(jìn)一步擴(kuò)散傳播謠言?！　?/p>

造謠一張嘴，辟謠跑斷腿。不少受訪企業(yè)表示，辟謠工作給公司帶來(lái)了繁重的負(fù)擔(dān)，需要耗費(fèi)大量人力、精力去做解釋工作，以消除不利影響。

中國(guó)政法大學(xué)刑事司法學(xué)院教授于沖等法律專家指出，目前AI造謠已經(jīng)形成商業(yè)化運(yùn)作黑色產(chǎn)業(yè)鏈，一些造謠者以吸引流量變現(xiàn)牟取經(jīng)濟(jì)利益為目的。相關(guān)行業(yè)企業(yè)在應(yīng)對(duì)AI謠言中面臨維權(quán)難、輿論修復(fù)難等挑戰(zhàn)。

全鏈條治理封住AI“黑嘴”

近期，公安部組織全國(guó)公安機(jī)關(guān)持續(xù)開(kāi)展打擊整治網(wǎng)絡(luò)謠言工作，及時(shí)發(fā)現(xiàn)查處借熱點(diǎn)輿情事件進(jìn)行造謠傳謠線索，重拳打擊編造傳播涉企業(yè)、涉民生、涉警情等領(lǐng)域網(wǎng)絡(luò)謠言違法犯罪活動(dòng)?！　?/p>

今年7月，中央網(wǎng)信辦在全國(guó)范圍內(nèi)啟動(dòng)為期2個(gè)月的“清朗·整治‘自媒體’發(fā)布不實(shí)信息”專項(xiàng)行動(dòng)，重點(diǎn)整治的突出問(wèn)題包括“利用人工智能生成合成技術(shù)，仿冒他人，或編造社會(huì)民生等領(lǐng)域虛假信息，欺騙公眾”。

面對(duì)AI謠言治理中的取證難、定性難、追責(zé)難等問(wèn)題，單一治理手段已力有不逮。多位受訪業(yè)內(nèi)人士建議，遏制“AI謠言”需要多方協(xié)同發(fā)力，構(gòu)建全鏈條治理體系。

中國(guó)社會(huì)科學(xué)院大學(xué)互聯(lián)網(wǎng)法治研究中心執(zhí)行主任劉曉春說(shuō)，新媒體平臺(tái)應(yīng)加強(qiáng)對(duì)AI造謠和“水軍”行為的智能識(shí)別機(jī)制研究，進(jìn)一步改革涉及AI內(nèi)容的流量分發(fā)和收益分成機(jī)制，最大限度壓縮通過(guò)AI造謠牟利的空間。

專家指出，平臺(tái)可通過(guò)逆向傳播，利用相同渠道傳播準(zhǔn)確信息，抵消謠言影響；鼓勵(lì)用戶積極舉報(bào)可疑內(nèi)容，通過(guò)設(shè)立獎(jiǎng)勵(lì)機(jī)制增加參與度；持續(xù)研究謠言生成和傳播機(jī)制，開(kāi)發(fā)有效監(jiān)測(cè)和防治技術(shù)等。

于沖等建議，司法治理也需要“鏈條化”思維，針對(duì)AI造謠鏈條的前端發(fā)布主體、中端采取的技術(shù)手段和末端的后果危害，分別進(jìn)行評(píng)價(jià)和判斷，進(jìn)行全鏈條打擊和預(yù)防。

最高人民法院研究室副主任喻海松等表示，治理涉企AI謠言，僅僅依靠刑法是不夠的，要進(jìn)一步修復(fù)社會(huì)信任機(jī)制，營(yíng)造自覺(jué)抵制謠言的良好環(huán)境，同時(shí)鼓勵(lì)A(yù)I治理合作，進(jìn)一步推廣AI倫理標(biāo)準(zhǔn)、治理技術(shù)和創(chuàng)新國(guó)際合作模式。

上海市律師協(xié)會(huì)理事、上海博和漢商律師事務(wù)所執(zhí)行主任王思維說(shuō)，人工智能目前仍僅是一種技術(shù)手段，而非可承擔(dān)法律責(zé)任的獨(dú)立主體。對(duì)AI技術(shù)濫用行為的治理，應(yīng)當(dāng)堅(jiān)持防懲并重原則，在確保科技創(chuàng)新積極性、AI技術(shù)合法合規(guī)使用的情況下，避免過(guò)度監(jiān)管。

受訪律師提示，無(wú)論是個(gè)人還是企業(yè)，都應(yīng)該自覺(jué)遵守相關(guān)法律法規(guī)，正確使用AI工具，不造謠、不傳謠。一旦利用AI造謠或從事其他違法犯罪活動(dòng)，將受到法律的嚴(yán)懲。