編者按：2025年初，生成式人工智能模型DeepSeek的發(fā)布引爆輿論場。這一年，AI技術經(jīng)歷了突飛猛進的發(fā)展，為社會帶來極大便利的同時，也大大推高了技術濫用的風險，由此衍生出一系列網(wǎng)絡亂象。法治網(wǎng)輿情中心盤點2025年以來近120起AI技術濫用事件，總結表現(xiàn)突出的八大亂象，并就監(jiān)管和執(zhí)法部門如何增強網(wǎng)絡空間治理效能提出應對建議。

輿情綜述

1. AI謠言日漸凸顯

AI技術的普及帶來最顯著的濫用風險就在于AI謠言多發(fā)。對話大模型的迅猛發(fā)展令批量生產(chǎn)謠言的門檻進一步降低，而且比起傳統(tǒng)謠言，AI編造的謠言細節(jié)逼真、情節(jié)豐富，更具迷惑性。梳理發(fā)現(xiàn)，今年的AI謠言集中在以下四個領域：一是編造涉警情險情災情等謠言，如貴陽文昌閣有人“挖眼虐貓”事件引起廣泛傳播，警方調查發(fā)現(xiàn)系網(wǎng)民用AI軟件編造的謠言。二是蹭炒社會熱點炮制謠言，有網(wǎng)民在“全黨開展深入貫徹中央八項規(guī)定精神學習教育”之際，利用AI炮制“江蘇兩干部買方便面被通報”謠言，被采取刑事強制措施。三是編造涉及他人名譽等侵權謠言，如“華山醫(yī)院前院長客死他鄉(xiāng)”“有頂流明星在澳門輸了10億”等涉及名人明星的謠言信息被大量傳播，相關話題登上熱搜榜。四是AI“黑嘴”抹黑營商環(huán)境。在上海警方偵破的一起利用人工智能技術編造、傳播網(wǎng)絡謠言損害企業(yè)權益案中，造謠者使用AI技術以“無中生有”“移花接木”“斷章取義”的手法拼湊，再冠以“博眼球”的標題，使得涉及企業(yè)的不實內容被快速推送到用戶眼前，造成企業(yè)聲譽受損。

2. AI“起號”現(xiàn)象增多

根據(jù)主流媒體說法，AI“起號”就是指自媒體通過AI技術批量生產(chǎn)內容，借此快速積累粉絲、提升賬號商業(yè)價值，進而形成可交易或變現(xiàn)的網(wǎng)絡資產(chǎn)。在當前的短視頻平臺上，AI生成的內容正在迅速占領網(wǎng)絡空間，諸如“外國人熟練演唱中文歌曲”“銀發(fā)奶奶傳授養(yǎng)生秘訣”“氛圍感女孩分享穿搭美學”等AI視頻獲得較高的關注度，令輿論信以為真。分析人士指出，利用AI技術“起號”成本低、漲粉快，還能精準地吸引特定群體，通過電商帶貨、賬號轉賣等方式變現(xiàn)，形成“起號、轉型、轉賣”的灰色產(chǎn)業(yè)鏈。目前AI造假“起號”主要在情感、養(yǎng)生、顏值等領域，甚至還有不少相關的付費教程，以“3天暴力起號”“條條是爆款”等措辭為噱頭，吸引用戶。業(yè)內專家還強調，一些利用AI“起號”的從業(yè)人員，會在互聯(lián)網(wǎng)傳授繞過平臺管理的經(jīng)驗，如果放任大量此類賬號進入賬號交易市場，可能會導致網(wǎng)絡空間持續(xù)遭到污染。

3. AI“換臉”侵權案例頻發(fā)  

今年以來，AI深度合成名人明星“換臉”擬聲的視頻層出不窮。企業(yè)家雷軍、醫(yī)學專家張文宏、育兒專家李玫瑾、影視明星靳東、央視主持人李梓萌等公眾人物均遭受“換臉”擬聲的侵害。全國兩會期間，多名人大代表和政協(xié)委員關注AI“換臉”擬聲亂象，呼吁盡快立法、重點整治，相關討論引發(fā)輿論熱議。11月5日，央視新聞法治在線報道了演員溫崢嶸遭AI盜播事件，多個直播間出現(xiàn)她的帶貨形象，溫崢嶸曾在直播間質問卻遭對方拉黑，再次掀起相關話題討論。《半月談》記者調查發(fā)現(xiàn)，不法商家利用公眾人物為自家“貼金”，有的利用AI仿冒奧運冠軍全紅嬋、孫穎莎、王楚欽聲音帶貨；有的讓公眾人物宣傳預約購物可享受低價但實際并無折扣，宣傳出售高價商品實際只提供低價商品；還有的聲稱有了公眾人物“加持”，商品宣傳片“播放量10億+”。

4. AI“魔改”“惡搞”問題滋生

在“流量大棒”的指揮下，部分網(wǎng)絡用戶為了出奇出新，利用AI技術對影視作品進行大幅或顛覆性改編的行為，常見于短視頻、視覺創(chuàng)作等領域?！斗ㄖ稳請蟆氛{查發(fā)現(xiàn)，“外國山海經(jīng)”“AI山海經(jīng)”等“魔改”內容在網(wǎng)絡上迅速走紅，這些包含木棍人、仙人掌身軀大象、輪胎青蛙等違背常理的奇怪形象，由AI拼接生成，與中國古代典籍《山海經(jīng)》無關，已經(jīng)滲透到低齡群體中，甚至包含血腥暴力、惡搞低俗內容的“邪典動畫”。相關內容引發(fā)輿論擔憂。與此同時，“流浪漢闖入家門”的AI圖片在社交媒體上走紅，這種利用AI制作虛假內容進行戲弄或測試的“惡搞”行為引起模仿效應，引發(fā)居民恐慌甚至警方出警。媒體批評“AI可以用于娛樂，但娛樂不應破壞親人之間最基本的信任，更不應損害公共利益”。

5. AI虛假營銷頻頻誤導消費者

AI技術作為強大的輔助工具，已經(jīng)在社會各個行業(yè)得到廣泛應用，但是在消費行業(yè)，由AI技術生成的營銷內容卻充斥著造假、低劣內容，遭到輿論譴責和抵制。例如良品鋪子的“花生上樹”AI廣告引發(fā)廣泛爭議，還有商家利用AI技術生成“傳承千年苗方苗古金貼傳承人”等虛假人物形象，外賣平臺上也存在大量使用AI技術營造“網(wǎng)紅門面”場景的檔口。除此之外，一些商家還利用少數(shù)網(wǎng)民“投機”“走捷徑”等心理進行誘導消費。根據(jù)央廣網(wǎng)“中國之聲”、新華社“新華視點”等媒體報道，部分商家和自媒體博主號稱可以用AI預測彩票走向，甚至還推出收費預測彩票中獎號碼的服務；在今年高考前夕，也有機構打出AI大模型“押題”的旗號進行營銷，誘導消費者付費購買所謂“內部資料”。中國福彩、媒體等多家機構發(fā)布辟謠和解讀文章，提醒消費者防范營銷陷阱。

6. AI“薅羊毛”退貨現(xiàn)象泛濫

近年來，針對電商平臺的“薅羊毛”行為備受關注。今年“雙十一”購物節(jié)過后，網(wǎng)上曝出多起AI造假騙退貨款的案例，例如廣州一買家AI合成“死蟹”視頻騙取商家退款，被警方處以行政拘留8日處罰。梳理媒體公開報道發(fā)現(xiàn)，這類借助AI圖像處理技術生成難以用肉眼識別的虛假圖片或視頻，向電商商家發(fā)起“僅退款”要求，已經(jīng)遍布服裝、美妝、植物、生鮮等各大類目。不法分子利用電商消費小額高頻的特點規(guī)避法律風險，令中小商家苦不堪言，陷入“維權成本高于損失”的兩難。還有媒體報道指出，更令人擔憂的是，這一行為已形成灰色產(chǎn)業(yè)鏈，網(wǎng)上有所謂付費教程宣稱“288元教會單賬號成功退款30次”，還以學員累計獲利2000元為噱頭吸引參與者。對此輿論呼吁稱，看似是小額利益的投機，實則正在層層侵蝕電商生態(tài)的信任基石，亟需多方協(xié)同發(fā)力進行整治。

7. 新型AI詐騙犯罪多發(fā)

電信網(wǎng)絡詐騙案件在嚴打嚴防形勢下依然多發(fā)，并且在AI技術加持下手段不斷翻新、隱蔽性日益增強，成為危害人民群眾財產(chǎn)與生命安全的“新毒瘤”。當前新型AI詐騙案件層出不窮，除了典型的“AI換臉”“AI擬聲”詐騙之外，還有很多變種，例如“AI換裝”詐騙，有不法分子利用“AI換裝”功能，偽造軍警身份招搖撞騙；“AI客服”詐騙，不法分子利用AI技術，制作智能客服系統(tǒng)，通過語音或文字同受害人交流，誘騙受害人提供個人信息或進行轉賬操作；“AI情感”詐騙，不法分子運用AI訓練面向網(wǎng)聊的大語言模型，通過偽造場景、聲音與受害人建立情感關系，進而獲取個人信息，實現(xiàn)精準詐騙。對于AI詐騙多發(fā)態(tài)勢，輿論普遍擔憂AI算法被不法分子利用，淪為詐騙工具。

8. AI數(shù)據(jù)污染風險上揚

當前，人工智能大模型訓練需要海量數(shù)據(jù)，這些數(shù)據(jù)一般來自開源網(wǎng)絡，因此虛假和錯誤的數(shù)據(jù)就會進入訓練語料庫中，造成數(shù)據(jù)污染現(xiàn)象，導致更多錯誤信息被生成，甚至還有不法分子進行惡意的“數(shù)據(jù)投毒”?！缎氯A每日電訊》文章援引一項研究顯示，當訓練的數(shù)據(jù)集里僅有0.01%的虛假文本時，模型輸出的有害內容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應上升7.2%。今年5月，《中國青年報》報道了“AI把野史當信史”現(xiàn)象，文中提到AI生成的“明朝使臣質問帖木兒”，通過嫁接真實人物、虛構對話及偽造文獻注釋，形成具備學術表征的偽史文本。這一典型案例揭示了AI時代數(shù)據(jù)污染的閉環(huán)路徑：虛假信息經(jīng)過編造、傳播進入AI模型語料庫，再輸出成為“答案”被引用。經(jīng)過這樣一圈閉環(huán)后，普通公眾很難識別哪些信息為真、哪些信息為假，久而久之將會產(chǎn)生更為深遠持久的認知偏見。

應對建議

AI技術濫用為何屢禁不止？專業(yè)人士分析認為，平臺流量與帶貨轉化的強激勵，使得一些商家和個人利用AI技術實現(xiàn)“劣幣逐利”，并迅速復制擴散；網(wǎng)絡環(huán)境的匿名性、隱蔽性，使得AI濫用行為的取證難、追責成本高；公眾辨別深度偽造的媒介素養(yǎng)不足，平臺的內容溯源機制不完善等，同樣助長了AI生成內容應用亂象。對此必須多措并舉、標本兼治，構建全鏈條治理體系。法治網(wǎng)輿情中心綜合專家學者、行業(yè)人士等方面的意見，總結出以下三方面建議。

1. 完善法律法規(guī)體系 規(guī)范平臺責任和用戶義務

部分專家指出，隨著AI技術的快速發(fā)展，相關的監(jiān)管措施、法律法規(guī)也要及時更新，繼續(xù)細化平臺、技術提供商、內容制作者及用戶的法律責任。2025年9月1日起施行的《人工智能生成合成內容標識辦法》要求AI合成內容必須明確標注，但從大量案例來看，仍有不少用戶發(fā)布AI合成信息時并未明確標注，容易讓人產(chǎn)生混淆。對此，監(jiān)管部門需進一步規(guī)范AI技術應用標準，督促平臺加大對AI生成內容的審核把關責任，引導用戶主動添加相關標識，并且利用技術手段建立智能審核系統(tǒng)，對上傳的AI合成內容進行實時監(jiān)測，及時發(fā)現(xiàn)和攔截侵權、虛假、違法等不良內容。各大平臺也需進一步改革涉及AI內容的流量分發(fā)和收益分成機制，最大限度壓縮用戶通過AI技術濫用牟利的空間。

2. 加大執(zhí)法司法力度 全鏈條打擊違法犯罪行為

部分專業(yè)人士建議，執(zhí)法司法機關需要建立“鏈條化”思維，對AI違法犯罪鏈條的前端發(fā)布主體、中端技術手段和末端的后果危害，分別進行評價和判斷，進行全鏈條打擊和預防。執(zhí)法部門需持續(xù)部署開展“清朗”系列專項行動，從嚴整治AI技術濫用等網(wǎng)絡違法亂象，依法處置違規(guī)平臺、企業(yè)和賬號。對待花樣翻新、不斷迭代的AI造謠、“換臉”詐騙、虛假宣傳、“薅羊毛”等違法犯罪套路，要深挖背后利益鏈條，進行源頭打擊、治理，及時向社會公布，對不法分子形成震懾。針對生成和傳播虛假信息的高風險領域，司法機關也可以通過司法解釋等形式明確各方義務邊界，進一步制定科學合理的AI侵權責任認定指導標準。

3. 強化法治宣傳教育 增強公眾參與積極性

AI技術濫用問題與個體心理、網(wǎng)絡生態(tài)等多方因素有關，相關治理工作是一個系統(tǒng)工程，在法律和技術手段之外，還需要長期治理和全社會參與。澎湃新聞等媒體建議，執(zhí)法司法部門深入開展法治宣傳教育，通過以案釋法等形式，進一步增強網(wǎng)民的法治意識和媒介素養(yǎng)，不斷規(guī)范使用AI技術、識別AI謠言詐騙等能力；同時完善網(wǎng)絡不良信息舉報機制，鼓勵廣大用戶積極參與監(jiān)督，對用戶舉報的問題及時進行核實和處理。此外，企業(yè)作為AI技術濫用的主要受害者，也需增強維權意識，及時向平臺投訴舉報，并與屬地公安機關溝通、報案，防止涉企AI謠言持續(xù)擴散發(fā)酵。