當(dāng)前，生成式人工智能技術(shù)日益普及，不少內(nèi)容創(chuàng)作者通過AI創(chuàng)作出更具想象力的作品。但也有一些人利用AI造假，無底線博眼球，作為起號(hào)變現(xiàn)捷徑。
記者以想學(xué)習(xí)AI起號(hào)為由，向一名博主咨詢AI視頻起號(hào)相關(guān)問題。畫面中博主提到的這類賬號(hào)，發(fā)布的穿搭、保養(yǎng)、護(hù)膚、養(yǎng)生等視頻多未設(shè)置AI生成提示，不少網(wǎng)友誤以為是真人，在評(píng)論區(qū)咨詢保養(yǎng)方法。
一名博主透露，她借助AI軟件生成的“氛圍感美女”視頻在多個(gè)平臺(tái)“吸粉”過萬，接到不少推廣商單，月收入在1萬元左右。
記者向一名銷售AI生成視頻帶貨教程的賣家咨詢?cè)敿?xì)情況。記者調(diào)查發(fā)現(xiàn)，當(dāng)前，主流網(wǎng)絡(luò)平臺(tái)普遍升級(jí)AI內(nèi)容識(shí)別系統(tǒng)，要求對(duì)AI生成作品添加標(biāo)注，但仍有一些人采用各種手段繞過審核。
記者調(diào)查發(fā)現(xiàn)，社交平臺(tái)上有不少AI造假起號(hào)的教程，情感、養(yǎng)生、顏值等類別是“重災(zāi)區(qū)”，相關(guān)帖子常以“條條是爆款”“最適合普通人入局”“3天暴力起號(hào)”等為噱頭。
有專營平臺(tái)起號(hào)的商家告訴記者，只需繳納1680元，3到15天即可運(yùn)營出一個(gè)萬粉AI賬號(hào)。當(dāng)賬號(hào)積累一定流量后，就可以通過電商帶貨、賬號(hào)轉(zhuǎn)賣等方式變現(xiàn)。
有商家稱，手上有未標(biāo)注AI生成的“美女”賬號(hào)，粉絲量均在一萬以上，且為“三無賬號(hào)”（無實(shí)名、無賬號(hào)違規(guī)、無作品違規(guī)）。
記者搜索發(fā)現(xiàn)，社交平臺(tái)上有眾多網(wǎng)友求購和出售賬號(hào)。一名賣家稱，2.5萬粉絲的AI養(yǎng)生號(hào)售價(jià)6000元，11萬粉絲的AI寵物號(hào)售價(jià)1.6萬元，11.7萬粉絲的AI母嬰號(hào)售價(jià)1.35萬，這些賬號(hào)同樣是“三無賬號(hào)”。
受訪專家表示，這些“三無賬號(hào)”的買賣以及AI造假起號(hào)，涉及技術(shù)提供者、傳播平臺(tái)、內(nèi)容發(fā)布者等多個(gè)參與方，技術(shù)、數(shù)據(jù)等關(guān)鍵信息存在壁壘，需加強(qiáng)協(xié)同治理。
重慶公孝律師事務(wù)所執(zhí)行主任徐斌表示，AI造假起號(hào)灰色產(chǎn)業(yè)鏈?zhǔn)羌夹g(shù)異化的結(jié)果，可能造成低俗獵奇信息泛濫，加速虛假新聞、謠言傳播，擾亂網(wǎng)絡(luò)空間秩序，還可能會(huì)涉及到一些法律，亟待加強(qiáng)清理整治。
阻斷違規(guī)賬號(hào)的流量變現(xiàn)，是從根源上打擊黑灰產(chǎn)業(yè)鏈的關(guān)鍵。受訪專家建議，監(jiān)管部門應(yīng)督促平臺(tái)履行治理責(zé)任，建立違規(guī)賬號(hào)“黑名單”，對(duì)高頻、反復(fù)觸犯平臺(tái)規(guī)則的賬號(hào)主體加大處罰力度，禁止違規(guī)賬號(hào)進(jìn)行帶貨、賣課等商業(yè)活動(dòng)，持續(xù)開展AI造假起號(hào)整治，切斷其獲利渠道。
AI生成的圖像、視頻、音頻和虛擬人形象，正在豐富互聯(lián)網(wǎng)信息，拓展文化創(chuàng)意、教育培訓(xùn)、信息傳播等應(yīng)用場景。但是，熱潮之下也存在隱憂。
數(shù)字人播報(bào)是一種新興的短視頻形式。記者在某AI平臺(tái)支付費(fèi)用、成為會(huì)員后，便可體驗(yàn)AI口播視頻、文字生成視頻、圖片生成視頻等功能。在AI口播視頻功能中，有直播帶貨、品牌營銷、理財(cái)顧問、知識(shí)科普、資訊播報(bào)等多個(gè)選項(xiàng)，以及與之相匹配的虛擬主播形象和音色。記者調(diào)查發(fā)現(xiàn)，這類視頻容易引起關(guān)注、獲得流量，但也導(dǎo)致一些信息真假難辨，出現(xiàn)“偽科普”、假新聞、假理財(cái)?shù)葋y象。
在一些自媒體平臺(tái)，穿越歷史題材的AI生成視頻熱度頗高，不少視頻有數(shù)萬點(diǎn)贊量和轉(zhuǎn)發(fā)量。這些視頻將主播置身于古代著名歷史事件場景中，帶給網(wǎng)友新奇、直觀的視覺體驗(yàn)，也實(shí)現(xiàn)了信息的趣味化傳播，但其中也不乏“偽歷史”“偽科學(xué)”AI視頻。
在社交媒體平臺(tái)，AI圖片生成的熱度持續(xù)攀升。用戶只需上傳一張照片，就能一鍵生成軍人、警察等形象，相關(guān)話題已累計(jì)吸引數(shù)億閱讀量。
專家指出，生成式人工智能在提升效率、激發(fā)創(chuàng)意方面前景廣闊，但若被不當(dāng)利用，可能誤導(dǎo)公眾，甚至滋生違法犯罪。
利用AI視頻博眼球、賺流量之外，已經(jīng)有一些不法分子將魔爪伸出屏幕，利用AI視頻造假的手段直接侵害公民財(cái)產(chǎn)安全。
2024年6月，南京市玄武區(qū)人民檢察院受理了一起“AI換臉網(wǎng)絡(luò)盜刷案”：犯罪嫌疑人符某使用非法獲取的手機(jī)號(hào)、身份證等公民個(gè)人信息，通過換臉軟件AI生成動(dòng)態(tài)視頻，以“人臉識(shí)別”方式登錄累計(jì)23名被害人的網(wǎng)購平臺(tái)賬戶，更改了多名被害人的支付密碼、綁定的手機(jī)號(hào)，后冒用1位被害人賬戶綁定的銀行卡，用于購買兩部手機(jī)，總價(jià)值人民幣15996元。
2024年10月18日，法院判決符某犯公民個(gè)人信息罪、信用卡詐騙罪，判處有期徒刑四年六個(gè)月，并處罰金4萬元；同時(shí)需公開賠禮道歉、刪除非法信息并賠償損失。
受訪專家認(rèn)為，AI造假亂象亟需監(jiān)管部門、軟件開發(fā)商、平臺(tái)、公眾等多方協(xié)同發(fā)力，共同參與治理。
統(tǒng)籌：李杰、王健、李佳琳
編導(dǎo)：劉瑞娟
記者：李愛斌、陳一帆、周思宇、王歡、黃培鋒
包裝：夏勇
配音：蔡紫涵
新華社音視頻部制作>