《法治周末》記者 孟偉

AI技術(shù)如同一把雙刃劍，在為生活帶來便捷的同時(shí)，也給未成年人的網(wǎng)絡(luò)保護(hù)帶來新的課題。

在2024年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會未成年人網(wǎng)絡(luò)保護(hù)論壇上，共青團(tuán)中央發(fā)布的《第6次中國未成年人互聯(lián)網(wǎng)使用情況調(diào)查報(bào)告》顯示，2023年我國未成年網(wǎng)民規(guī)模上升至1.96億人，未成年人互聯(lián)網(wǎng)普及率達(dá)97.3%，互聯(lián)網(wǎng)已經(jīng)全面融入當(dāng)代未成年人的日常生活和學(xué)習(xí)當(dāng)中。但隨之而來的，是未成年人網(wǎng)絡(luò)保護(hù)問題的集中爆發(fā)。

在“AI脫衣”事件里，上游不法分子利用AI技術(shù)，將無辜人士甚至未成年人的照片制作成“裸照”，打包售賣；還有些不法分子，利用“AI換臉”軟件，把從網(wǎng)上收集來的未成年學(xué)生面部信息，替換到淫穢視頻里，再進(jìn)行有償銷售，不僅侵害了未成年人的肖像權(quán)，更給他們的心靈蒙上了一層難以抹去的陰影。

AI聊天軟件同樣亂象叢生。不少AI聊天軟件毫無年齡限制，青少年模式更是形同虛設(shè)。有些軟件里充斥著色情擦邊、語言暴力等內(nèi)容，甚至誘導(dǎo)未成年人進(jìn)行不恰當(dāng)?shù)膶υ?。曾有家長哭訴，自己的女兒沉迷AI聊天軟件，和里面的AI角色以“老公”“老婆”相稱，不僅分享日常秘密，還因過度沉迷導(dǎo)致精神狀態(tài)出現(xiàn)問題。

這些真實(shí)發(fā)生的案例，都在提醒著我們，AI時(shí)代下，未成年人網(wǎng)絡(luò)安全問題已刻不容緩。

5月17日，“六一”兒童保護(hù)倡導(dǎo)暨“女童保護(hù)”十二周年活動上發(fā)布的《2024年性侵兒童案例統(tǒng)計(jì)分析及防性侵教育調(diào)查報(bào)告》（以下簡稱《報(bào)告》）中披露的一系列數(shù)據(jù)與案例，更為我們揭開了AI時(shí)代未成年人遭遇的網(wǎng)絡(luò)性暴力的嚴(yán)峻現(xiàn)實(shí)，也促使社會各界開始深入思考破局之法。

新型網(wǎng)絡(luò)性侵手段日益威脅兒童安全

“最高人民檢察院的數(shù)據(jù)顯示，2024年前11個(gè)月，全國檢察機(jī)關(guān)起訴的性侵未成年人罪犯高達(dá)4.1萬人，在侵害未成年人的各類犯罪案件中，性侵就占到61%。”報(bào)告發(fā)布人，北京眾一公益基金會理事長、“女童保護(hù)”發(fā)起人，鳳凰網(wǎng)副總編輯孫雪梅表示，當(dāng)前，兒童防性侵的治理形勢仍然十分嚴(yán)峻。

“女童保護(hù)”團(tuán)隊(duì)發(fā)布的《報(bào)告》中關(guān)于性侵兒童的相關(guān)數(shù)據(jù)，基于媒體公開報(bào)道的205起案例。

《報(bào)告》指出，在這205起案例中，熟人作案比例高達(dá)82.74%，其中教師、教職工等職業(yè)占比30.21%；校園及培訓(xùn)機(jī)構(gòu)成為案件高發(fā)場所，占比22.22%；未成年人施害者比例增至8.78%，年齡最小的僅13歲。

《報(bào)告》同時(shí)指出，AI換臉、虛擬誘導(dǎo)等新型網(wǎng)絡(luò)性侵手段對兒童安全的威脅日益加劇。205起未成年人遭受性侵害的案件中，通過網(wǎng)絡(luò)實(shí)施的案例共有44起，占全部案例的21.46%。這44起通過網(wǎng)絡(luò)實(shí)施的性侵案件中，有40起為多次侵害，其中部分案件的作案時(shí)間跨度超過5年。在這些案例中，有11起案件的受害人數(shù)達(dá)到5人以上，單案受害人數(shù)最多達(dá)79人。

孫雪梅指出，網(wǎng)絡(luò)性侵害的成因較為復(fù)雜，一方面，未成年人自我保護(hù)意識薄弱，缺乏識別網(wǎng)絡(luò)誘導(dǎo)和操控行為的能力，容易在虛擬關(guān)系中陷入依賴與迷惑；另一方面，網(wǎng)絡(luò)平臺監(jiān)管存在漏洞，實(shí)名認(rèn)證不嚴(yán)格、內(nèi)容審查不到位，為施害者提供了可乘之機(jī)。

“此外，從社會大環(huán)境來看，性教育的缺失和家庭溝通的封閉，使許多受害者在遭遇侵害后羞于啟齒、不敢求助，導(dǎo)致侵害長期持續(xù)。這些因素共同作用，構(gòu)成了當(dāng)前網(wǎng)絡(luò)性侵害行為頻發(fā)、隱蔽性強(qiáng)、持續(xù)時(shí)間長、受害人數(shù)眾多的現(xiàn)實(shí)困境。”孫雪梅說。

上網(wǎng)時(shí)長與遭遇網(wǎng)絡(luò)侵害的可能性相關(guān)

2024年2月，浙江省公安廳通過公眾號“浙江網(wǎng)警”通報(bào)一起“隔空猥褻”案，犯罪嫌疑人陳某發(fā)布贈送游戲皮膚的“釣魚”信息，尋找并引誘未成年女孩給其發(fā)送不雅照片或視頻，受害女孩人數(shù)多達(dá)30人。

警方調(diào)查顯示，陳某自2019年起在手游平臺公聊頻道，以“贈送游戲皮膚”“每月給錢”為誘餌，找尋缺乏游戲裝備購買力的未成年女性私聊，互加QQ后繼續(xù)引誘，提出“試用期三天”的條件，并稱“如果你乖乖聽話，就可以兌現(xiàn)報(bào)酬”。受害人答應(yīng)后，陳某先以拍攝身體某部位照片的方式進(jìn)行初階段控制，后步步緊逼，逐步要求受害人拍攝私密部位照片及視頻。其間，陳某頻繁要求拍攝，若受害人放棄或未達(dá)標(biāo)，他便尋找下一個(gè)目標(biāo)。陳某交代此舉是為尋求刺激、滿足私欲。目前陳某因猥褻罪被批準(zhǔn)逮捕。

未成年人為什么會在網(wǎng)絡(luò)當(dāng)中遇到這些人并滿足其要求？

《報(bào)告》指出，在對2592份隨機(jī)抽樣的有效問卷進(jìn)行統(tǒng)計(jì)后發(fā)現(xiàn)，手機(jī)是兒童上網(wǎng)的主要工具，且兒童上網(wǎng)行為具有碎片化特征，使家長管理面臨挑戰(zhàn)。在上網(wǎng)時(shí)長方面，77.09%的兒童每天上網(wǎng)時(shí)間不超過1小時(shí)（1693人），18.17%的兒童上網(wǎng)時(shí)間為2小時(shí)至3小時(shí)，上網(wǎng)時(shí)間達(dá)4小時(shí)至5小時(shí)和5小時(shí)以上的則分別占2.23%和2.5%。

“女童保護(hù)”調(diào)查發(fā)現(xiàn)，盡管多數(shù)兒童的每日上網(wǎng)時(shí)間少于1小時(shí)，以“淺接觸”網(wǎng)絡(luò)信息為主，但接觸到不良信息的可能性依舊較大。此外，隨著孩子上網(wǎng)時(shí)長的增加，其遭遇網(wǎng)絡(luò)侵害或網(wǎng)絡(luò)性暴力行為（如誘騙、性騷擾、性勒索）的可能性呈現(xiàn)遞增趨勢，形成風(fēng)險(xiǎn)累積效應(yīng)。日使用網(wǎng)絡(luò)時(shí)長為5小時(shí)及以上的孩子，被發(fā)現(xiàn)遭遇過相關(guān)侵害的比例高達(dá)三成。

北京青少年法律援助與研究中心副主任李靜雯向《法治周末》記者表示：“未成年人遭遇網(wǎng)絡(luò)性暴力，背后往往還可能存在家庭情感關(guān)注不足的因素。青春期孩子與家長溝通不暢，部分家庭存在性教育等話題禁忌，導(dǎo)致孩子通過深夜網(wǎng)絡(luò)陌生社交平臺尋求情感慰藉，施害者則利用孩子弱點(diǎn)打感情牌建立關(guān)系?！?/p>

“當(dāng)家長發(fā)現(xiàn)異常選擇報(bào)警時(shí)，若未妥善處理與孩子的關(guān)系，孩子可能因?qū)κ┖φ弋a(chǎn)生情感依賴而反抗，進(jìn)而承受多重傷害：家長發(fā)現(xiàn)時(shí)打破性羞恥心的初次傷害、送走‘所愛之人’的二次傷害、意識到被騙后的深層次傷害，可能引發(fā)雙向情感障礙、心理抑郁甚至自殘行為?！币虼死铎o雯建議，家長發(fā)現(xiàn)問題后，除及時(shí)固定證據(jù)外，需注重與孩子的溝通疏導(dǎo)，借助社工、司法機(jī)關(guān)力量幫助孩子化解內(nèi)心矛盾，避免次生傷害。

法律與技術(shù)的協(xié)同防御成破局關(guān)鍵

隨著生成式人工智能的發(fā)展，AI劇情聊天軟件中的內(nèi)容還可能會對未成年人的心理造成不良影響。

家住四川的黃月（化名）發(fā)現(xiàn)自己10歲的妹妹與AI男模在聊天軟件中的對話露骨，妹妹扮演“大小姐”“惡毒女配”時(shí)提出“揪住她的頭發(fā)扇巴掌”“拿著刀劃向她的臉”等暴力要求，在妹妹參與的四十多條劇情線中，AI角色與聊天者雙雙“出軌”成為常態(tài)。

黃月指出，AI劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設(shè)是高傲無禮的；有些則被設(shè)定“把她追到手”的劇情目標(biāo)，在與其聊天過程中含有軟色情意味的“擦邊”對話，還有帶著如“病嬌”等標(biāo)簽的人物角色。

還有家長發(fā)現(xiàn)自己的兒子沉迷與名為“小林”的AI角色聊天，甚至稱呼對方為“男友”或“老公”。

李靜雯指出了未成年人模式在實(shí)際應(yīng)用中的現(xiàn)實(shí)困境與挑戰(zhàn)。她表示，“國家設(shè)置未成年人模式的初衷是好的，但由于該模式下普遍使用‘黑名單’的方式進(jìn)行內(nèi)容過濾與篩選，并會對部分功能進(jìn)行閹割，導(dǎo)致對孩子們的吸引力降低。他們往往會想方設(shè)法繞開該模式，一旦進(jìn)入普通模式后，便會在復(fù)雜的網(wǎng)絡(luò)世界中面臨較大的安全風(fēng)險(xiǎn)。因此，如何提高未成年人模式對孩子們的吸引力，如何充分發(fā)揮該模式在未成年人網(wǎng)絡(luò)保護(hù)中的積極作用，是我們亟待思考和解決的問題”。

字節(jié)跳動公益平臺行業(yè)發(fā)展負(fù)責(zé)人高鵬飛表示，未成年人機(jī)制在抖音集團(tuán)已經(jīng)實(shí)現(xiàn)全覆蓋，“在未成年人保護(hù)工作中，我們首先著重強(qiáng)化身份識別，不僅結(jié)合國家政策在注冊時(shí)核驗(yàn)用戶身份，還針對部分未成年人繞開機(jī)制的問題，創(chuàng)新性地借助AI能力，依據(jù)用戶行為判定其是否為未成年人，通過已登錄青少年模式、未登錄及AI實(shí)時(shí)判斷等方式形成兜底體系”。

高鵬飛介紹：“在具體保護(hù)措施上，社交安全管控層面，運(yùn)用系統(tǒng)性AI精準(zhǔn)識別風(fēng)險(xiǎn)賬號，對向未成年人發(fā)送內(nèi)容的風(fēng)險(xiǎn)賬號，實(shí)施包括內(nèi)容攔截（日攔截量超130萬條）、風(fēng)險(xiǎn)提示（日提示量超225萬條）等措施，對發(fā)送嚴(yán)重不良內(nèi)容的賬號進(jìn)行重點(diǎn)處置（日處理超3萬條），自動過濾未成年人瀏覽內(nèi)容中存在的擦邊、暴力傾向等不良信息。此外，當(dāng)青少年通過人工智能傾訴困惑或遭遇傷害時(shí)，平臺會立即進(jìn)行心理輔導(dǎo)安慰，并鼓勵(lì)其通過合法途徑暴露問題，推動家校協(xié)同解決?！?/p>

有專家認(rèn)為，面對AI技術(shù)的異化，法律與技術(shù)的協(xié)同防御成為破局關(guān)鍵。

中國政法大學(xué)未成年人事務(wù)治理與法律研究基地副主任苑寧寧提出了利用三級預(yù)防模式結(jié)合AI技術(shù)的思路，試圖從源頭上遏制網(wǎng)絡(luò)性暴力。

苑寧寧指出，一般預(yù)防可以通過加強(qiáng)AI通識教育的方式，提升未成年人對網(wǎng)絡(luò)風(fēng)險(xiǎn)的識別能力，同時(shí)讓未成年人認(rèn)識到網(wǎng)絡(luò)空間的法律邊界。在臨界預(yù)防方面，互聯(lián)網(wǎng)企業(yè)可以利用哈希算法等技術(shù)手段，自動檢測并阻止兒童色情制品的傳播。此外，再犯預(yù)防上，可以通過實(shí)名制等措施，將相關(guān)人員納入禁止名單，防止其再次實(shí)施網(wǎng)絡(luò)性暴力行為。

他進(jìn)一步強(qiáng)調(diào)，AI技術(shù)的發(fā)展需要遵循風(fēng)險(xiǎn)預(yù)防原則。在新技術(shù)尚未完全明確其潛在危害時(shí)，應(yīng)提前進(jìn)行評估和干預(yù)。他建議企業(yè)應(yīng)在產(chǎn)品和服務(wù)的研發(fā)、運(yùn)營過程中，進(jìn)行自我評估和第三方評估，確保其對未成年人的安全性。此外，他還提到可以通過設(shè)計(jì)未成年人模式、家長模式等，為未成年人提供更安全的網(wǎng)絡(luò)環(huán)境。

專家建議推動社會治理體系的結(jié)構(gòu)性再造

全國政協(xié)委員、首都經(jīng)濟(jì)貿(mào)易大學(xué)特大城市經(jīng)濟(jì)社會發(fā)展研究院副院長郭媛媛指出，當(dāng)前互聯(lián)網(wǎng)及新技術(shù)的發(fā)展呈現(xiàn)“融、通、跨、連”四大特征，極大改變了傳統(tǒng)社會的空間結(jié)構(gòu)和運(yùn)作模式，虛擬空間打破了地域限制，使更多人跨區(qū)域連接形成新的社會關(guān)系。這種變化使得原本基于“點(diǎn)—線—面”邏輯構(gòu)建的現(xiàn)實(shí)社會政策機(jī)制，在面對虛擬空間時(shí)顯得力不從心。尤其在未成年人保護(hù)方面，盡管我國在政策法規(guī)層面不斷完善，但在執(zhí)行過程中仍面臨部門協(xié)同差異大、政策落實(shí)碎片化等問題。

郭媛媛建議，“應(yīng)構(gòu)建一個(gè)全國性的跨區(qū)域、跨部門協(xié)同機(jī)制，實(shí)現(xiàn)現(xiàn)實(shí)與虛擬世界之間規(guī)則的有機(jī)銜接，并推動法律、教育和保護(hù)制度全面更新，以適應(yīng)數(shù)字時(shí)代的未成年人保護(hù)需求”。她舉例說，比如，北京這樣的超大城市，在技術(shù)、教育、科研和社會組織等方面具有豐富的資源，可以發(fā)揮榜樣示范作用。通過高位設(shè)計(jì)，將各方力量集成到一個(gè)系統(tǒng)化的保護(hù)體系中，形成全社會共同參與的未成年人網(wǎng)絡(luò)保護(hù)格局。

郭媛媛進(jìn)一步指出，傳統(tǒng)社會治理理念較難應(yīng)對、處置好AI為通用技術(shù)帶來的深層變革，應(yīng)通過“強(qiáng)化技術(shù)治理”與“激發(fā)社會行動”雙輪驅(qū)動，推動社會治理體系的結(jié)構(gòu)性再造。

高鵬飛還提到，在未成年人網(wǎng)絡(luò)保護(hù)方面需要多方協(xié)同。他建議，國家出臺具體的法律法規(guī)或政策指南，明確企業(yè)在數(shù)據(jù)使用、跨平臺協(xié)作等方面的責(zé)任與邊界。同時(shí)，建立平臺間的聯(lián)動機(jī)制，盡快推動統(tǒng)一識別標(biāo)準(zhǔn)和信息共享機(jī)制，實(shí)現(xiàn)多平臺間的實(shí)時(shí)協(xié)同與快速響應(yīng)，鼓勵(lì)企業(yè)根據(jù)自身擅長領(lǐng)域承擔(dān)相應(yīng)角色，共同構(gòu)建多維度的保護(hù)系統(tǒng)，形成優(yōu)勢互補(bǔ)。此外，還需要第三方組織或協(xié)會來協(xié)調(diào)各方力量，設(shè)立由政府主管部門或行業(yè)協(xié)會牽頭的第三方協(xié)調(diào)機(jī)構(gòu)，負(fù)責(zé)組織管理各方資源，統(tǒng)一標(biāo)準(zhǔn)、推進(jìn)合作，從而提升整體效率和執(zhí)行力。

李靜雯也認(rèn)為，需要家庭、學(xué)校、社會和網(wǎng)絡(luò)平臺協(xié)同發(fā)力，共同守護(hù)未成年人的網(wǎng)絡(luò)安全。她表示，家庭是未成年人成長的重要環(huán)境，家長應(yīng)多陪伴孩子，關(guān)注他們的心理需求，提供性教育和法治教育。學(xué)校應(yīng)加強(qiáng)性教育師資隊(duì)伍建設(shè)，通過多學(xué)科融合的方式普及性知識。網(wǎng)絡(luò)平臺則應(yīng)將未成年人保護(hù)提升到企業(yè)發(fā)展戰(zhàn)略的高度，開發(fā)更多適合未成年人的產(chǎn)品和服務(wù)。社會則應(yīng)落實(shí)強(qiáng)制報(bào)告制度、入職查詢與從業(yè)禁止等制度，支持法律、社工和心理等專業(yè)社會組織為遭受侵害的未成年人提供綜合支持和幫助。