人工智能(AI)生成合成內容的逼真程度已經讓普通人難以辨別。多方人士曾提議，加快規范AI生成合成內容。“內容標識”是目前國際上較為通用的做法。

日前，國家網信辦起草的《人工智能生成合成內容標識辦法(征求意見稿)》(以下簡稱《辦法》)，面向社會公開征求意見。記者注意到，與之配套的強制性國家標準《網絡安全技術 人工智能生成合成內容標識方法》(以下簡稱《標識方法》)同步在全國標準信息公共服務平臺公開征求意見。

真假難辨“AI換聲”“AI換臉”

詐騙案件量正在增加

《辦法》擬規定什么?簡單來說，AI生成合成的內容要在顯著位置作出標識，也就是要給它們打上“專屬水印”。

給AI生成合成內容打水印為何如此重要，需要單獨出臺文件加以規制?受訪者認為，這與AI應用帶來的虛假宣傳、欺詐等社會風險有著直接關系。

生成式人工智能的應用落地不過是近兩年的事情，然而利用AI實施詐騙、侵權等違法犯罪的數量正在快速增加。記者注意到，多地公安機關曾發布過相關提醒，司法機關也發布了多起利用AI實施犯罪的典型案例。部分案例經由媒體報道和平臺傳播，引發不少人的擔憂甚至是恐慌。

“AI詐騙正在全國爆發”的詞條一度登上熱搜，一時討論聲四起。據浙江省科普聯合會發布的文章，AI詐騙的類型包括：語音合成詐騙、視頻/圖像合成詐騙、聊天機器人詐騙、數據操控與偽造。其所依托的技術主要為自然語言處理和機器學習。

上述前兩種類型便是很多人聽說過的“AI換聲”“AI換臉”?！掇k法》提出，對于AI生成合成的音頻，在起始、末尾或中間適當位置添加語音提示或音頻節奏提示等標識;AI生成合成的視頻，在起始畫面和視頻播放周邊的適當位置添加顯著的提示標識，可在視頻末尾和中間適當位置添加顯著的提示標識。對于AI生成合成的文本、圖片等信息，《辦法》也擬作出相應規定。

除了上述可被用戶明顯感知的顯式標識，《辦法》還擬對隱式標識的添加予以明確，提出服務提供者在生成合成內容的文件元數據中添加隱式標識，隱式標識包含生成合成內容屬性信息、服務提供者名稱或編碼、內容編號等制作要素信息。

《辦法》擬作何具體規定?解決什么問題?

具體來說，《辦法》擬對服務提供者、網絡信息內容傳播平臺的服務提供者、互聯網應用程序分發平臺、用戶分別規定相應的責任義務。

公開征求意見的通知。圖源國家網信辦官網

北京大成律師事務所高級合伙人肖颯解釋，服務提供者即利用生成式人工智能技術提供生成式人工智能服務，利用算法技術提供信息服務、深度合成服務的組織、個人。

對服務提供者，《辦法》提出在生成合成內容時主動添加顯式標識或隱式標識，執行強制性國家標準;在用戶服務協議中明確說明生成合成內容標識的方法、樣式等，并提示用戶仔細閱讀并理解相關的標識管理要求。

對于提供網絡信息內容傳播平臺的服務提供者，如AI聊天網站，《辦法》特別提出，在處理和核驗生成合成內容時，平臺需要承擔核驗標識的責任。

對于互聯網應用程序分發平臺，如應用商店，《辦法》提出，在應用程序上架時，應當核驗服務提供者是否按要求提供生成合成內容標識功能。

用戶在上傳生成合成內容時，應當主動聲明并使用平臺提供的標識功能作出標識，不得惡意刪除、篡改、偽造、隱匿生成合成內容標識。

西南政法大學科技法學研究院副院長、教授鄭志峰認為，通過規范標識可以幫助公眾準確區分AI生成合成內容與人類創作內容，提升信息透明度，維護信息生態的真實性，保障公眾的知情權。通過標識還可追溯生成內容的來源，明確責任主體。

他指出，通過標識內容可以降低虛假宣傳、欺詐等社會風險。肖颯同樣指出，AI生成合成內容可能被用于制造社會恐慌、傳播謠言或實施其他非法活動，通過強制標識，可以有效地控制這些行為，維護社會穩定。

2022年以來，國家網信辦等部門發布的文件中，相繼明確對符合要求的AI生成合成內容作出標識，為何還要單獨制定《辦法》?

鄭志峰指出，之前的文件只是作出原則性要求，沒有深入討論具體的標識方式、范圍和技術標準。在此背景下，《辦法》的進一步規定可以消除標識標準的模糊性。具體來說，《辦法》主要明確責任主體和義務，《標識方法》則提供具體操作細節。

“這種雙重保障機制將確保標識要求不僅有依據，還有技術執行路徑，具備可操作性，確保規定真正落地，而不只是停留在表面要求上。”鄭志峰向記者解釋。

此舉能防范日益突出的AI詐騙嗎?

《標識方法》這一強制性國家標準擬明確各類AI生成合成內容的具體標識方式。其中，視頻內容的顯式標識應采用文字提示。

具體而言，應同時包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技術;包含生成合成要素——含“生成”和/或“合成”，表明內容制作方式為生成和/或合成。

視頻內容顯式標識示例。圖源《標識方法》

音頻內容的顯式標識應采用語音標識或音頻節奏標識。語音標識應同時包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技術;包含生成合成要素——含“生成”和/或“合成”，表明內容制作方式為生成和/或合成。

音頻節奏標識應為“短長 短短”的節奏。《標識方法》注釋稱，“短長 短短”節奏為“AI”的摩斯碼表示。

音頻內容顯式標識示例。圖源《標識方法》

以“AI換臉”詐騙為例，肖颯分析，根據《辦法》和《標識方法》要求，潛在受害人應該能夠在視頻中看到顯著標識，提示該視頻是AI生成合成內容。

具體來說：視頻中可能會有明顯的文字提示，如“本視頻為合成內容”，或者視頻角落處有明顯的標識符號，如“人工智能生成合成”;標識應當放置在視頻的顯眼位置，如角標、橫幅等，以便用戶一眼就能注意到;標識的顏色和字型應當足夠醒目，以便與視頻背景區分開;如果視頻支持交互功能，在用戶嘗試播放或下載視頻時，系統可能會彈出提示框，告知用戶該視頻是AI生產合成的。

“從效果來看，可以預測，《辦法》和《標識方法》的實施有助于提高AI生成合成內容的透明度，降低老百姓遭AI詐騙的風險。”肖颯告訴記者。

鄭志峰認為，標識可以起到區分人機界限的作用，同時具有警示功能，提醒用戶慎重對待AI生成合成內容，避免上當受騙。“當然，標識的作用也是有局限性的，無法應對所有的問題。例如，AI生成合成內容是否侵犯他人的著作權、人格權，并非標識可以解決的。”

專家建議：明確未履行標識義務的責任規則

特別是民事侵權責任

《辦法》第13條擬規定，未對AI生成合成內容作出標識造成嚴重后果的，由網信等有關主管部門按照有關法律、行政法規、部門規章的規定予以處罰。

鄭志峰指出，《辦法》擬作出的責任追究規定較為籠統，責任機制不夠完善，沒有明確未履行標識義務的責任規則，特別是民事侵權責任。

“《辦法》僅規定‘未對生成合成內容進行標識造成嚴重后果的’依法進行處罰。但對第10條所涉及的使用者的行為，未規定懲罰措施。”肖颯指出，有的使用者惡意濫用AI生成合成內容，通過不正當標識手段損害他人合法權益、散布虛假信息，建議補充處罰措施或列明可供援引的其他法律規范。

此外，鄭志峰提出，標識適用于AI生成合成內容，對于人機協作生成合成的內容是否適用并不明確。例如，AI生成一首唐詩，用戶對內容作了很小的修改，是否需要標識并不清楚。

總的來說，內容標識是防范生成式人工智能應用風險的重要一步，有助于提高透明度，幫助用戶識別AI生成合成內容。

“但這只是多層次防控體系的一部分。”肖颯認為，要想真正規避風險，還應細化法律法規，建立行業自律標準，如明確界定法律責任，特別是版權、隱私保護等問題;推動行業自律，建立統一的技術標準和倫理準則，引導企業合理合法使用AI技術。

在鄭志峰看來，當前我國人工智能立法呈現明顯的場景化特征，如關注自動駕駛、人臉識別、生成式人工智能、深度合成等具體場景，且立法的級別不夠高。

“隨著我國人工智能產業的發展，人工智能立法儲備的豐富，制定一部《人工智能法》的契機已經成熟。相較于分散的部門規章，《人工智能法》可以系統明確人工智能各方權利、義務、責任，建立起覆蓋人工智能全生命周期的、統一的監管規則，避免場景化立法存在的重復立法和監管盲區問題，具有更強的適應性。”鄭志峰認為。

關鍵詞：