文 | 中國(guó)法學(xué)會(huì)法治研究所研究員 劉金瑞

當(dāng)前，人工智能技術(shù)的迅速發(fā)展，正在對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)治理、人民生活產(chǎn)生重大而深刻的影響，給世界帶來(lái)巨大機(jī)遇。與此同時(shí)，人工智能技術(shù)也帶來(lái)日益嚴(yán)峻和復(fù)雜的風(fēng)險(xiǎn)挑戰(zhàn)。防范應(yīng)對(duì)人工智能安全風(fēng)險(xiǎn)，已經(jīng)成為人類(lèi)社會(huì)面臨的共同挑戰(zhàn)。2023年10月，我國(guó)提出《全球人工智能治理倡議》，圍繞人工智能發(fā)展、安全、治理三方面系統(tǒng)闡述了人工智能治理中國(guó)方案，其中明確提出各國(guó)應(yīng)推動(dòng)“形成具有廣泛共識(shí)的人工智能治理框架和標(biāo)準(zhǔn)規(guī)范”。

為了貫徹落實(shí)這一倡議主張，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)于近日在2024年國(guó)家網(wǎng)絡(luò)安全宣傳周主論壇上，發(fā)布了《人工智能安全治理框架》1.0版（以下簡(jiǎn)稱(chēng)《框架》）?！犊蚣堋坊陲L(fēng)險(xiǎn)管理的理念，針對(duì)人工智能技術(shù)的新發(fā)展和新特性，識(shí)別分析了當(dāng)前人工智能風(fēng)險(xiǎn)的來(lái)源和類(lèi)型，從內(nèi)生安全和應(yīng)用安全兩個(gè)維度提出了應(yīng)對(duì)這些風(fēng)險(xiǎn)的技術(shù)措施和管理措施，并在此基礎(chǔ)上對(duì)人工智能研發(fā)應(yīng)用給出了安全指引，是我國(guó)推動(dòng)人工智能治理從原則走向?qū)嵺`、促進(jìn)人工智能創(chuàng)新發(fā)展的又一有力舉措?？偨Y(jié)起來(lái)，這主要體現(xiàn)在以下幾個(gè)方面：

一、明確安全治理的目標(biāo)和原則，堅(jiān)持發(fā)展和安全并重

《框架》貫徹《全球人工智能治理倡議》，遵循“以人為本、智能向善”的基本立場(chǎng)，秉持共同、綜合、合作、可持續(xù)的安全觀，堅(jiān)持發(fā)展和安全并重，以促進(jìn)人工智能創(chuàng)新發(fā)展為第一要?jiǎng)?wù)，以有效防范化解人工智能安全風(fēng)險(xiǎn)為出發(fā)點(diǎn)和落腳點(diǎn)，系統(tǒng)闡述了我國(guó)人工智能安全治理的主要目標(biāo)和基本原則。其中，安全治理目標(biāo)在于：構(gòu)建各方共同參與、技管結(jié)合、分工協(xié)作的治理機(jī)制，壓實(shí)相關(guān)主體安全責(zé)任，打造全過(guò)程全要素治理鏈條，培育安全、可靠、公平、透明的人工智能技術(shù)研發(fā)和應(yīng)用生態(tài)，推動(dòng)人工智能健康發(fā)展和規(guī)范應(yīng)用，進(jìn)而實(shí)現(xiàn)“切實(shí)維護(hù)國(guó)家主權(quán)、安全和發(fā)展利益，保障公民、法人和其他組織的合法權(quán)益，確保人工智能技術(shù)造福于人類(lèi)”。

為了實(shí)現(xiàn)上述目標(biāo)，《框架》明確了人工智能安全治理的四項(xiàng)基本原則：一是包容審慎、確保安全。強(qiáng)調(diào)既鼓勵(lì)發(fā)展創(chuàng)新，又嚴(yán)守安全底線，及時(shí)對(duì)危害國(guó)家安全、社會(huì)公共利益、公眾合法權(quán)益的風(fēng)險(xiǎn)采取措施。二是風(fēng)險(xiǎn)導(dǎo)向、敏捷治理。強(qiáng)調(diào)密切跟蹤技術(shù)發(fā)展趨勢(shì)，動(dòng)態(tài)精準(zhǔn)調(diào)整治理措施，以快速響應(yīng)安全風(fēng)險(xiǎn)的發(fā)展變化。三是技管結(jié)合、協(xié)同應(yīng)對(duì)。強(qiáng)調(diào)綜合運(yùn)用技術(shù)和管理措施，明確研發(fā)應(yīng)用生態(tài)鏈各參與方的安全責(zé)任，形成政府、行業(yè)、社會(huì)協(xié)同治理機(jī)制。四是開(kāi)放合作、共治共享。強(qiáng)調(diào)推動(dòng)國(guó)際合作，共享最佳實(shí)踐，建立開(kāi)放性平臺(tái)，推動(dòng)形成具有廣泛共識(shí)的全球人工智能治理體系。

二、識(shí)別安全風(fēng)險(xiǎn)的來(lái)源和類(lèi)型，聚焦技術(shù)發(fā)展新挑戰(zhàn)

《框架》在借鑒國(guó)內(nèi)外相關(guān)研究成果基礎(chǔ)上，將人工智能系統(tǒng)研發(fā)應(yīng)用全生命周期的風(fēng)險(xiǎn)，識(shí)別區(qū)分為人工智能技術(shù)本身缺陷不足引發(fā)的風(fēng)險(xiǎn)與人工智能技術(shù)應(yīng)用濫用引發(fā)的風(fēng)險(xiǎn)，并將前者稱(chēng)為“人工智能內(nèi)生安全風(fēng)險(xiǎn)”，將后者稱(chēng)為“人工智能應(yīng)用安全風(fēng)險(xiǎn)”。《框架》在梳理這兩大方面風(fēng)險(xiǎn)時(shí)，聚焦了近期生成式人工智能技術(shù)的新發(fā)展和新特性，尤其是大模型的數(shù)據(jù)訓(xùn)練和部署應(yīng)用帶來(lái)的新威脅和新挑戰(zhàn)。具體而言：

對(duì)于人工智能內(nèi)生安全風(fēng)險(xiǎn)，《框架》圍繞人工智能技術(shù)自身核心構(gòu)成要素，概括為三個(gè)方面：一是模型算法安全風(fēng)險(xiǎn)，包括可解釋性差；存在偏見(jiàn)、歧視；魯棒性弱；被竊取、篡改；輸出不可靠；對(duì)抗攻擊等。二是數(shù)據(jù)安全風(fēng)險(xiǎn)，涉及違規(guī)收集使用數(shù)據(jù)；訓(xùn)練數(shù)據(jù)含不當(dāng)內(nèi)容、被“投毒”；訓(xùn)練數(shù)據(jù)標(biāo)注不規(guī)范；數(shù)據(jù)泄露等。三是系統(tǒng)安全風(fēng)險(xiǎn)，包括缺陷、后門(mén)被攻擊利用；算力安全風(fēng)險(xiǎn)；供應(yīng)鏈安全風(fēng)險(xiǎn)等。

對(duì)于人工智能應(yīng)用安全風(fēng)險(xiǎn)，《框架》圍繞人工智能技術(shù)應(yīng)用主要影響領(lǐng)域，列舉為四個(gè)方面：一是網(wǎng)絡(luò)域安全風(fēng)險(xiǎn)，包括信息內(nèi)容安全風(fēng)險(xiǎn)；混淆事實(shí)、誤導(dǎo)用戶、繞過(guò)鑒權(quán)；不當(dāng)使用引發(fā)信息泄露；濫用于網(wǎng)絡(luò)攻擊；模型復(fù)用的缺陷傳導(dǎo)等。二是現(xiàn)實(shí)域安全風(fēng)險(xiǎn)，涉及誘發(fā)傳統(tǒng)經(jīng)濟(jì)社會(huì)安全風(fēng)險(xiǎn)；用于違法犯罪活動(dòng)；兩用物項(xiàng)和技術(shù)濫用等。三是認(rèn)知域安全風(fēng)險(xiǎn)，包括加劇“信息繭房”效應(yīng)、用于開(kāi)展認(rèn)知戰(zhàn)等。四是倫理域安全風(fēng)險(xiǎn)，包括加劇社會(huì)歧視偏見(jiàn)、擴(kuò)大智能鴻溝；挑戰(zhàn)傳統(tǒng)社會(huì)秩序；未來(lái)脫離控制等。

三、基于風(fēng)險(xiǎn)制定防范應(yīng)對(duì)措施，技術(shù)與管理雙管齊下

針對(duì)上述內(nèi)生安全風(fēng)險(xiǎn)和應(yīng)用安全風(fēng)險(xiǎn)，《框架》提出了技術(shù)措施與管理措施雙管齊下的綜合防治舉措。當(dāng)然，技術(shù)措施與管理措施并非截然割裂，而是相輔相成的：技術(shù)措施往往是為了落實(shí)管理措施，很多管理措施需要以技術(shù)可行為前提。以下按先管理措施后技術(shù)措施的順序?qū)Α犊蚣堋凤L(fēng)險(xiǎn)防治措施做一梳理。

就應(yīng)對(duì)人工智能內(nèi)生安全風(fēng)險(xiǎn)而言。對(duì)于模型算法安全風(fēng)險(xiǎn)，管理措施包括兩個(gè)方面：一是推進(jìn)人工智能可解釋性研究，二是構(gòu)建以負(fù)責(zé)任的人工智能研發(fā)應(yīng)用體系。而相應(yīng)的技術(shù)措施包括明確說(shuō)明人工智能系統(tǒng)的推理邏輯、建立實(shí)施安全開(kāi)發(fā)規(guī)范等。對(duì)于數(shù)據(jù)安全風(fēng)險(xiǎn)，管理措施是完善人工智能數(shù)據(jù)安全和個(gè)人信息保護(hù)規(guī)范。而涉及的技術(shù)措施包括確保不包含核生化導(dǎo)武器等高危領(lǐng)域敏感數(shù)據(jù)、加強(qiáng)敏感訓(xùn)練數(shù)據(jù)管理以及使用合法正當(dāng)?shù)挠?xùn)練數(shù)據(jù)等。對(duì)于系統(tǒng)安全風(fēng)險(xiǎn)，管理措施包括兩個(gè)方面：一是強(qiáng)化人工智能供應(yīng)鏈安全保障，二是構(gòu)建人工智能安全風(fēng)險(xiǎn)威脅信息共享和應(yīng)急處置機(jī)制。而落實(shí)的技術(shù)措施包括提高系統(tǒng)透明性、加強(qiáng)平臺(tái)和服務(wù)的安全維護(hù)以及確保芯片、軟件等供應(yīng)鏈安全。就應(yīng)對(duì)人工智能應(yīng)用安全風(fēng)險(xiǎn)而言。共通的管理措施包括五個(gè)方面：一是實(shí)施人工智能應(yīng)用分類(lèi)分級(jí)管理，二是建立人工智能服務(wù)可追溯管理制度，三是加大人工智能安全人才培養(yǎng)力度，四是建立健全人工智能安全宣傳教育、行業(yè)自律、社會(huì)監(jiān)督機(jī)制，五是促進(jìn)人工智能安全治理國(guó)際交流合作。考慮到不同應(yīng)用領(lǐng)域的風(fēng)險(xiǎn)特點(diǎn)，需要采取針對(duì)性的技術(shù)措施，例如對(duì)網(wǎng)絡(luò)域風(fēng)險(xiǎn)應(yīng)建立安全防護(hù)機(jī)制和數(shù)據(jù)護(hù)欄，對(duì)現(xiàn)實(shí)域風(fēng)險(xiǎn)應(yīng)根據(jù)實(shí)際應(yīng)用場(chǎng)景設(shè)置服務(wù)提供邊界，對(duì)認(rèn)知域風(fēng)險(xiǎn)判別不正當(dāng)?shù)妮敵鼋Y(jié)果，對(duì)倫理域風(fēng)險(xiǎn)應(yīng)防范產(chǎn)生地域、性別等方面歧視等。

四、圍繞研發(fā)應(yīng)用提出安全指引，推動(dòng)全鏈條風(fēng)險(xiǎn)共治

《框架》在上述技術(shù)措施和管理措施基礎(chǔ)上，還就安全開(kāi)發(fā)應(yīng)用人工智能技術(shù)對(duì)模型算法研發(fā)者、服務(wù)提供者、重點(diǎn)領(lǐng)域使用者和社會(huì)公眾作出了明確指引，以推動(dòng)人工智能研發(fā)應(yīng)用生態(tài)鏈各參與方實(shí)現(xiàn)風(fēng)險(xiǎn)共治。這些指引除了重申前述要求和舉措外，還提出了一些更為具體的要求，簡(jiǎn)要概括如下：

對(duì)于模型算法研發(fā)者，要求在關(guān)鍵環(huán)節(jié)踐行科技倫理規(guī)范，重視數(shù)據(jù)安全和個(gè)人信息保護(hù)；確保模型算法訓(xùn)練環(huán)境的安全性，評(píng)估模型算法潛在偏見(jiàn)，設(shè)計(jì)有效、可靠的對(duì)齊算法；結(jié)合目標(biāo)市場(chǎng)適用法律要求和風(fēng)險(xiǎn)管理要求，定期開(kāi)展安全評(píng)估測(cè)試，生成測(cè)試報(bào)告并提出改進(jìn)方案。

對(duì)于人工智能服務(wù)提供者，要求公開(kāi)產(chǎn)品和服務(wù)的能力、局限性，支持使用者行使監(jiān)督和控制責(zé)任；提高風(fēng)險(xiǎn)防范意識(shí)，建立健全實(shí)時(shí)風(fēng)險(xiǎn)監(jiān)控管理機(jī)制；發(fā)現(xiàn)安全事故、安全漏洞等及時(shí)向主管部門(mén)報(bào)告，確保異常條件下最低限度有效功能；發(fā)現(xiàn)誤用濫用時(shí)要進(jìn)行糾正或終止服務(wù)，防范對(duì)使用者造成危害。

對(duì)于重點(diǎn)領(lǐng)域使用者，要求審慎評(píng)估人工智能技術(shù)應(yīng)用的影響，定期進(jìn)行系統(tǒng)審計(jì)，加強(qiáng)風(fēng)險(xiǎn)防范意識(shí)與應(yīng)對(duì)處置能力；合理限制人工智能系統(tǒng)對(duì)數(shù)據(jù)的訪問(wèn)權(quán)限，制定數(shù)據(jù)備份和恢復(fù)計(jì)劃，確保操作符合保密規(guī)定；確保人的有效監(jiān)督，避免完全依賴(lài)人工智能的決策，在遭遇事故時(shí)及時(shí)切換到人工或傳統(tǒng)系統(tǒng)。

對(duì)于社會(huì)公眾，要求提高對(duì)人工智能產(chǎn)品安全風(fēng)險(xiǎn)的認(rèn)識(shí)，準(zhǔn)確認(rèn)知所用產(chǎn)品做出判斷決策的局限性；避免在不必要時(shí)輸入敏感信息，避免使用不符合隱私保護(hù)原則的產(chǎn)品，避免所用產(chǎn)品成為網(wǎng)絡(luò)攻擊的目標(biāo)；預(yù)防沉迷及過(guò)度使用。

總之，《框架》最大程度凝聚風(fēng)險(xiǎn)治理共治，為人工智能安全風(fēng)險(xiǎn)治理提供了基礎(chǔ)性、框架性指南，有利于在嚴(yán)守安全底線的前提下培育安全、可靠、公平、透明的人工智能產(chǎn)業(yè)生態(tài)，進(jìn)而切實(shí)促進(jìn)人工智能規(guī)范應(yīng)用和創(chuàng)新發(fā)展。同時(shí)，《框架》也有利于進(jìn)一步推動(dòng)人工智能安全治理國(guó)際合作，進(jìn)而有助于在全球范圍推動(dòng)形成具有廣泛共識(shí)的人工智能治理體系，確保人工智能技術(shù)造福于人類(lèi)。

（來(lái)源：全國(guó)網(wǎng)安標(biāo)委）