對話人：
彭 飛 本報評論員
曾 毅 中國科學院自動化研究所研究員、北京前瞻人工智能安全與治理研究院院長
彭飛：回顧2025年，人工智能發展一日千裡。大家談到通用人工智能，充滿熱情，而談到超級人工智能，則顧慮重重。2025年10月以來，一份呼吁暫緩研發超級人工智能的聲明，獲得全球一大批科學家、政商界知名人士的簽名。這是為什麼？通用人工智能與超級人工智能到底有什麼區別？
曾毅：目前所說的通用人工智能一般指具有高度泛化能力，接近或達到人類智能水平的信息處理工具，有很廣泛的應用前景。超級人工智能則是指各方面都超過人類智能水平，且被認為是接近生命的存在。這意味著『它』會產生自主意識，且很多想法和行動將難以被人類理解，更難以被人類控制。
我們期望超級人工智能是『超級利他』的，但如果是『超級邪惡』怎麼辦？有研究發現，當前主流大語言模型在面臨被替換的可能時，竟采取欺騙等方式以自保。更令人震驚的是，當模型意識到自己處於被測試的環境時，會故意掩蓋不當行為。通用人工智能尚且如此，更何況超級人工智能？大家懮慮的正是這種未知感。
彭飛：從歷史看，每次重大技術革命都會對經濟社會發展產生重要影響。而且，隨著技術完善、治理跟進，人類發展最終都能趨利避害。超級人工智能為何不會遵循這樣的規律？
曾毅：不能簡單把超級人工智能類比為歷史上任何一種技術工具。『它』可能擁有獨立認知並超越人類智能，這一挑戰是前所未有的。『它』帶來的風險和顛覆性改變也絕不限於就業、隱私保護、教育等局部領域，而是系統性的。最核心風險在於對齊失敗和失控。如果超級人工智能的目標與人類價值觀不一致，即使微小偏差也可能在經能力放大後導致災難性後果。人類的負面行為大量存儲在網絡數據中，不可避免會被超級人工智能習得，這極大增加了對齊失敗和失控的風險。因此，在人工智能開發與治理中，時刻都要堅持底線思維，擺脫傳統的被動反應、跟進式的模式，做到未雨綢繆、前瞻布局。
彭飛：面對這麼緊迫的課題，我們應采取一種怎樣的治理思路？
曾毅：從基本原則看，安全必須是發展超級人工智能的『第一性原理』，即安全應成為模型的『基因』，不可刪除，無法違背，不能因為可能影響模型能力而降低安全護欄。應盡可能全面考慮安全隱患並開展模型安全加固，堅持主動防御而非被動應對。
從實現路徑看，通過『攻擊—防御—評估』的技術過程不斷更新模型，能有效解決如隱私泄露、虛假信息等典型安全問題，妥善應對短期風險。但從長期看，真正的挑戰在於使超級人工智能與人類期望對齊。目前采取的基於人類反饋的強化學習——即在人機交互中將人類價值觀嵌入人工智能的模式，很可能對超級人工智能無法奏效，迫切需要全新的思維與行動方式。
從最終效果看，由於超級人工智能可能擁有自我意識，更安全的理想圖景是使『它』自主產生道德直覺、同理心與利他之心，而非單純依靠外部『灌輸』的價值規則。確保人工智能從合乎倫理變成擁有道德，纔能最大限度降低風險。
彭飛：超級人工智能的安全問題具有全球性，一旦出現漏洞、失控，影響是跨越國界的。而人工智能的全球競爭又非常激烈，無論國家還是企業，都在爭先。一些發達國家在超級人工智能的研發上更是『油門踩到底』。如何避免盲目競爭導致失控？人工智能治理的全球協作有可能嗎？
曾毅：人類需要避免人工智能的發展演變為『軍備競賽』，其危害性不可估量。創造出世界上第一個超級人工智能也許不需要國際合作，但確保超級人工智能對全人類安全可靠，全球合作是必選項。
世界需要一個高效率、有執行力的國際機構，來協調人工智能的治理，以確保安全。2025年8月，聯合國大會決定設立『人工智能獨立國際科學小組』和『人工智能治理全球對話』機制，以促進可持續發展和彌合數字鴻溝。這方面的探索還應深入、繼續。
各主權國家作為政策制定和執行的主體，尤其是掌握先進技術的發達國家，更有責任和義務防止在規則缺位的條件下盲目發展超級人工智能，造成風險外溢。中國倡導構建人類命運共同體、構建網絡空間命運共同體，強調統籌發展和安全，提出《全球人工智能治理倡議》，值得在全球范圍推廣和踐行。寧可稍稍放慢節奏，把安全的底子築牢打紮實，也不能急功近利，以免把人類社會引向萬劫不復的危險境地。
