中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
分類: 最新資訊
常識詞典
編輯 : 常識
發(fā)布 : 09-09
閱讀 :361
9月7日消息，在今日開幕的2023 INCLUSION·外灘大會上，中國科學院院士何積豐表示，大模型的安全問題主要是在未經同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發(fā)生在訓練過程，也可能發(fā)生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護更加困難?！盀榱藨獙@些問題，我們需要大模型對齊技術?！焙畏e豐說，“對齊（alignment）”是指系統(tǒng)的目標和人類價值觀一致，使其符合設計者的利益和預期，不會產生意外的有害后果?！叭绻讶斯ぶ悄芸醋魑饔斡浝锏膶O悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術不會任意使用能力胡作非為。”不過，對齊技術同樣面臨挑戰(zhàn)。首先，對齊的基礎，人類的價值觀是多元且動態(tài)變化的，需要保證大模型為人服務、與人為善；其次，大模型的有用性與無害性之間目標也不完全一致。如何對錯誤進行有效糾正，設好大模型的“緊箍咒”也是挑戰(zhàn)。因此，對齊技術已經成為了一項令人眼花繚亂的跨學科研究，不僅考驗技術，也審視文化。何積豐介紹，反饋強化學習是實現(xiàn)對齊的技術途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導模型的高質量輸出；另一種方式，事先給大模型提供明確的原則，系統(tǒng)自動訓練模型對所有生成的輸出結果提供初始排序?！斑@意味著，不僅智能系統(tǒng)需要向人類價值觀對齊，人類的訓練方法也要向價值觀對齊?！焙畏e豐說。 （一橙）
