OpenAI震撼研究:用GPT-4解釋30萬神經元,原來AI的黑盒要AI自己去打開_今熱點
來源:富途牛牛 發布時間:2023-05-10 20:02:11

來源:量子位

沒想到,打開AI黑盒這件事,可能還要靠AI自己來實現了。

OpenAI的最新研究來了一波大膽嘗試:


(資料圖片)

讓GPT-4去解釋GPT-2的行為模式。

結果顯示,超過1000個神經元的解釋得分在0.8以上——也就是說GPT-4能理解這些神經元。

要知道,“AI黑箱難題”長期以來是一個熱議話題,尤其是大語言模型領域,人類對其內部工作原理的理解還非常有限,這種“不透明化”也進一步引發了人類對AI的諸多擔憂。

目前推進AI可解釋性研究的一個簡單辦法,就是逐個分析大模型中的神經元,手動檢查以確定它們各自所代表的數據特征。

但對于規模已經達到百億、千億級別的大規模神經網絡來說,工作量和工作難度就都漲了億點點吧。

由此,OpenAI的研究人員想到,干嘛不讓AI去自動化搞定這個大工程?

在這項最新的研究中,他們將GPT-4打造成了一個理解AI行為模式的工具,把GPT-2超過30萬個神經單元都解釋了一遍,并和實際情況比對進行評分。

最終生成的解釋數據集和工具代碼,已對外開源。

研究人員表示:未來,這種AI工具可能在改善LLM性能上發揮巨大作用,比如減少AI偏見和有害輸出。

解釋接近人類水平

具體來看,整個研究的步驟可以分為三步。

第一步,先給GPT-4一段文本,并展示GPT-2在理解這段文本時激活的神經元情況。

然后讓GPT-4來解釋,這段文本中神經元的激活情況。

比如示例中給出了一段漫威復聯的文本,GPT-4分析的激活神經元為:

電影、角色和娛樂

第二步,讓GPT-4開始模擬,這些被解釋的神經元接下來會做什么。

GPT-4給出了一段內容。

第三步,讓GPT-2真實的神經元激活來生成結果,然后和GPT-4模擬的結果進行比對,研究人員會對此打分。

在博客給出的示例中,GPT-4的得分為0.34.

使用這個辦法,研究人員讓GPT-4解釋了GPT-2一共307200個神經元。

OpenAI表示,使用這一基準,AI解釋的分數能接近人類水平。

從總體結果來看,GPT-4在少數情況下的解釋得分很高,在0.8分以上。

他們還發現,不同層神經元被激活的情況,更高層的會更抽象。

此外,團隊還總結了如下幾點結論:

如果讓GPT-4重復解釋,它的得分能更高

如果使用更強大的模型來解釋,得分也會上升

用不同的激活函數訓練模型,能提高解釋分數

總結來看就是,雖然GPT-4目前的表現一般,但是這個方法和思路的提升空間還有很大。

團隊也強調,現在在GPT-2上的表現都不太好,如果換成更大、更復雜的模型,表現也會比較堪憂。

同時這種模式也能適用于聯網的LLM,研究人員認為可以通過簡單調整,來弄清楚神經元如何決策搜索內容和訪問的網站。

此外他們還表示,在創建這個解釋系統時并沒有考慮商業化問題,理論上除了GPT-4,其他LLM也能實現類似效果。

接下來,他們打算解決研究中的這幾個問題:

AI神經元行為十分復雜,但GPT-4給的解釋非常簡單,所以有些復雜行為還無法解釋;

希望最終自動找到并解釋復雜的整個神經回路,神經元和注意力頭一起工作;

目前只解釋了神經元的行為,但沒解釋行為背后的機制;

整個過程算力消耗巨大。

網友:快進到AI創造AI

意料之中,這項研究馬上在網絡上引發熱議。

大家的腦洞畫風be like:“AI教人類理解AI。”

“AI教人類關掉AI中存在風險的神經元。”

還有人開始暢想,AI理解AI會快速發展為AI訓練AI(已經開始了),然后再過不久就是AI創造新的AI了。

當然這也引發了不少擔憂,畢竟GPT-4本身不還是個黑盒嘛。

人類拿著自己不理解的東西,讓它解釋另一個自己不理解的東西,這個風險emm……

這項研究由OpenAI負責對齊的團隊提出。

他們表示,這部分工作是他們對齊研究的第三大支柱的一部分:

我們想要實現自動化對齊。這種想法一個值得思考的方面是,它可能隨著AI的發展而擴展更多。隨著未來AI模型變得越來越智能,我們也能找到對AI更好的解釋。

關鍵詞:

猜你喜歡

OpenAI震撼研究:用GPT-4解釋30萬神經元,原來AI的黑盒要AI自己去打開_今熱點

OpenAI震撼研究:用GPT-4解釋30萬神經元,原來AI

來源:量子位沒想到,打開AI黑盒這件事,可能還要靠AI自己來實現了。OpenAI的最新研究來了一波大膽...更多

2023-05-10 20:02:11
金價還能創新高?

金價還能創新高?"2年行情才走了半年"!機構犀利

來源:券商中國作者:余世鵬今年以來黃金價格在不斷上漲,截至目前維持在2030美元 盎司高位水平。...更多

2023-05-10 19:10:25
5天回購22億美元!無懼盈利下滑,美國企業大舉回購股票|世界快資訊

5天回購22億美元!無懼盈利下滑,美國企業大舉回

來源:智通財經作者:莊禮佳以JillCareyHall為首的美銀策略師周二表示:“在今年2月和3月的溫和趨勢...更多

2023-05-10 18:01:34
期權IV追蹤 | 業績指引大超預期!諾瓦瓦克斯醫藥隱含波動率連日上升;PacWest期權交易量大幅萎縮

期權IV追蹤 | 業績指引大超預期!諾瓦瓦克斯醫

隱含波動率(IV)是對一支股票年內價格變動的預估,反映投資者對未來價格波動程度的預期,是期權定...更多

2023-05-10 18:04:20
全球觀天下!內銀股遭沽售!北水賣出建設銀行、工商銀行,逆勢買入騰訊超6億港元;南水搶籌中國平安超6億元

全球觀天下!內銀股遭沽售!北水賣出建設銀行、工

5月10日(周三),南向資金今日凈賣出2 35億港元。$建設銀行(00939 HK)$、$中國移動(00941 HK)$、$工商銀行更多

2023-05-10 18:17:10
美國M2暴跌成4月CPI“降溫神器”? 天天要聞

美國M2暴跌成4月CPI“降溫神器”? 天天要聞

來源:華爾街見聞今夜即將公布的美國4月CPI無疑是全場矚目的焦點,目前有觀點將CPI后續表現和M2貨幣供應量更多

2023-05-10 18:09:27
理想Q1營收188億元同比接近翻倍!凈利潤9.3億元實現扭虧 全球快消息

理想Q1營收188億元同比接近翻倍!凈利潤9.3億元實

來源:華爾街見聞在車市價格戰硝煙濃烈的一季度,新晉蔚小理老大$理想汽車(LI US)$交出了一份亮眼的財報。更多

2023-05-10 17:53:07
港市速睇 | 科指午后小幅轉漲,鋰電、汽車股表現強勢,天齊鋰業飆漲超11%,長城汽車漲超6%

港市速睇 | 科指午后小幅轉漲,鋰電、汽車股表

富途資訊5月10日消息,港股三大指數漲跌不一,恒指跌0 53%,國指跌0 77%,恒生科技指數漲0 34%表現最佳。截更多

2023-05-10 16:57:12
OpenAI發布炸裂研究:讓AI解釋AI黑箱,人類無法理解,語言無法描述

OpenAI發布炸裂研究:讓AI解釋AI黑箱,人類無法理

來源:極客公園-FounderPark就算在新產品滿天飛,商業文明正在被AI重建的當下,我們仍然不知道,這些令人驚更多

2023-05-10 17:11:52
對沖大神德魯肯米勒:美國經濟處于衰退邊緣,預計將出現硬著陸

對沖大神德魯肯米勒:美國經濟處于衰退邊緣,預計

來源:智通財經Duquesne家族辦公室的億萬富翁創始人德魯肯米勒(StanDruckenmiller)周二表示,他認為美國經更多

2023-05-10 17:09:53

© 2012-2020 財經快報網 版權所有 關于我們

網站聯系郵箱:435 227 67@qq.com

瓊ICP備2022009675號-3