OpenAI研究員預(yù)測(cè)：AI將知道自己是AI
編者按：本文來自微信公眾號(hào) 新智元（ID：AI_era），作者：新智元，創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
就在剛剛，網(wǎng)上曝出了一封千位大佬的聯(lián)名信，要封殺所有比GPT-4強(qiáng)的AI！
(資料圖片)
在這封聯(lián)名信上，超過1000位大佬呼吁——我們應(yīng)該立即停止訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)，暫停期至少6個(gè)月。
目前簽名的有，圖靈獎(jiǎng)得主Yoshua Bengio、Stability AI首席執(zhí)行官Emad Mostaque、蘋果聯(lián)合創(chuàng)始人Steve Wozniak、紐約大學(xué)教授馬庫(kù)斯、馬斯克，以及「人類簡(jiǎn)史」作者Yuval Noah Harari等等。
看看這根本看不到頭的簽名，大佬含量過高了。
能夠集齊一千多位大佬的簽名，想必這項(xiàng)聯(lián)名已經(jīng)準(zhǔn)備多時(shí)了。
不過，同樣作?為?圖靈獎(jiǎng)得主的Yann ??LeCun并沒有簽署：「我不同意這個(gè)前提。」
另外，簽名中還出現(xiàn)了一個(gè)所謂的「OpenAi CEO」，但根據(jù)馬庫(kù)斯和一眾網(wǎng)友的推測(cè)，應(yīng)該不是本人簽的名。整件事非常撲朔迷離。
截止發(fā)稿前，他還特地@了一下Sam Altman確認(rèn)消息。
大佬聯(lián)名：叫停比GPT-4強(qiáng)的AI公開信表示，大量研究表明，得到頂級(jí)AI實(shí)驗(yàn)室的認(rèn)可、具有人類競(jìng)爭(zhēng)智能的AI系統(tǒng)，可能對(duì)社會(huì)和人類構(gòu)成深遠(yuǎn)的風(fēng)險(xiǎn)。
正如廣泛認(rèn)可的Asilomar AI原則中所述，高級(jí)AI可能意味著地球生命史上的深刻變化，我們應(yīng)該投入相應(yīng)的考量和資源，對(duì)之進(jìn)行規(guī)劃和管理。
不幸的是，到現(xiàn)在為止，還沒有任何人采取行動(dòng)。
最近這幾個(gè)月，全球的AI實(shí)驗(yàn)室已經(jīng)完全失控了，它們瘋狂地開展AI競(jìng)賽，來開發(fā)和部署更強(qiáng)大的AI，而沒有任何人可以理解、預(yù)測(cè)、控制這些AI，連它們的創(chuàng)造者都不能。
如今，AI系統(tǒng)在一般系統(tǒng)上已經(jīng)變得和人類一樣有競(jìng)爭(zhēng)力，我們必須捫心自問：
任何未經(jīng)選舉產(chǎn)生的技術(shù)領(lǐng)導(dǎo)者，都沒有權(quán)利做出如此重要的決定。
只有當(dāng)我們確信，這種AI的影響是積極的、風(fēng)險(xiǎn)是可控的時(shí)候，才應(yīng)該開發(fā)強(qiáng)大的AI系統(tǒng)。而且，我們必須有充分的理由相信這一點(diǎn)，潛在的影響越大，我們就更加需要確信這一點(diǎn)。
OpenAI最近關(guān)于通用人工智能的聲明指出，「某個(gè)階段，在開始訓(xùn)練未來的系統(tǒng)之前，進(jìn)行獨(dú)立的審查可能非常重要，而對(duì)于創(chuàng)建新模型所用算力的增長(zhǎng)速度，也應(yīng)該有所限制?！?/p>
我們同意這一點(diǎn)，而那個(gè)時(shí)間點(diǎn)，就是現(xiàn)在。
因此，我們呼吁所有AI實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)，至少6個(gè)月。
這種暫停應(yīng)該向所有人公開，所有人都可驗(yàn)證，并且要涉及所有關(guān)鍵成員。如果不能迅速暫停，就應(yīng)該讓政府介入。
在這6個(gè)月內(nèi)，所有AI實(shí)驗(yàn)室和獨(dú)立學(xué)者都應(yīng)該合力開發(fā)一套共享安全協(xié)議，用于高級(jí)AI的設(shè)計(jì)和開發(fā)。協(xié)議完成后，應(yīng)該由獨(dú)立的外部專家進(jìn)行嚴(yán)格的審計(jì)和監(jiān)督。這些協(xié)議必須確保這些AI系統(tǒng)毋庸置疑的安全。
這并不是說，我們要絕對(duì)暫停AI的開發(fā)，只是說，我們應(yīng)該從危險(xiǎn)的競(jìng)賽中退后一步，轉(zhuǎn)向具有涌現(xiàn)能力的、更大的、不可預(yù)測(cè)的黑箱模型。
所有的人工智能研究和開發(fā)，都應(yīng)該重新聚焦于這一點(diǎn)——讓當(dāng)如今最強(qiáng)大的SOTA模型更加準(zhǔn)確、安全、可解釋、透明、穩(wěn)健、對(duì)齊，值得人類信賴，對(duì)人類忠誠(chéng)。
與此同時(shí)，開發(fā)者必須與政策制定者合作，大幅加快開發(fā)強(qiáng)大的AI管理系統(tǒng)。
系統(tǒng)至少應(yīng)該包括：
專門負(fù)責(zé)監(jiān)管AI的機(jī)構(gòu) 出處和水印系統(tǒng)，從而幫助區(qū)分真實(shí)與生成的內(nèi)容，并且能夠跟蹤模型的泄漏 強(qiáng)大的審計(jì)和認(rèn)證系統(tǒng) 在AI造成傷害后，明確誰(shuí)該承擔(dān)責(zé)任 為AI安全技術(shù)研究提供強(qiáng)大的公共資金人類可以享受AI帶來的繁榮未來。在成功創(chuàng)建了強(qiáng)大的AI系統(tǒng)后，我們可以享受「AI之夏」，收獲回報(bào)，設(shè)計(jì)上述系統(tǒng)，以造福所有人，給全人類一個(gè)適應(yīng)的機(jī)會(huì)。
現(xiàn)在，我們的社會(huì)已經(jīng)暫停其他可能造成災(zāi)難性影響的技術(shù)。對(duì)于AI，我們也該如此。
讓我們享受一個(gè)漫長(zhǎng)的AI夏天，而不是毫無準(zhǔn)備地進(jìn)入秋天。
很快，這封千位大佬簽署公開信就引發(fā)了輿論的軒然大波。
支持的人認(rèn)為對(duì)于AI的恐慌是合理的，因其訓(xùn)練效率太高，智能的水平每天都在膨脹。
反對(duì)的人甚至貼出了愛迪生指示人畫的交流電害死人的宣傳海報(bào)，認(rèn)為這不過莫名的指控，在別有用心的勢(shì)力在誤導(dǎo)不明真相的群眾。
Sam Altman，態(tài)度耐人尋味從最近發(fā)生的事來看，這封信的到來，可謂是千呼萬(wàn)喚始出來。
從去年11月底，ChatGPT仿佛叩響了發(fā)令槍，全世界的AI機(jī)構(gòu)都在瘋狂沖刺，卷到紅了眼。
而「始作俑者」的OpenAI，腳步也絲毫沒有放慢，聯(lián)合著金主爸爸微軟，它隔一陣就給我們來一個(gè)暴擊。
先進(jìn)的AI工具帶給人們的恐慌，一波又一波沖擊著所有人。
今天，大佬們終于出手了。
而在昨日公開的訪談中，Sam Altman的話中，竟有了一些耐人尋味的表達(dá)。
他說，GPT系列為何會(huì)出現(xiàn)推理能力，OpenAI的研究者自己搞不明白。
他們只知道，在不斷測(cè)試中，人們忽然發(fā)現(xiàn)：從ChatGPT開始，GPT系列開始出現(xiàn)了推理能力。
另外Altman在訪談中還說了這樣石破天驚的一句：「AI確實(shí)可能殺死人類」。
而除了Altman，人工智能教父Geoffrey Hinton、比爾蓋茨、紐約大學(xué)教授Gary Marcus最近也紛紛發(fā)出警示：AI消滅人類，真的不是空談。
OpenAI研究員預(yù)測(cè)：AI將知道自己是AI無獨(dú)有偶，來自O(shè)penAI治理團(tuán)隊(duì)的Richard Ngo，也對(duì)兩年后AI的發(fā)展程度進(jìn)行了預(yù)測(cè)。
在此之前，他是DeepMind的AGI安全團(tuán)隊(duì)的研究工程師。
根據(jù)Richard的預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)在發(fā)展到2025年底時(shí)將具備以下特性：
擁有人類水平的態(tài)勢(shì)感知，比如知道自己是神經(jīng)網(wǎng)絡(luò)等 在撰寫復(fù)雜且有效的計(jì)劃方面超過人類 比大多數(shù)同行評(píng)審做得更好 可以自主設(shè)計(jì)、編碼并分發(fā)完整的應(yīng)用程序 在任何一項(xiàng)白領(lǐng)工作者可以在10分鐘內(nèi)完成的計(jì)算機(jī)任務(wù)上勝過任何人 編寫能獲獎(jiǎng)短篇小說，以及長(zhǎng)達(dá)5萬(wàn)字的書籍 生成連貫的20分鐘電影不過，優(yōu)秀的人類在以下幾個(gè)方面仍然會(huì)做得更好（盡管速度要慢得多）：
寫小說 連續(xù)數(shù)天穩(wěn)定地執(zhí)行一個(gè)計(jì)劃 在科學(xué)研究上取得突破，比如定理的創(chuàng)新（盡管神經(jīng)網(wǎng)絡(luò)至少已證明了一個(gè)） 與神經(jīng)網(wǎng)絡(luò)控制的機(jī)器人相比，完成典型的體力勞動(dòng)任務(wù)此處補(bǔ)充一下，通俗地講，態(tài)勢(shì)感知（situational awareness）是指?jìng)€(gè)體對(duì)周圍環(huán)境中發(fā)生的事件和情況的感知、理解和預(yù)測(cè)。這包括了解周圍環(huán)境的動(dòng)態(tài)變化，評(píng)估這些變化對(duì)自己和他人的影響，以及預(yù)測(cè)未來可能出現(xiàn)的情況。
有關(guān)態(tài)勢(shì)感知在AI研究中的具體定義，可以參閱下面這篇論文：
論文地址：https://arxiv.org/abs/2209.00626
Richard表示，自己的預(yù)測(cè)其實(shí)更接近2年，但由于不同人會(huì)采用不同的評(píng)估標(biāo)準(zhǔn)，所以2.75年似乎更穩(wěn)健。
此外，這里提到的「預(yù)測(cè)」是指，Richard認(rèn)為這個(gè)觀點(diǎn)的可信度超過50%，但不一定比50%高很多。
需要注意的是，預(yù)測(cè)并沒有基于任何與OpenAI有關(guān)的特定信息。
網(wǎng)友翹首以待GPT-5相比于十分謹(jǐn)慎的大佬，網(wǎng)友們?cè)隗w驗(yàn)了性能炸裂的GPT-4之后，顯然已經(jīng)迫不及待地等著GPT-5的到來了。
最近，關(guān)于GPT-5的預(yù)測(cè)，更是就像雨后春筍一般冒個(gè)不?！?/p>
（非官方）
根據(jù)一個(gè)神秘團(tuán)隊(duì)的預(yù)測(cè)，GPT-5將在GPT-4的基礎(chǔ)上，帶來一系列令人興奮的功能和增強(qiáng)的性能，比如在可靠性、創(chuàng)造力和適應(yīng)復(fù)雜任務(wù)方面的全面超越。
· 個(gè)性化模板：根據(jù)用戶的特定需求和輸入變量進(jìn)行定制，提供更個(gè)性化的體驗(yàn)。
· 允許用戶調(diào)整AI的默認(rèn)設(shè)置：包括專業(yè)性、幽默程度、說話語(yǔ)氣等。
· 自動(dòng)將文本轉(zhuǎn)換成不同格式：如靜態(tài)圖像、短視頻、音頻和虛擬模擬。
· 高級(jí)數(shù)據(jù)管理：包括記錄、跟蹤、分析和共享數(shù)據(jù)，從而簡(jiǎn)化工作流程并提高生產(chǎn)力。
· 輔助決策：通過提供相關(guān)信息和見解，協(xié)助用戶做出明智的決策。
· 更強(qiáng)的NLP能力：增強(qiáng)AI對(duì)自然語(yǔ)言的理解和響應(yīng)，使其更接近人類。
· 集成機(jī)器學(xué)習(xí)：允許AI不斷學(xué)習(xí)和改進(jìn)，隨著時(shí)間的推移適應(yīng)用戶需求和偏好。
作為過渡的GPT-4.5此外，這個(gè)團(tuán)隊(duì)還預(yù)測(cè)，作為過渡的GPT-4.5模型將在2023年9月或10月推出。
GPT-4.5將建立在2023年3月12日發(fā)布的GPT-4的優(yōu)勢(shì)基礎(chǔ)上，為其對(duì)話能力和上下文理解帶來更多的改進(jìn)：
處理更長(zhǎng)的文本輸入GPT-4.5可能會(huì)在保持上下文和連貫性的同時(shí)處理和生成更長(zhǎng)的文本輸入。這一改進(jìn)將提高模型在處理復(fù)雜任務(wù)和理解用戶意圖方面變的性能。
增強(qiáng)的連貫性GPT-4.5可能會(huì)提供更好的連貫性，確保生成的文本在整個(gè)對(duì)話或內(nèi)容生成過程中始終關(guān)注相關(guān)主題。
更準(zhǔn)確的回應(yīng)GPT-4.5可能會(huì)提供更準(zhǔn)確和上下文相關(guān)的回應(yīng)，使其成為各種應(yīng)用的更有效工具。
模型微調(diào)此外，用戶可能也可以更加便捷地微調(diào)GPT-4.5，從而更有效地定制模型并應(yīng)用于特定任務(wù)或領(lǐng)域，客戶支持、內(nèi)容創(chuàng)建和虛擬助手等。
參照目前GPT-3.5和GPT-4的情況，GPT-4.5很可能也會(huì)為GPT-5的創(chuàng)新奠定堅(jiān)實(shí)基礎(chǔ)。通過解決GPT-4的局限性并引入新的改進(jìn)，GPT-4.5將在塑造GPT-5發(fā)展過程中發(fā)揮關(guān)鍵作用。
參考資料https://futureoflife.org/open-letter/pause-giant-ai-experiments/
https://chatgpt-5.ai/gpt-5-capabilities/
https://twitter.com/RichardMCNgo/status/1640568775018975232