讓人類成功過渡到一個擁有超級智能的世界，可能是有史以來最重要、最有希望、最可怕的項目。
來源丨創(chuàng)業(yè)邦（ID：ichuangyebang）
編輯丨及軼嶸
(資料圖)
近日，ChatGPT之父阿爾特曼在OpenAI官網(wǎng)發(fā)布了他對AGI（通用人工智能）的看法和未來的計劃。
阿爾特曼說，AGI可能帶來嚴重的濫用、重大事故和社會混亂的風險。OpenAI希望通過制定一些原則來確保AGI的好處最大化，并控制它的潛在風險。原則包括：
*讓AGI成為放大器，促進人類最大程度繁榮；
*確保AGI的訪問權和治理得到廣泛和公平的分享；
*通過部署功能較弱的版本來不斷學習和適應，減少押寶“一次性成功”。
阿爾特曼說，成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。AGI距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結起來。
以下是創(chuàng)業(yè)邦整理的全文，內(nèi)容經(jīng)編輯處理：
我們的使命是確保AGI（即比人類更聰明的AI系統(tǒng)）能夠造福全人類。
如果AGI得以成功創(chuàng)建，這項技術可以通過增加豐富度、賦能全球經(jīng)濟、以及助力發(fā)現(xiàn)能帶來無限可能的科學新知，來幫助人類提升能力。
AGI有賦予每個人不可思議的新能力的潛力。我們可以想象有這樣一個世界，所有人都可以獲得幾乎所有認知的幫助，為人類的才智和創(chuàng)造力提供巨大的力量倍增器（force multiplier）。
但另一方面，AGI也會產(chǎn)生嚴重的濫用、重大事故和社會混亂的風險。由于AGI對社會產(chǎn)生的價值如此之高，我們認為，永久性地終止它的發(fā)展是不可能的，也是不可取的。相反，社會和AGI的開發(fā)者必須想辦法把事情做對。
雖然我們無法準確預測會發(fā)生什么，而且目前的進展也可能會受挫，但我們可以闡明我們最關心的原則：
我們希望AGI能夠為人類在宇宙中最大程度的繁榮賦能。我們不希望未來是一個不合格的烏托邦，我們希望將好的方面最大化，將壞的方面最小化，讓AGI成為人類的放大器。
我們希望AGI的好處、訪問權和治理得到廣泛和公平的分享。
我們希望能夠成功地應對那些巨大的風險。在面對這些風險時，我們承認，理論上看似正確的事情，在實踐中往往比預期更奇怪。我們認為，我們必須通過部署功能較差的版本來不斷學習和適應，最大程度地減少指望獲得“一次性成功”（one shot to get it right）的情況。
短期來看為了迎接AGI，我們認為現(xiàn)在有幾件事非常重要。
第一，隨著我們不斷創(chuàng)建更強大的系統(tǒng)，我們希望部署它們，并獲得在真實世界中操作它們的經(jīng)驗。我們相信這是謹慎導入和管理AGI的最佳方式——逐漸過渡到AGI世界比急速過渡要好。我們期望強大的AI能夠加速世界的進步，但我們認為一個逐步適應的過程更好。
漸進的過渡，讓民眾、政策制定者和機構有時間了解正在發(fā)生的事情，親身體驗系統(tǒng)的好處和缺點，讓經(jīng)濟做出相應的調(diào)整，并實施監(jiān)管。它還允許社會和AI共同進化，并允許大家在風險相對較低的情況下弄清楚自己想要什么。
目前，我們認為，成功應對AI部署挑戰(zhàn)的最佳方法，是采用快速學習和謹慎迭代的緊密反饋循環(huán)。社會將面臨一些重大問題，包括AI系統(tǒng)被允許做什么、如何應對偏見、如何處理工作崗位流失等。最佳決策將取決于所采用的技術路徑。與任何新領域一樣，目前為止大多數(shù)專家預測都是錯誤的。在真空中做規(guī)劃非常困難。
總體來說，我們認為世界更多地使用AI會帶來好處，我們希望推廣它（通過將模型放入API，將它們開源等）。我們相信，民主化的訪問權也會帶來更多和更好的研究、分散的權力、更多的益處，以及更多的人會貢獻新的想法。
隨著我們的系統(tǒng)越來越接近AGI，我們對模型的創(chuàng)建和部署變得越來越謹慎。相較于社會通常對新技術應用的態(tài)度，以及許多用戶的希望，我們的決定更加謹慎。AI領域的一些人認為AGI（和后繼系統(tǒng)）的風險是虛構的。如果結果證明他們是對的，我們會很高興，但我們會把風險當作真實的存在。
在某些時候，利弊之間的平衡可能會發(fā)生變化。比如，在發(fā)生授權惡意行為者、造成社會和經(jīng)濟破壞以及加速不安全的競賽的情況下，我們將實質(zhì)性地改變我們的部署計劃。
其次，我們正在創(chuàng)建更加一致和可控的模型。一個早期的例子是我們從GPT-3的第一個版本到InstructGPT和ChatGPT的轉(zhuǎn)變。
我們認為重要的是，社會就使用AI的極其廣泛的邊界達成共識，在這些邊界內(nèi)，個人用戶有很大的自由裁量權。我們最終的希望是全世界的機構就這些廣泛的邊界應該在哪里達成一致。但在短期內(nèi)，我們計劃對外部輸入進行實驗。世界上的機構需要加強其能力和經(jīng)驗，以便為有關AGI的復雜決策做好準備。
我們產(chǎn)品的“默認設置”（default setting）可能會相當克制，但我們計劃讓用戶能夠輕松地更改他們正在使用的AI的行為。讓每個人自己做決定，觀念多樣性有巨大的內(nèi)在力量，這兩點是我們的信仰。
隨著我們的模型日益強大，我們需要開發(fā)新的對齊技術（alignment technology）。我們的短期計劃是使用AI來幫助人類評估更復雜的模型的輸出，并監(jiān)控復雜系統(tǒng)。從長遠看，使用AI來幫助我們提出新的想法，以實現(xiàn)更好的對齊技術。
重要的是，我們認為經(jīng)常需要在AI安全和能力兩方面共同進步。將它們分開討論是錯誤的二分法，因為在很多方面它們是相關的。我們最好的安全工作來自與我們最有能力的模型一起工作。換句話說，提高安全與能力進步的比率很重要。
第三，我們希望就三個關鍵問題開展全球?qū)υ挘喝绾沃卫磉@些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，以及如何公平共享訪問權限。
除此之外，我們還嘗試以一種讓我們的激勵與良好結果保持一致的方式來建立我們的架構。我們的章程中有一個條款是關于協(xié)助其它組織提高安全性，而不是在后期AGI開發(fā)中與他們競爭。我們對股東獲得的回報設定了上限，這樣我們就不會冒險和無節(jié)制地獲取價值。我們有一個非營利組織來管理我們自己，讓我們?yōu)槿祟惖睦娑?jīng)營（并且可以凌駕于任何營利利益之上），包括讓我們做一些事情，比如在安全需要的情況下，取消我們對股東的股權義務，并資助世界上最全面的UBI（Universal Basic Income，普遍基本收入）實驗。
我們試圖完善我們的架構，以便讓激勵措施與良好結果保持一致。
我們認為在發(fā)布新系統(tǒng)之前提交獨立審計是很重要的。我們將在今年晚些時候更詳細地討論這個問題。在某些情況下，在開始訓練未來系統(tǒng)之前獲得獨立審查可能很重要，最終，同意限制用于創(chuàng)建新模型的計算能力的增長率。我們認為一些關于AGI的公共標準很重要，包括何時應停止訓練、確定模型可以安全發(fā)布，或從生產(chǎn)使用中撤出模型。最后，我們認為重要的是世界主要國家的政府對超過一定規(guī)模的訓練有洞察力。
長遠來看我們認為人類的未來應該由人類自己來決定，而且與公眾分享進展的信息非常重要。所有試圖建立AGI的努力都應該接受嚴格的審查，重大決策需要進行公眾咨詢。
第一個AGI將只是智能連續(xù)體上的一個點。我們認為進展很可能會從那里繼續(xù)下去，可能會在很長一段時間內(nèi)保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個錯位的超級智能AGI可能會對世界造成嚴重的傷害；一個擁有超級智能的不好的政體也會導致這種情況發(fā)生。
有足夠能力加速自身進步的AGI，可能會導致重大的變化以驚人的速度出現(xiàn)（即使過渡開始緩慢，我們預計它在最后階段也會很快發(fā)生）。我們認為慢慢起飛，安全更容易得到保證。而且，在關鍵時刻如何協(xié)調(diào)讓AGI各方共同減速可能很重要（即使在不需要這樣做來解決技術對齊問題的世界中，也要給社會足夠的時間來適應）。
成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結起來。
我們可能進入一個繁榮程度無法想象的世界。我們希望為世界貢獻一個與這種繁榮相一致的通用人工智能。
原文：https://openai.com/blog/planning-for-agi-and-beyond/