沒想到，OpenAI短期工作無法推進(jìn)，都是GPU太缺了！
編者按：本文來自微信公眾號(hào) 新智元（ID：AI_era），編輯：桃子，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載
聽證會(huì)之后，Sam Altman帶著團(tuán)隊(duì)在歐洲開啟了「旅行」。
(資料圖片僅供參考)
而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進(jìn)展，全得等GPU跟上了再說。
他討論了OpenAI的API，以及產(chǎn)品計(jì)劃，引起了許多人的關(guān)注。
許多網(wǎng)友紛紛表示，我喜歡Altman的坦誠(chéng)。
值得一提的是，GPT-4的多模態(tài)能力，2024年應(yīng)該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。
微軟老大哥斥資12億美元給OpenAI建的超算，還遠(yuǎn)遠(yuǎn)無法滿足GPT-4運(yùn)行時(shí)所需的算力。畢竟，GPT-4參數(shù)據(jù)稱有100萬億。
另外，Altman還透露，GPT-3也在OpenAI的開源計(jì)劃之中。
不知道是不是這次采訪內(nèi)容透露了太多OpenAI的「機(jī)密」，源文稿目前已被刪除，快點(diǎn)碼了。
劃重點(diǎn)最新訪談，是來自AI開發(fā)平臺(tái)Humanloop的首席執(zhí)行官Raza Habib主持，采訪了Altman以及其他20位開發(fā)人員。
這次討論涉及到實(shí)際的開發(fā)者問題，以及與OpenAI的使命和AI的社會(huì)影響相關(guān)的更大的問題。
以下是關(guān)鍵要點(diǎn)：
1. OpenAI急缺GPU
2. OpenAI的近期路線圖：GPT-4多模態(tài)2024年開放
3. 通過API訪問ChatGPT插件近期不會(huì)發(fā)布
4. OpenAI只做ChatGPT這一「殺手級(jí)應(yīng)用」，目標(biāo)是讓ChatGPT成為一個(gè)超級(jí)智能的工作助手
5. GPT-3在開源計(jì)劃中
6. 模型性能的縮放法則繼續(xù)有效
接下來，將從6大點(diǎn)介紹Sam Altman究竟說了啥。
OpenAI目前嚴(yán)重依賴GPU采訪的一切話題都是圍繞，「OpenAI太缺GPU了」。
這已經(jīng)拖延了他們?cè)S多的短期計(jì)劃。
目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道，主要還是GPU太缺了。
OpenAI是英偉達(dá)DGX-1超算首位客戶
至于，支持32k tokens的上下文長(zhǎng)度還不能推出給更多的人。
由于OpenAI還沒有克服技術(shù)上的障礙，看起來他們似乎今年就會(huì)有支持100k-1M tokens的上下文，但需要在研究上取得突破。
微調(diào)（Fine-Tuning）API也目前受到GPU可用性的限制。
OpenAI還沒有使用像Adapters或LoRa這樣的高效微調(diào)方法，因此微調(diào)對(duì)于運(yùn)行和管理來說是非常計(jì)算密集型的。
不過，未來他們將對(duì)微調(diào)提供更好的支持。甚至，OpenAI可能會(huì)托管一個(gè)社區(qū)貢獻(xiàn)的模型市場(chǎng)。
最后，專用容量提供也受到GPU可用性的限制。
今年年初，網(wǎng)友爆出OpenAI正在悄悄推出一個(gè)新的開發(fā)者平臺(tái)Foundry，讓客戶在專用容量上運(yùn)行該公司的新機(jī)器學(xué)習(xí)模型。
這一產(chǎn)品就是「為運(yùn)行較大工作負(fù)載的尖端客戶設(shè)計(jì)」。要使用這項(xiàng)服務(wù)，客戶必須愿意預(yù)付$100k的費(fèi)用。
然而，從透露的圖片信息可以看出，實(shí)例并不便宜。
運(yùn)行GPT-3.5的輕量級(jí)版本，3個(gè)月的委托將花費(fèi)78,000美元，一年將花費(fèi)264,000美元。
從另一側(cè)面也可以看出，GPU消耗價(jià)格不菲。
OpenAI近期路線圖Altman分享了OpenAI API的暫定近期路線圖：
2023：
· 又快又便宜的 GPT-4ーー這是OpenAI的首要任務(wù)。
總的來說，OpenAI的目標(biāo)是，盡可能地降低「智能成本」。因此他們將努力繼續(xù)降低 API 的成本。
· 更長(zhǎng)的上下文窗口ーー在不久的將來，上下文窗口可能支持高達(dá)100萬個(gè)tokens。
· 微調(diào) API——微調(diào)API將擴(kuò)展到最新的模型，但具體的形式將取決于開發(fā)人員真正想要的是什么。
· 有記憶的API ーー目前大部分token被浪費(fèi)在上文的傳輸中，將來會(huì)有一個(gè)能夠記住對(duì)話歷史的API版本。
2024：
· 多模態(tài)能力ーーGPT-4發(fā)布時(shí)曾演示了強(qiáng)大的多模態(tài)能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。
插件「沒有 PMF」，短期內(nèi)不會(huì)出現(xiàn)在API中
許多開發(fā)者對(duì)通過API訪問ChatGPT插件非常感興趣，但Sam表示這些插件不會(huì)很快發(fā)布。
「除了Browsing外，插件系統(tǒng)還沒有找到PMF?！?/p>
他還指出，很多人想把他們的產(chǎn)品放到ChatGPT里，但實(shí)際上他們真正需要的是把ChatGPT放到他們的產(chǎn)品里。
除了ChatGPT，OpenAI不會(huì)發(fā)布更多產(chǎn)品OpenAI的每一次動(dòng)作，都讓開發(fā)者們抖三抖。
不少開發(fā)人員表示，OpenAI可能發(fā)布與他們競(jìng)爭(zhēng)的產(chǎn)品的時(shí)候，對(duì)使用OpenAI API構(gòu)建應(yīng)用感到緊張。
而Altman表示，OpenAI不會(huì)在ChatGPT之外發(fā)布更多的產(chǎn)品。
在他看來，偉大的公司有一個(gè)「殺手級(jí)應(yīng)用」，ChatGPT就是要做這個(gè)創(chuàng)紀(jì)錄的應(yīng)用。
ChatGPT的愿景是成為一個(gè)超級(jí)智能的工作助理。OpenAI不會(huì)觸及到更多其他GPT的用例。
監(jiān)管是必要的，但開源也是必要的雖然Altman呼吁對(duì)未來模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型是危險(xiǎn)的。
他認(rèn)為，監(jiān)管或禁止現(xiàn)有模型將是一個(gè)巨大的錯(cuò)誤。
采訪中，他重申了自己對(duì)開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。
而現(xiàn)在，OpenAI還沒有開源的部分原因是，他對(duì)有多少個(gè)人和公司有能力托管，和提供大模型表示懷疑。
模型性能「縮放法則」仍有效近來，許多文章聲稱，巨型人工智能模型的時(shí)代已經(jīng)結(jié)束。然而，并沒有準(zhǔn)確反應(yīng)Altman原意。
OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續(xù)產(chǎn)生性能。
不過，縮放的速度不能維持，因?yàn)镺penAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。
這并不意味著OpenAI不會(huì)繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會(huì)增加1倍/2倍，而不是增加多個(gè)數(shù)量級(jí)?？s放法則繼續(xù)有效的事實(shí)對(duì)AGI開發(fā)的時(shí)間線有重要的影響。
縮放假設(shè)是我們可能已經(jīng)有了構(gòu)建AGI所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。
如果縮放的時(shí)代結(jié)束了，那么我們可能應(yīng)該預(yù)期AGI會(huì)更遠(yuǎn)?？s放法則繼續(xù)有效強(qiáng)烈暗示了實(shí)現(xiàn)AGI時(shí)間線會(huì)變短。
網(wǎng)友熱評(píng)有網(wǎng)友調(diào)侃道，
OpenAI：必須通過法規(guī)來保護(hù)我們的護(hù)城河。還是OpenAI：Meta在我們的護(hù)城河里撒尿，讓我們也暗示一下我們的模型要開源吧。
還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時(shí)間在M1芯片上就能運(yùn)行了。
社區(qū)開發(fā)人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發(fā)者們就能讓其運(yùn)行在CPU和邊緣設(shè)備。
GPU短缺一事，有人認(rèn)為是OpenAI資金鏈出了問題，買不起。
然而還有人稱，明顯是缺乏供應(yīng)。除非芯片制造業(yè)發(fā)生革命，否則相對(duì)于消費(fèi)GPU來說，可能總是會(huì)出現(xiàn)供應(yīng)不足的情況。
還有網(wǎng)友懷疑，英偉達(dá)的價(jià)值還是被低估？計(jì)算需求的階梯式變化可能持續(xù)數(shù)年...
英偉達(dá)剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會(huì)成就一個(gè)世界超越2萬億美元的芯片廠。
參考資料：
https://humanloop.com/blog/openai-plans
https://news.ycombinator.com/item?id=36141544