就在昨天，Meta和OpenAI打響了硅谷 AI 大模型保衛(wèi)戰(zhàn)。
美國科技巨頭Meta昨天推出迄今為止性能最強大的開源大模型——Llama 3.1 405B（4050億參數(shù)），同時發(fā)布了全新升級的Llama 3.1 70B和8B模型版本。
Llama 3.1 405B支持上下文長度為128K Tokens，在基于15萬億個Tokens、超1.6萬個H100 GPU上進行訓(xùn)練，這也是Meta有史以來第一個以這種規(guī)模進行訓(xùn)練的Llama模型。研究人員基于超150個基準測試集的評測結(jié)果顯示，Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業(yè)界頭部模型相比較。
Meta創(chuàng)始人、首席執(zhí)行官馬克·扎克伯格 (Mark Zuckerberg) 稱Llama 3.1為“最先進的”模型，他認為Meta正在建造的 Llama 模型是世界上最先進的，且表示Meta 已經(jīng)在開發(fā) Llama 4。甚至扎克伯格還親自寫了篇長文《Open Source AI Is the Path Forward》，發(fā)出了“開源引領(lǐng) AI 行業(yè)、新時代”的聲音。
但與此同時，OpenAI坐不住了。就在今晨，OpenAI宣布，今年9月23日之前，性能最強的小模型GPT-4o mini微調(diào)版全面免費，GPT-4o mini的輸入Tokens費用比GPT-3.5 Turbo低90%，輸出Tokens費用低80%。
這意味著，OpenAI希望把GPT-4o mini 微調(diào)價格降到極致，從而與Meta展開一場新的 AI 軍備競爭。
全球性能最強4050億開源大模型Llama 3.1來了 算力成本高達數(shù)億美金
具體來說，Meta Llama 3.1 405B，是全球迄今為止性能最強大、參數(shù)規(guī)模最大的開源模型，在基于15萬億個Tokens、超1.6萬個H100 GPU上進行訓(xùn)練。
Meta表示，為了能夠以這種規(guī)模進行訓(xùn)練并在合理的時間內(nèi)取得成果，團隊顯著優(yōu)化了整個訓(xùn)練堆棧，并將模型訓(xùn)練推向超過 16,000 個 H100 GPU，使 405B 成為第一個以這種規(guī)模訓(xùn)練的 Llama 模型。
同時，與之前的 Llama 版本相比，Llama 3.1提高了用于訓(xùn)練前和訓(xùn)練后的數(shù)據(jù)的數(shù)量和質(zhì)量。這些改進包括為訓(xùn)練前數(shù)據(jù)開發(fā)更仔細的預(yù)處理和管理流程、開發(fā)更嚴格的質(zhì)量保證以及訓(xùn)練后數(shù)據(jù)的過濾方法。
另外，為了支持 405B 規(guī)模模型的大規(guī)模生產(chǎn)推理，團隊還將模型從 16 位 (BF16) 量化為 8 位 (FP8) 數(shù)字，有效降低了所需的計算要求并允許模型在單個服務(wù)器節(jié)點內(nèi)運行。
而且，Meta評估了超150個基準數(shù)據(jù)集的性能，Llama 3.1 405B在常識、可操作性、數(shù)學(xué)、工具使用和多語言翻譯等一系列任務(wù)中，可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra相媲美。
在其他場景中，Llama 3.1 405B進行了與人工評估的比較，其總體表現(xiàn)優(yōu)于GPT-4o和Claude 3.5 Sonnet。另外，升級后的Llama 3.1 8B和70B模型，相比于同樣參數(shù)大小的模型性能表現(xiàn)也更好。
Meta透露，其更新了許可證，允許開發(fā)人員首次使用包括405B參數(shù)規(guī)模的Llama模型的輸出來改進其他模型。截至目前，已經(jīng)有超過25個企業(yè)推出了基于Llama 3.1開源版本的新模型。其中，亞馬遜AWS、Databricks和英偉達正在推出全套服務(wù)，AI芯片創(chuàng)企Groq等為Meta此次發(fā)布的所有新模型構(gòu)建了低延遲、低成本的推理服務(wù)，而Scale AI、戴爾等公司已準備好幫助企業(yè)采用Llama模型并使用自己的數(shù)據(jù)訓(xùn)練定制模型。
扎克伯格認為，Llama 會成為開源 AI 的行業(yè)標(biāo)桿，就像當(dāng)年的 Linux 一樣。Llama 3.1 405B不僅是最強開源模型，還有望實現(xiàn)開源和閉源距離大大縮短的模型技術(shù)。
算力層面，Meta 在 AI 方面的投資一直很大。扎克伯格表示，Meta 的 Llama 3 模型的訓(xùn)練計算能力花費了“數(shù)億美元”，但他預(yù)計未來的模型成本會更高。他說，“展望未來，計算能力將達到數(shù)十億美元”。
2023 年，Meta 試圖控制其在未來技術(shù)和管理層上的部分支出，在扎克伯格稱之為“效率年”的一年中削減了數(shù)千個工作崗位。但扎克伯格仍然愿意在 AI 軍備競賽上花錢。
Meta 在 4 月份告訴投資者，今年計劃花費比最初預(yù)期多數(shù)十億美元的資金，其中一個核心原因是對 AI 的投資。據(jù)公司博客文章稱，預(yù)計到今年年底，該公司將擁有約 350,000 個英偉達H100 GPU。而H100 芯片已成為用于訓(xùn)練 Llama、GPT-4等大模型的基礎(chǔ)技術(shù)成本，每個芯片的成本可能高達數(shù)萬美元。
值得一提的是，Meta還宣布使用其 Llama 模型作為Meta AI提供支持，該機器人將在其應(yīng)用（包括 Instagram 和 WhatsApp）內(nèi)也作為獨立產(chǎn)品支持運行。
而且，Meta AI也適用于雷朋Meta智能眼鏡，并將于下個月在美國和加拿大的Meta Quest上以實驗?zāi)Ｊ酵瞥�。Meta AI將取代Quest上當(dāng)前的語音命令，讓用戶可以免提控制耳機、獲取問題的答案、隨時了解實時信息、查看天氣等。
用戶還可以將Meta AI與在頭顯中看到的視圖結(jié)合使用，比如詢問其在物理環(huán)境中看到的事物相關(guān)情況。
扎克伯格表示，Meta AI擁有“數(shù)億”用戶，并預(yù)計到今年年底它將成為世界上使用最廣泛的聊天機器人。另外，他認為，Meta 之外的其他人將使用 Llama 來訓(xùn)練他們自己的 AI 模型。
扎克伯格還公布公開信，直言開源對開發(fā)者、Meta、世界都更有利，使得與OpenAI的開閉大模型競爭進入白熱化。
扎克伯格提到，開源與閉源模型之間的差距正在逐漸縮小。他預(yù)計，從明年開始，Llama模型將成為業(yè)內(nèi)最先進的模型。并且當(dāng)下Llama系列模型已經(jīng)在開放性、可修改性和成本效益方面處于領(lǐng)先地位。
在博客中，他還回答了為什么開源AI對開發(fā)者有利、為什么開源AI對Meta有利、為什么開源AI對世界有利這三大問題。
為什么開源AI對開發(fā)者有利？開發(fā)者需要訓(xùn)練、微調(diào)自己的模型，以滿足各自的特定需求；開發(fā)者需要掌控自己的命運，而不是被一家封閉的供應(yīng)商所束縛；開發(fā)者需要保護自己的數(shù)據(jù)；開發(fā)者需要高效且運行成本低廉的模型；開發(fā)者希望投資于將成為長期標(biāo)準的生態(tài)系統(tǒng)。
開源AI對Meta的好處在于，Meta的商業(yè)模式是為人們打造最佳體驗和服務(wù)，要做到這一點，他認為必須確保其始終能夠使用最佳技術(shù)，并且不會陷入競爭對手的封閉生態(tài)系統(tǒng)。另外，出售AI模型訪問權(quán)限不是Meta的商業(yè)模式，這意味著開源不會削減其收入、可持續(xù)性發(fā)展或繼續(xù)投資研究的能力。
開源 AI 對世界有利。開源AI會促使Meta將Llama發(fā)展為一個完整的生態(tài)系統(tǒng)，并有成為行業(yè)標(biāo)準的潛力。我認為，開源對于 AI 的美好未來必不可少。與任何其他現(xiàn)代技術(shù)相比，AI 更具有潛力提高人類的生產(chǎn)力、創(chuàng)造力和生活質(zhì)量，并加速經(jīng)濟增長，同時推動醫(yī)學(xué)和科學(xué)研究的進步。關(guān)于開源AI模型安全性的爭論，我認為是開源AI將比其他選擇更安全。開源將確保全世界更多的人能夠享受 AI 帶來的好處和機會，權(quán)力不會集中在少數(shù)公司手中，并且該技術(shù)可以更均勻、更安全地應(yīng)用于整個社會。
然而，盡管承諾開放 Llama，但扎克伯格和其他公司高管仍對用于訓(xùn)練 Llama 3.1 的數(shù)據(jù)集保密。
“盡管它是開放的，但我們也是為自己設(shè)計的，”他解釋道。扎克伯格表示，Meta 正在使用來自 Facebook 和 Instagram 的公開用戶帖子，以及該公司從其他公司獲得許可的其他“專有”數(shù)據(jù)集，但沒有透露具體細節(jié)。
對于中國大模型與美國 AI 之間的競爭，扎克伯格強調(diào)，美國在 AI 發(fā)展方面永遠領(lǐng)先中國數(shù)年是不現(xiàn)實的。但他也指出，即使是幾個月的微小領(lǐng)先也會隨著時間的推移而“積少成多”，從而使美國獲得“明顯優(yōu)勢”。
“美國的優(yōu)勢是去中心化和開放式創(chuàng)新。有些人認為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認為這行不通，只會讓美國及其盟友處于不利地位。一個只有封閉模式的世界，會導(dǎo)致少數(shù)大公司和我們的地緣政治對手能夠獲得領(lǐng)先的模式，而初創(chuàng)公司、大學(xué)和小企業(yè)則錯失機會。此外，將美國創(chuàng)新限制在封閉開發(fā)中，增加了我們完全無法領(lǐng)先的可能性。相反，我認為我們最好的策略是建立一個強大的開放生態(tài)系統(tǒng)，讓我們的領(lǐng)先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進展，并在長期內(nèi)實現(xiàn)可持續(xù)的先發(fā)優(yōu)勢�！痹瞬癖硎�。
OpenAI搶斷Meta 直言要把AI模型價格打到0
在Meta公布Llama 3.1兩個多小時之后，OpenAI也釋放了一則重要消息：剛剛發(fā)布的GPT-4o mini微調(diào)版免費了。
OpenAI表示，今天，公司推出了GPT-4o mini微調(diào)功能，讓其新的小模型在特定用例中的表現(xiàn)更加出色。同時，從現(xiàn)在起直到9月23日，GPT-4o mini每天可以免費微調(diào)，最高可達200萬訓(xùn)練Tokens。超過200萬訓(xùn)練Tokens的部分將按每百萬Tokens 3.00美元收費。而從9月24日開始，微調(diào)訓(xùn)練將按每百萬Tokens 3.00美元收費。
OpenAI指出，如果你目前正在微調(diào)GPT-3.5 Turbo，GPT-4o mini則更加實惠，擁有更長的上下文，以及更強的技術(shù)能力。
更實惠：GPT-4o mini的輸入Tokens費用比GPT-3.5 Turbo低90%，輸出Tokens費用低80%。即使在免費期結(jié)束后，GPT-4o mini的訓(xùn)練成本也比GPT-3.5 Turbo低一半。
更長的上下文：GPT-4o mini的訓(xùn)練上下文長度為65k Tokens，是GPT-3.5 Turbo的四倍，推理上下文長度為128k Tokens，是GPT-3.5 Turbo的八倍。
更聰明且更有能力：GPT-4o mini比GPT-3.5 Turbo更聰明，并且支持視覺功能（盡管目前微調(diào)僅限于文本）。GPT-4o mini微調(diào)功能向企業(yè)客戶和Tier 4及Tier 5使用等級的其他開發(fā)者開放。你可以訪問微調(diào)儀表板，點擊“創(chuàng)建”，并從基模型下拉菜單中選擇“gpt-4o-mini-2024-07-18”來開始免費微調(diào)GPT-4o mini。
奧爾特曼發(fā)推文表示，GPT-4o mini 以 1/20 的價格在 lmsys 上實現(xiàn)了與 GPT-4o接近的性能表現(xiàn)。他還希望大家能夠多多使用GPT-4o mini微調(diào)版本。
當(dāng)前，一場關(guān)于開源和閉源大模型的硅谷 AI 價格戰(zhàn)持續(xù)延燒。
從Meta Llama 3.1系列模型的發(fā)布，可以看出開、閉源大模型之間的差距正在縮小，而且，相比于此前的Llama模型，此次新模型還讓盡可能多的開發(fā)人員和合作伙伴使用Llama系列，這意味著更多的問題將隨著不斷更新得到解決。但是，到場景和應(yīng)用中，開源模型的具體能力、適用的商業(yè)化落地等還需要時間來證明。
不過，有分析認為，Llama 3.1 405B的價格遠遠低于GPT-4同一模型能力的版本。因此，OpenAI正在面臨一系列的挑戰(zhàn)。
Llama 3.1 405B 在不同平臺的價格: Fireworks: $3 input / $3 output / 1M tokens Together: $5 in / $15 out Replicate: $9.5 in / $9.5 out Groq: 僅支持企業(yè)用戶
對比一下：GPT-4o: $5 in / $15 out Claude 3.5 sonnet: $3 in / $15 out
調(diào)研機構(gòu)FutureSearch日前發(fā)布一份關(guān)于OpenAI收入的報告文件稱，OpenAI現(xiàn)在的年度經(jīng)常性收入（ARR）達到34億美金，但其中，一半以上的收入來自ChatGPT會員付費，而偏向企業(yè)和開發(fā)者端的API收入僅為5.1億美元，占比僅為15%左右。
對于GPT-5，奧爾特曼表示，開發(fā)“GPT-5”還需要一些時間，這個模型可能仍處于早期開發(fā)階段。但相較于GPT-4 而言，GPT-5將是“巨大飛躍”。
“我們目前持樂觀態(tài)度，但還有很多工作要做�！眾W爾特曼進一步解釋稱，GPT-5有復(fù)雜的算法工作需要處理�！拔蚁Ｍ苋〉弥卮箫w躍。GPT-4經(jīng)常犯很多錯誤，比如在推理方面表現(xiàn)不佳，有時還會完全跑偏，犯下低級錯誤，就像連一個六歲孩子都不會犯的一樣。”
鈦媒體
硬件編年史
