首頁(yè) > 科技要聞 > 科技> 正文

英偉達(dá)年終核彈！全新B300為o1推理大模型打造，RTX5090也曝光了

量子位 整合編輯：太平洋科技 發(fā)布于：2024-12-29 14:22

英偉達(dá)老黃，成了今年的圣誕老黃。

AI芯片大禮包剛剛曝光：

GPU新核彈B300，以及附帶CPU的超級(jí)芯片GB300。

高算力，在產(chǎn)品層面上相比B200在FLOPS上提高50%

大顯存，從192GB提升到288GB，也是提高了50%。

△Grok AI繪圖

包含72塊GB300的“新一代計(jì)算單元”GB300 NVL72，更是被評(píng)價(jià)為“能讓OpenAI o1/o3推理大模型的思維鏈長(zhǎng)度，在高batch size下達(dá)到10萬(wàn)tokens的唯一方案”。

這與今年3月份“AI春晚”發(fā)布的B200系列只隔了幾個(gè)月。

根據(jù)SemiAnalysis爆料，從第三季度開(kāi)始，許多AI巨頭已經(jīng)將訂單從B200轉(zhuǎn)移到了B300（只有微軟還在第四季度繼續(xù)購(gòu)買(mǎi)了部分B200）。

有不少網(wǎng)友感嘆，更新速度實(shí)在太快了！

既是解決了此前傳聞中B200因設(shè)計(jì)缺陷被迫推遲的問(wèn)題，又是對(duì)隔壁AMD MI300系列后續(xù)產(chǎn)品將在2025年提升顯存容量的回應(yīng)。

又一款A(yù)I核彈

既然都是Blackwell架構(gòu)沒(méi)有跨代，B300的算力提高來(lái)自哪里呢？

根據(jù)這次爆料，主要有三部分：

工藝節(jié)點(diǎn)，與B200使用同樣的臺(tái)積電4NP，但是全新流片

增加功率，GB300和B300 HGX的TDP分別達(dá)到1.4KW、1.2KW，相比之下B200系列分別提高0.2KW

架構(gòu)微創(chuàng)新，例如在CPU和GPU之間動(dòng)態(tài)分配功率

除了更高FLOPS之外，B300系列的顯存也做了升級(jí)：

從8層堆疊的HBM3E升級(jí)到12層（12-Hi HBM3E）

顯存容量從192GB升級(jí)到288GB

顯存帶寬保持不變，仍為8TB/s

此外產(chǎn)品交付層面還有一個(gè)大變化：

GB200系列提供整個(gè)Bianca Board，也就包括兩顆GPU、一顆CPU、CPU的內(nèi)存等所有組件都集成在一塊PCB版上。

△GB200概念圖

GB300系列將只提供參考板（Reference Board），包括兩顆B300 GPU、一顆Grace CPU、HMC（Hybrid Memory Cube），LPCAMM內(nèi)存模塊等組件將由客戶自行采購(gòu)。

這給供應(yīng)鏈上的OEM和ODM制造商帶來(lái)了新的機(jī)會(huì)。

為推理大模型打造

顯存的升級(jí)對(duì)OpenAI o1/o3一類(lèi)的推理大模型至關(guān)重要，因?yàn)?span style="color:rgb(0,153,127);">推理思維鏈長(zhǎng)度會(huì)增加KVCache，影響batch size和延遲。

以一個(gè)GB300 NVL72“計(jì)算單元”為單位考慮時(shí)，它使72個(gè)GPU能夠以極低的延遲處理相同的問(wèn)題，并共享顯存。

在此基礎(chǔ)上從GB200升級(jí)到GB300，還可以帶來(lái)許多好處：

每個(gè)思維鏈的延遲更低

實(shí)現(xiàn)更長(zhǎng)的思維鏈

降低推理成本

處理同一問(wèn)題時(shí)，可以搜索更多樣本，最終提高模型能力

為了解釋這些提升，SemiAnalysis舉了個(gè)更為直觀的例子。

下圖是在不同批處理大小下，使用H100和H200兩種GPU處理長(zhǎng)序列時(shí)，Llama 3.1 405B在FP8精度下的處理速度。

輸入設(shè)置為1000個(gè)token、輸出19000個(gè)token，由此模擬OpenAI o1和o3模型中的思維鏈。

從H100升級(jí)到H200，有兩個(gè)顯著改進(jìn)。

一是在所有可比較的batch size中，H200的內(nèi)存帶寬更大（H200 4.8TB/s，H100 3.35TB/s），從而使得處理效率普遍提高了43%。

二是H200可運(yùn)行更高的batch size，這使得其每秒可以生成的token數(shù)量增加了3倍，相應(yīng)地，成本也減少了約3倍。

內(nèi)存增加所帶來(lái)的效益遠(yuǎn)不止表面上的這些。

眾所周知，推理模型響應(yīng)時(shí)間一般更長(zhǎng)，顯著縮短推理時(shí)間可以提高用戶體驗(yàn)和使用頻率。

而且內(nèi)存升級(jí)實(shí)現(xiàn)3倍性能提升，成本減少3倍，這一提升速度也遠(yuǎn)超摩爾定律。

除此之外，SemiAnalysis還分析觀察到，能力更強(qiáng)和具有明顯差異化的模型能收取更高的溢價(jià)——

前沿模型毛利率超70%，而還在與開(kāi)源模型競(jìng)爭(zhēng)的次一級(jí)模型毛利率不足20%。

當(dāng)然，英偉達(dá)并不是唯一一家能增加內(nèi)存的芯片公司，但奈何英偉達(dá)還有殺手锏NVLink。

One More Thing

英偉達(dá)消費(fèi)級(jí)顯卡方面，RTX5090的PCB板也首次曝光了～

就在昨天，一張RTX 5090 PCB照片在網(wǎng)上瘋轉(zhuǎn)。

特點(diǎn)就是超超超大號(hào)。

結(jié)合此前爆料稱(chēng)5090有可能會(huì)配備32GB大顯存，有望支持8K超高清游戲，實(shí)現(xiàn)60fps的流暢游戲體驗(yàn)。

網(wǎng)友們直接坐不住。

關(guān)于5090的發(fā)布時(shí)間，大伙兒猜測(cè)大概會(huì)是1月6日老黃CES演講的時(shí)候。

參考鏈接：
[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/
[2]https://x.com/mark_k/status/1871864813913330003
[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/

本文來(lái)源：量子位
量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
  • 漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋
    漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋

    作為美國(guó)百年家電品牌，HamiltonBeach漢美馳在美國(guó)市場(chǎng)處于行業(yè)領(lǐng)導(dǎo)地位，在本屆AWE展會(huì)上，漢美馳與太平洋網(wǎng)絡(luò)合作，展出了他們的三個(gè)主打品類(lèi)：破壁機(jī)、慢燉鍋和空氣炸鍋，其中，破壁機(jī)屬于攪拌類(lèi)小家電，漢美馳是這個(gè)品類(lèi)的開(kāi)創(chuàng)者；慢燉鍋是美國(guó)家庭的必需品，就像我們中國(guó)家庭的電飯煲一樣，漢美馳慢燉鍋累計(jì)在美國(guó)的銷(xiāo)量超過(guò)3000萬(wàn)臺(tái)，是這個(gè)品類(lèi)的領(lǐng)導(dǎo)品牌；漢美馳的這款HALO空氣炸鍋剛剛獲得了全球頂級(jí)設(shè)計(jì)大獎(jiǎng)——iF設(shè)計(jì)獎(jiǎng)。 今年，漢美馳在國(guó)內(nèi)市場(chǎng)的動(dòng)作很多，包括：推出了家電行業(yè)第一款應(yīng)用chatGPT的AI牛排機(jī)，全球首發(fā)煙灶產(chǎn)品，全球首發(fā)中式廚電產(chǎn)品，自建抖音、淘寶直播間，與頭部主播烈兒寶貝等合作……這些經(jīng)營(yíng)動(dòng)作的背后，漢美馳有怎樣的戰(zhàn)略規(guī)劃？他們對(duì)中國(guó)市場(chǎng)有些什么樣的判斷？他們的優(yōu)勢(shì)有哪些？請(qǐng)看PConline獨(dú)家專(zhuān)訪漢美馳中國(guó)營(yíng)銷(xiāo)中心總經(jīng)理李梟雄先生。

    呼倫 呼倫 2023-05-05 00:03
  • 極氪“流血”上市，最急的是埃安、哪吒?jìng)?

    在經(jīng)歷了2018-2020年“蔚小理”的上市潮后，隨著國(guó)內(nèi)新能源汽車(chē)市場(chǎng)競(jìng)爭(zhēng)日益激烈，以及全球EV需求放緩，IPO的大門(mén)正在向造車(chē)新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì)，也是一次警示——后來(lái)者必須面對(duì)越來(lái)越嚴(yán)苛的上市條件。留給哪吒汽車(chē)、廣汽埃安們的機(jī)會(huì)可能不多了。

    劉凡 劉凡 2024-05-11 11:26
    極氪   吉利   哪吒   埃安
    • 二維碼 回到頂部