太平洋科技要聞

SIGGRAPH 2024：英偉達(dá)“AI盒子”升級，黃仁勛想打造物理世界的數(shù)字副本

騰訊科技整合編輯：太平洋科技發(fā)布于：2024-07-30 16:45

北京時間7月30日，英偉達(dá)（也稱NVIDIA）在美國丹佛市舉行的頂尖計算機圖形大會SIGGRAPH 2024上展示了在渲染、仿真和生成式AI領(lǐng)域的多項最新進(jìn)展。

去年的SIGGRAPH，英偉達(dá)推出GH200、L40S顯卡、ChatUSD輪番登場。而今年的主角，是英偉達(dá)在生成式AI時代的新王牌——“Nvidia NIM”全新升級，并且通過NIM 將生成式 AI 應(yīng)用于 USD（通用場景描述），拓寬AI在3D世界的可能性。

Nvidia NIM升級：既是福音，也是挑戰(zhàn)

英偉達(dá)宣布，Nvidia NIM實現(xiàn)了進(jìn)一步優(yōu)化，并標(biāo)準(zhǔn)化了AI模型的復(fù)雜部署。NIM是英偉達(dá)在AI布局中的關(guān)鍵一環(huán)。黃仁勛多次對NIM帶來的創(chuàng)新贊賞有佳，稱其是“AI-in-a-Box, 本質(zhì)上它就是盒子里的人工智能�！�

這次升級無疑鞏固了英偉達(dá)在AI領(lǐng)域的領(lǐng)導(dǎo)地位，成為其技術(shù)護(hù)城河的重要組成部分。

一直以來，CUDA被認(rèn)為是英偉達(dá)在GPU領(lǐng)域建立領(lǐng)導(dǎo)地位的關(guān)鍵因素。借助CUDA的支持，GPU從單一的圖形處理器發(fā)展成為通用的并行計算設(shè)備，使得AI開發(fā)成為可能。不過，盡管英偉達(dá)的軟件生態(tài)系統(tǒng)非常豐富，但對于缺乏AI基礎(chǔ)開發(fā)能力的傳統(tǒng)行業(yè)來說，這些分散的系統(tǒng)仍然過于復(fù)雜和難以掌握。

為了解決這一問題，在今年3月，英偉達(dá)在GTC大會上推出了NIM（Nvidia Inference Microservices）云原生微服務(wù)，將過去幾年開發(fā)的所有軟件集成在一起，以簡化和加速AI應(yīng)用的部署。NIM可將模型作為優(yōu)化的“容器”，這些容器可部署在云端、數(shù)據(jù)中心或工作站上，讓開發(fā)人員能夠在幾分鐘內(nèi)完成工作，比如輕松為副駕駛、聊天機器人等構(gòu)建生成式 AI 應(yīng)用程序。

到現(xiàn)在，Nvidia布局的NIM生態(tài)系統(tǒng)已經(jīng)可提供一系列預(yù)訓(xùn)練的AI模型。英偉達(dá)宣布，幫助開發(fā)者在多個領(lǐng)域加速應(yīng)用開發(fā)和部署，并且重點在不同的領(lǐng)域（如理解、數(shù)字人、三維開發(fā)、機器人技術(shù)和數(shù)字生物學(xué)）中提供的具體AI模型：

Nvidia NIM（Nvidia Inference Model）提供的服務(wù)及其具體模型

理解方向，NIM可使用Llama 3.1和NeMo Retriever，提升文本數(shù)據(jù)的處理能力；數(shù)字人方向，提供了Parakeet ASR和FastPitch HiFiGAN等模型，支持高保真語音合成和自動語音識別，為構(gòu)建虛擬助手和數(shù)字人類提供了強大的工具；

在三維開發(fā)方面，USD Code和USD Search等模型簡化三維場景的創(chuàng)建和操作，幫助開發(fā)者更高效地構(gòu)建數(shù)字孿生和虛擬世界；

在機器人具身方向，英偉達(dá)推出了MimicGen和Robocasa模型，通過生成合成運動數(shù)據(jù)和模擬環(huán)境，加速了機器人技術(shù)的研發(fā)和應(yīng)用。MimicGen NIM 可根據(jù) Apple Vision Pro 等空間計算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運動數(shù)據(jù)。Robocasa NIM 可在 OpenUSD (一個用于在 3D 世界中進(jìn)行開發(fā)和協(xié)作的通用框架)中生成機器人任務(wù)和仿真就緒環(huán)境。

數(shù)字生物學(xué)領(lǐng)域的DiffDock和ESMFold等模型，則在藥物發(fā)現(xiàn)和蛋白質(zhì)折疊預(yù)測方面提供了先進(jìn)的解決方案，推動了生物醫(yī)學(xué)研究的進(jìn)展等等。

此外，Nvidia宣布Hugging Face推理即服務(wù)平臺也由Nvidia NIM提供支持，在云端運行。

通過整合這些多功能模型，Nvidia的這種生態(tài)系統(tǒng)不僅提升了AI開發(fā)的效率，還提供了創(chuàng)新的工具和解決方案。不過，盡管Nvidia NIM的諸多升級對于行業(yè)確實是一大“福音”。但從另一面來看，也給程序員們帶來了很多挑戰(zhàn)。

Nvidia NIM通過提供預(yù)訓(xùn)練的AI模型和標(biāo)準(zhǔn)化的API，大大簡化了AI模型的開發(fā)和部署過程，這對于開發(fā)者來說確實是一大福音，但是否也意味著普通程序員的就業(yè)機會未來或?qū)⑦M(jìn)一步收縮？畢竟，企業(yè)可以用更少的技術(shù)人員完成同樣的工作，因為這些任務(wù)已經(jīng)由NIM預(yù)先完成，普通程序員可能不再需要進(jìn)行復(fù)雜的模型訓(xùn)練和調(diào)優(yōu)工作。

教AI用3D思維進(jìn)行思考，構(gòu)建虛擬物理世界

英偉達(dá)在SIGGRAPH大會上也展示了生成性AI在開放USD和Omniverse平臺上的應(yīng)用。

英偉達(dá)宣布，構(gòu)建了世界上首個能夠理解基于 OpenUSD（Universal Scene Description 通用場景描述）語言、幾何、材料、物理和空間的生成性AI模型，并將這些模型打包為Nvidia NIM微服務(wù)。目前，在Nvidia API目錄中有三個NIM可供預(yù)覽：USD Code，用于回答開放USD的知識問題并生成開放USD Python代碼；USD Search，允許開發(fā)者使用自然語言或圖像輸入搜索龐大的開放USD 3D和圖像數(shù)據(jù)庫；USD Validate，可檢查上傳文件與開放USD發(fā)布版本的兼容性，并使用Omniverse云API生成完全RTX渲染的路徑追蹤圖像。

英偉達(dá)表示，隨著Nvidia NIM微服務(wù)對OpenUSD的增強和可訪問性，未來各行各業(yè)都可以構(gòu)建基于物理的虛擬世界和數(shù)字孿生。通過基于開放USD的新的生成性AI和Nvidia加速開發(fā)框架，這些框架構(gòu)建于Nvidia Omniverse平臺之上，更多行業(yè)現(xiàn)在可以開發(fā)用于可視化工業(yè)設(shè)計和工程項目的應(yīng)用程序，以及用于模擬環(huán)境以構(gòu)建下一波物理AI和機器人。此外，新的USD連接器將機器人和工業(yè)模擬數(shù)據(jù)格式以及開發(fā)者工具連接起來，使用戶能夠?qū)⒋笠?guī)模、完全由Nvidia RTX光線追蹤的數(shù)據(jù)集流式傳輸?shù)紸pple Vision Pro。

簡而言之，通過Nvidia NIM引入USD，通過大模型更好的理解物理世界和構(gòu)建虛擬世界，這是一筆非常寶貴的數(shù)字資產(chǎn)。舉個例子，在2019年，法國巴黎圣母院遭遇嚴(yán)重火災(zāi)，教堂大面積被毀。慶幸的是，育碧游戲設(shè)計師曾無數(shù)次造訪這座建筑物，學(xué)習(xí)它的結(jié)構(gòu)，完成了對巴黎圣母院的數(shù)字復(fù)原工作，在3A游戲《刺客信條：大革命》，重現(xiàn)了巴黎圣母院的所有細(xì)節(jié)，也給巴黎圣母院的修復(fù)帶來很大的幫助。當(dāng)時設(shè)計師和歷史學(xué)家用了兩年的時間來復(fù)刻，但隨著該技術(shù)的推出，未來針對數(shù)字副本的重現(xiàn)我們可以大規(guī)模的提速，通過AI來更精細(xì)化的理解和復(fù)刻物理世界。

再比如，設(shè)計師在Omniverse中構(gòu)建基礎(chǔ)三維場景，并利用這些場景調(diào)節(jié)生成性AI，實現(xiàn)可控和協(xié)作的內(nèi)容創(chuàng)作過程。比如WPP與可口可樂公司率先采用這一工作流程，來擴大其全球廣告活動。

Nvidia還宣布即將推出幾種新的NIM微服務(wù)，包括USD Layout、USD Smart Material和FDB Mesh Generation，以進(jìn)一步提升開發(fā)者在開放USD平臺上的應(yīng)用能力和效率。

這次NVIDIA Research攜20多篇論文參會，分享涉及推動合成數(shù)據(jù)生成器和逆渲染工具發(fā)展的創(chuàng)新成果，其中兩篇獲得了技術(shù)最佳論文獎。今年展示的研究表明，AI通過提升圖像質(zhì)量和解鎖新的3D表示方式，使模擬能力變得更好；同時，改進(jìn)的合成數(shù)據(jù)生成器和更多內(nèi)容也提高了AI的水平。這些研究展示了Nvidia在AI和模擬領(lǐng)域的最新進(jìn)展和創(chuàng)新。

圖注：Getty Images生成性AI案例

英偉達(dá)表示，設(shè)計師和藝術(shù)家現(xiàn)在有了新的改進(jìn)方式，通過使用基于許可數(shù)據(jù)訓(xùn)練的生成性AI來提高生產(chǎn)力。比如Shutterstock（美國圖片供應(yīng)商），推出了其生成性3D服務(wù)的商業(yè)測試版。它僅需使用文本或圖像提示，使創(chuàng)作者能夠快速原型化3D資產(chǎn)，并生成360 HDRi背景以照亮場景；以及Getty Images（美國圖片交易公司）加速了其生成性AI服務(wù)，使圖像生成速度加倍，提高輸出質(zhì)量。這些服務(wù)基于多模態(tài)生成性AI架構(gòu)Nvidia Edify，通過新模型速度加倍，提升了圖像質(zhì)量和提示準(zhǔn)確性，讓用戶能夠控制相機設(shè)置，如景深或焦距。用戶可以在大約六秒鐘內(nèi)生成四張圖像，并將它們放大到4K分辨率。

結(jié) 語

在黃仁勛出現(xiàn)的各大場合中，他總是穿著一襲皮衣，向世界描繪AI所帶來的激動人心的未來。

我們也經(jīng)歷著英偉達(dá)的成長，目睹英偉達(dá)一步步從游戲GPU巨頭到AI芯片霸主、再到縱橫AI軟硬件全棧式布局，英偉達(dá)的野心十足，在AI的技術(shù)浪潮最前沿快速迭代。

從可編程著色GPU、CUDA加速計算，到Nvidia Omniverse和生成式AI NIM微服務(wù)的推出，再到推動3D建模、機器人模擬和數(shù)字孿生技術(shù)的發(fā)展，也意味著新一輪AI產(chǎn)業(yè)的革新來臨。

不過，隨著大公司擁有更多的資源，包括資金、技術(shù)和人力，能夠更快地采用和實施Nvidia NIM等先進(jìn)技術(shù)。而中小企業(yè)由于資源有限，可能難以跟上技術(shù)發(fā)展的步伐。再加上人才技術(shù)水平的不同，未來是否會導(dǎo)致更多的技術(shù)不平等加劇？

人類之理想中的AI，是幫助人類解放雙手和勞動力，帶給人類更高生產(chǎn)力的世界。但是當(dāng)生產(chǎn)力和生產(chǎn)資料被少部分人掌握的時候，會不會引發(fā)帶來更深層次的一場危機？這都是我們需要思考的問題。

本文來源：騰訊科技

英偉達(dá) 生成式AI Nvidia NIM

騰訊科技

原創(chuàng)欄目