首頁(yè) > 科技要聞 > 科技> 正文

騰訊版Sora開(kāi)源后，被提速8倍！官方點(diǎn)贊并預(yù)告：下月上新圖生視頻

量子位 整合編輯：太平洋科技 發(fā)布于：2024-12-22 00:15

提速8倍！

速度更快、效果更好的混元視頻模型——FastHunyuan來(lái)了！

新模型僅用1分鐘就能生成5秒長(zhǎng)的視頻，比之前提速8倍，步驟也從50步減少到了6步，甚至畫面細(xì)節(jié)也更逼真了。

和普通速度的混元 對(duì)比一下，原來(lái)50步才能生成1條視頻，而現(xiàn)在新模型在相同的時(shí)間里可以生成8條：

再來(lái)看看和Sora的畫面對(duì)比，可以看到Fast-Hunyuan和Sora兩者的效果都更逼真一些，衣服、水果和山峰的細(xì)節(jié)也非常清晰。

甚至在一些物理細(xì)節(jié)的理解上，F(xiàn)ast-Hunyuan比Sora還強(qiáng)，比如下面拿取檸檬的視頻：

更重要的是，F(xiàn)ast-Hunyuan的代碼也開(kāi)源了，這下不用為Sora的訂閱費(fèi)和限額發(fā)愁了。

研究團(tuán)隊(duì)來(lái)自加州大學(xué)圣地亞哥分校（UCSD）的Hao AI實(shí)驗(yàn)室，他們主要專注機(jī)器學(xué)習(xí)算法和分布式系統(tǒng)的研究。


混元官方賬號(hào)還特意發(fā)博感謝了他們：

有網(wǎng)友看完后直呼，混元才是最好的開(kāi)源視頻模型。

開(kāi)創(chuàng)性的視頻DiT蒸餾配方

團(tuán)隊(duì)是如何做到8倍提速的情況下還能提升視頻清晰度呢？

下面就一起來(lái)看一下Fast-Hunyuan的技術(shù)原理——

首先，他們開(kāi)發(fā)了全新的視頻DiT蒸餾配方。

具體來(lái)說(shuō)，他們的蒸餾配方基于階段一致性（Phased Consistency Model, PCM）模型。

在嘗試使用多階段蒸餾后發(fā)現(xiàn)效果沒(méi)有顯著改進(jìn)，最終他們選擇保持單階段設(shè)置，與原始PCM模型的配置相似。

其次，團(tuán)隊(duì)使用了OpenSoraPlan中的MixKit數(shù)據(jù)集進(jìn)行了蒸餾。

為了避免在訓(xùn)練過(guò)程中運(yùn)行文本編碼器和VAE，團(tuán)隊(duì)還預(yù)處理了所有數(shù)據(jù)，用來(lái)生成文本嵌入和VAE潛在變量。

在推理階段，用戶可以通過(guò)FSDP、序列并行和選擇性激活檢查點(diǎn)進(jìn)行可擴(kuò)展訓(xùn)練，模型可以近乎線性擴(kuò)展到64個(gè)GPU。測(cè)試代碼在Python 3.10.0、CUDA 12.1和H100上運(yùn)行。

官方推薦使用80GB內(nèi)存的GPU，不同模型有相應(yīng)的下載權(quán)重和推理命令。

最低硬件要求如下：

40 GB GPU 內(nèi)存，每個(gè) GPU 配備 lora

30 GB GPU 內(nèi)存，每 2 個(gè) GPU 配備 CPU 卸載和 LoRa。

在模型微調(diào)方面，F(xiàn)ast-Hunyuan提供了全微調(diào)（需準(zhǔn)備符合格式的數(shù)據(jù)，提供了一些可下載的預(yù)處理數(shù)據(jù)及對(duì)應(yīng)命令）和LoRA 微調(diào)（即將上線）兩種方式。

此外，他們還結(jié)合了預(yù)計(jì)算潛變量和預(yù)計(jì)算文本嵌入，用戶可以根據(jù)自己的硬件條件選擇不同的微調(diào)方式來(lái)執(zhí)行命令，也支持圖像和視頻的混合微調(diào)。

模型已于2024年12月17日發(fā)布了v0.1版本。

未來(lái)的開(kāi)發(fā)計(jì)劃還包括添加更多蒸餾方法（如分布匹配蒸餾）、支持更多模型（如CogvideoX模型）以及代碼更新（如fp8支持、更快的加載和保存模型支持）等等。

One More Thing

除了加速模型，混元還預(yù)告了大家都非常期待的圖像到視頻生成功能。

最快1月份，也就是下個(gè)月就可以看到！期待住了。

GitHub：https://github.com/hao-ai-lab/FastVideo
HuggingFace：https://huggingface.co/FastVideo/FastHunyuan

參考鏈接：
[1]https://x.com/TXhunyuan/status/1869282002786292097

本文來(lái)源：量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
    • 二維碼 回到頂部