首頁 > 科技要聞 > 科技> 正文

字節(jié)最新技術一鍵「遷移」表情神態(tài)，人人都是演技派

appso 整合編輯：太平洋科技 發(fā)布于：2024-11-11 16:25

近日，字節(jié)跳動和清華大學在 GitHub 上聯(lián)合推出了一款最新的人像動畫技術「X-Portrait 2」。

具體來講，X-Portrait 2 是一款「生成式人像轉移模型」，其使用方法非常直觀和簡單：用戶只需要提供一張靜態(tài)肖像圖和一段含有表情變化的「表演」視頻，這個技術就能一鍵將表情「遷移」至肖像上面，從而使前者也「動起來」。

就像下面這樣：

可以看到，左下角是「靜態(tài)肖像」，右下角則是「表演視頻」，而 X-Portrait 2 的功能就是讓左邊的角色做出同右邊人物幾乎一模一樣的表情。

除了「表情」以外，就連「神態(tài)」也幾乎是像素級復刻：

眉眼和笑容之中所包含的「狡黠」和「頑皮」，全部都精準地呈現(xiàn)出來了。

頭部扭動幅度較大的情況下，X-Portrait 2 也完全可以勝任，表情也并未失真：

一個比較「務實」的使用場景，是它可以用來「對口型」，有時可以配合后期修改臺詞的需要：

不僅復刻精準，并且也足夠流暢自然。發(fā)布者也因此將其稱為「極具表現(xiàn)力的肖像動畫」。

顯然，這個模型能夠實現(xiàn)跨風格和跨領域的表情轉移，覆蓋寫實肖像和卡通圖像；并且適應性較強，能夠用于包括現(xiàn)實世界的故事講述、動畫角色的呈現(xiàn)、虛擬代理以及其他視覺效果。

在電影或者動畫的后期特效制作方面，X-Portrait 2 無疑大大簡化了現(xiàn)有的動作捕捉、角色動畫和內(nèi)容創(chuàng)作流程。

相較于其原型 X-Portrait，X-Portrait 2 的升級和創(chuàng)新謂之「進化」都不為過。

X-Portrait 2 采用了一個更先進的表情編碼器，這個編碼器在大規(guī)模數(shù)據(jù)集上進行訓練，其能夠更精確地捕捉和再現(xiàn)人物的微妙表情，包括嘟嘴、鼓腮和皺眉等細節(jié)，還原了表情的復雜性，并提升了其真實感。

同時，X-Portrait 2 實現(xiàn)了外觀和動作的有效分離，這意味著在遷移表情時，原始圖像的外觀特征得以保留，表情變化不會影響人物的基本面貌，提高了動畫的自然程度和一致性。

值得一提的是，X-Portrait 2 還創(chuàng)新地引入了生成式擴散模型，這種模型能夠處理不同視角下的表情變化，生成更加流暢和真實的動畫效果，解決了傳統(tǒng)方法在視角變化時可能出現(xiàn)的表情不協(xié)調問題。

此外，X-Portrait 2 還增強了跨領域的表情遷移能力以及動畫的真實感和動態(tài)表現(xiàn)力。

和早先發(fā)布的同類競品——Runway 的 Act-One 相比，X-Portrait 2 也毫不遜色。同樣是「Nice 老爺爺」的喜感表情，Act-One 的生成效果是這樣的：

圖源：虎嗅

似乎只做到了「遷移」，并且表情的夸張程度衰減明顯，還略微有點僵硬。如果遮住原視頻，可能根本看不出來這是在模仿誰。

同一個表情，以下是 X-Portrait 2 的生成效果：

除了表情的復刻更加精準細膩以外，我們似乎還能感受到那種自然流露的「喜感」。這才是 X-Portrait 2 的厲害之處。

對于 X-Portrait 2 的優(yōu)勢，開發(fā)者是這樣說的：

盡管如此，Ai-Da 的人形、思想甚至智慧這些和人類無限接近的要素，難免使得這一議題更加復雜化。她曾在英國上議會議院發(fā)言時語出驚人：

與 X-Portrait 和最近發(fā)布的 Runway Act-One 等最先進的方法相比，我們的模型可以忠實地傳遞快速的頭部運動、微小的表情變化和強烈的個人情感。這些方面對于高質量動畫內(nèi)容創(chuàng)作（例如動畫和電影制作中的內(nèi)容）至關重要。

來看一個更加直觀的對比：

顯而易見，同初代 X-Portrait 相比，X-Portrait 2 的進步在于更加「自然流暢」；而同 Act-One 相比，X-Portrait 2 則更加「精準細膩」。

無論如何，X-Portrait 2 的推出繼續(xù)發(fā)揚了「用生成式 AI 代替動捕」這個可能的概念，并且使它更加成熟，距離落地商用又近了一步。

本文來源：Appso

網(wǎng)友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部