发布日期:2024-11-11 07:42 点击次数:165
近日,字节突出和清华大学在 GitHub 上荟萃推出了一款最新的东说念主像动画本事「X-Portrait 2」。
具体来讲,X-Portrait 2 是一款「生成式东说念主像转机模子」,其使用技艺稀罕直不雅和简便:用户只需要提供一张静态肖像图和一段含有颜料变化的「扮演」视频,这个本事就能一键将颜料「移动」至肖像上头,从而使前者也「动起来」。
就像底下这么:
不错看到,左下角是「静态肖像」,右下角则是「扮演视频」,而 X-Portrait 2 的功能便是让左边的变装作念出同右边东说念主物险些一模一样的颜料。
除了「颜料」除外,就连「方式」也险些是像素级复刻:
眉眼和笑貌之中所包含的「苛虐」和「幼稚」,一起齐精确地呈现出来了。
头部扭动幅度较大的情况下,X-Portrait 2 也总计不错胜任,颜料也并未失真:
一个比较「求实」的使用场景,是它不错用来「对口型」,无意不错配合后期修改台词的需要:
不仅复刻精确,况兼也富足畅通当然。发布者也因此将其称为「极具阐扬力的肖像动画」。
澄澈,这个模子粗略收场跨格合伙跨领域的颜料转机,遮蔽写实肖像和卡通图像;况兼稳当性较强,粗略用于包括现实宇宙的故事敷陈、动画变装的呈现、凭空代理以过火他视觉遵循。
在电影或者动画的后期殊效制作方面,X-Portrait 2 无疑大大简化了现存的作为捕捉、变装动画和践诺创作历程。
相较于其原型 X-Portrait,X-Portrait 2 的升级和鼎新谓之「进化」齐不为过。
X-Portrait 2 选拔了一个更先进的颜料编码器,这个编码器在大范围数据集上进行考试,其粗略更精确地捕捉和再现东说念主物的玄妙颜料,包括嘟嘴、饱读腮和颦蹙等细节,规复了颜料的复杂性,并进步了其真确感。
同期,配资网X-Portrait 2 收场了外不雅和作为的有用隔离,这意味着在移动颜料时,原始图像的外不雅特征得以保留,颜料变化不会影响东说念主物的基本面庞,提高了动画的当然进度和一致性。
值得一提的是,X-Portrait 2 还鼎新地引入了生成式扩散模子,这种模子粗略处理不同视角下的颜料变化,生成愈加畅通和真确的动画遵循,处分了传统技艺在视角变化时可能出现的颜料不合营问题。
此外,X-Portrait 2 还增强了跨领域的颜料移动才调以及动画的真确感和动态阐扬力。
和早先发布的同类竞品——Runway 的 Act-One 比拟,X-Portrait 2 也绝不失态。相通是「Nice 老爷爷」的喜感颜料,Act-One 的生顺利率是这么的:
▲图源:虎嗅
似乎只作念到了「移动」,况兼颜料的夸张进度衰减显豁,还稍微有点僵硬。要是遮住原视频,可能根柢看不出来这是在效法谁。
销毁个颜料,以下是 X-Portrait 2 的生顺利率:
除了颜料的复刻愈加精确精细除外,咱们似乎还能感受到那种当然露出的「喜感」。这才是 X-Portrait 2 的犀利之处。
关于 X-Portrait 2 的上风,建树者是这么说的:
与 X-Portrait 和最近发布的 Runway Act-One 等起始进的技艺比拟,咱们的模子不错诚恳地传递快速的头部通顺、细微的颜料变化和热烈的个情面感。这些方面关于高质料动画践诺创作(举例动画和电影制作中的践诺)至关垂死。
来看一个愈加直不雅的对比:
不问可知,同初代 X-Portrait 比拟,X-Portrait 2 的进步在于愈加「当然畅通」;而同 Act-One 比拟,X-Portrait 2 则愈加「精确精细」。
不管奈何,X-Portrait 2 的推出不竭发达了「用生成式 AI 代替动捕」这个可能的成见,况兼使它愈加纯熟,距离落地商用又近了一步。