近日,字节跳动和清华大学在 GitHub 上联合推出了一款最新的人像动画技术「X-Portrait 2」。 具体来讲,X-Portrait 2 是一款「生成式人像转移模型」,其使用方法非常直观和简单:用户只需要提供一张静态肖像图和一段含有表情变化的「表演」视频,这个技术就能一键将表情「迁移」至肖像上面,从而使前者也「动起来」。 就像下面这样: 可以看到,左下角是「静态肖像」,右下角则是「表演视频」,而 X-Portrait 2 的功能就是让左边的角色做出同右边人物几乎一模一样的表情。 除了「表情」以外,就连「神态」也几乎是像素级复刻: 眉眼和笑容之中所包含的「狡黠」和「顽皮」,全部都精准地呈现出来了。 头部扭动幅度较大的情况下,X-Portrait 2 也完全可以胜任,表情也并未失真: 一个比较「务实」的使用场景,是它可以用来「对口型」,有时可以配合后期修改台词的需要: 不仅复刻精准,并且也足够流畅自然。发布者也因此将其称为「极具表现力的肖像动画」。 显然,这个模型能够实现跨风格和跨领域的表情转移,覆盖写实肖像和卡通图像;并且适应性较强,能够用于包括现实世界的故事讲述、动画角色的呈现、虚拟代理以及其他视觉效果。 在电影或者动画的后期特效制作方面,X-Portrait 2 无疑大大简化了现有的动作捕捉、角色动画和内容创作流程。 相较于其原型 X-Portrait,X-Portrait 2 的升级和创新谓之「进化」都不为过。 X-Portrait 2 采用了一个更先进的表情编码器,这个编码器在大规模数据集上进行训练,其能够更精确地捕捉和再现人物的微妙表情,包括嘟嘴、鼓腮和皱眉等细节,还原了表情的复杂性,并提升了其真实感。 同时,X-Portrait 2 实现了外观和动作的有效分离,这意味着在迁移表情时,原始图像的外观特征得以保留,表情变化不会影响人物的基本面貌,提高了动画的自然程度和一致性。 值得一提的是,X-Portrait 2 还创新地引入了生成式扩散模型,这种模型能够处理不同视角下的表情变化,生成更加流畅和真实的动画效果,解决了传统方法在视角变化时可能出现的表情不协调问题。 此外,X-Portrait 2 还增强了跨领域的表情迁移能力以及动画的真实感和动态表现力。 和早先发布的同类竞品——Runway 的 Act-One 相比,X-Portrait 2 也毫不逊色。同样是「Nice 老爷爷」的喜感表情,Act-One 的生成效果是这样的: 图源:虎嗅 似乎只做到了「迁移」,并且表情的夸张程度衰减明显,还略微有点僵硬。如果遮住原视频,可能根本看不出来这是在模仿谁。 同一个表情,以下是 X-Portrait 2 的生成效果: 除了表情的复刻更加精准细腻以外,我们似乎还能感受到那种自然流露的「喜感」。这才是 X-Portrait 2 的厉害之处。 对于 X-Portrait 2 的优势,开发者是这样说的: 尽管如此,Ai-Da 的人形、思想甚至智慧这些和人类无限接近的要素,难免使得这一议题更加复杂化。她曾在英国上议会议院发言时语出惊人: 与 X-Portrait 和最近发布的 Runway Act-One 等最先进的方法相比,我们的模型可以忠实地传递快速的头部运动、微小的表情变化和强烈的个人情感。这些方面对于高质量动画内容创作(例如动画和电影制作中的内容)至关重要。 来看一个更加直观的对比: 显而易见,同初代 X-Portrait 相比,X-Portrait 2 的进步在于更加「自然流畅」;而同 Act-One 相比,X-Portrait 2 则更加「精准细腻」。 无论如何,X-Portrait 2 的推出继续发扬了「用生成式 AI 代替动捕」这个可能的概念,并且使它更加成熟,距离落地商用又近了一步。 本文来源:Appso |
原创栏目
IT百科
网友评论
聚超值•精选