太平洋科技要闻

真人版“奇迹暖暖”？谷歌阿里竞相布局的AI试衣有何商机？

头号AI玩家整合编辑：太平洋科技发布于：2024-05-26 21:22

618开始了，你可能加购了很多夏季新衣，想趁优惠激情下单，但一想到每件都要试穿，不合适的还要退货邮寄，其繁琐程度又让你望而却步。

“要是有人能帮我试穿衣服就好了。”

基于这样的消费心声，多款AI虚拟试衣产品相继上线。

据“头号AI玩家”不完全统计，目前AI虚拟试衣相关工具至少有十余个，既有具备谷歌研究院大厂背景的“TryOnDiffusion”，也有国内独立团队出品的“OOTDiffusion”，还有切合电商平台使用需求的“淘宝试衣”、美图设计室推出的“AI模特试衣”等。

近期，我们测评了多款不同AI虚拟试衣产品，并和相关项目负责人聊了聊，尝试了解AI虚拟试衣领域存在哪些机遇与挑战。

只需1张照片，就能试穿自由？

虚拟试衣，正成为AI玩家们争相布局的热门地带。

从去年至今，谷歌、阿里、亚马逊几大头部电商平台相继推出虚拟试衣模型，分别为Tryon Diffusion、Outfit Anything、Diffuse to Choose。目前，这几款模型虽开放了demo试用，但并未技术开源。

此外，一些独立团队也有所动作。今年4月，小i机器人AIGC团队上线了一款名为OOTDiffusion的虚拟试衣模型，不仅提供试用demo，更将github项目开源（https://github.com/levihsu/OOTDiffusion）。

目前大部分AI虚拟试衣技术都是基于扩散模型进行研发的，在这样的背景之下，基本只需三步，AI就能帮你试穿任何一件衣服。

以OOTDiffusion为例，第一步，上传试穿者的照片，尽量保证正面，且没有遮挡身体，身穿衣服最好轻薄贴身；

第二步，上传想要试穿的衣服，商品白底平铺图效果更佳，能够更好展现试衣效果；

第三步，点击“Run”并等待几秒钟，即可见证换装时刻。

https://huggingface.co/spaces/levihsu/OOTDiffusion

OOTDiffusion页面提供了半身和全身的服装试穿，包括上衣、裤子、裙子等类型，可以展现出不同的照片姿势和试穿效果。

OOTDiffusion项目负责人徐余浩告诉我们，该项目基于Stable Diffusion，在两个开源数据集VITON-HD (half-body) 和Dress Code (full-body)上进行了训练。

在他看来，扩散模型的优势在于能够将服装的细节、纹理、图案、文字与试穿者本人进行更自然的贴合，相比此前虚拟试穿产品的直接“套图”，OOTDiffusion的试穿效果更加可控。

除了上传试穿者和服装的照片，还有AI虚拟试衣产品增加了更多维度的数据。

以淘宝试衣为例，用户可以填写体重、身高、身型、肤色相关数据，从而生成数字人形象进行试穿。同样，淘宝试衣支持使用自己的照片生成试衣分身，要求也是正面全身或半身照，尽量不穿宽大衣物，以及不要遮挡身体。

同款连衣裙不同分身的试穿效果

据“头号AI玩家”观察，目前大多数AI虚拟试衣产品只需上传一张照片即可，但在效果展现上可能存在不够服帖、服装穿模、姿态扭曲等问题。

因此，部分AI虚拟试衣产品会主动要求用户上传多张照片，生成更为全面的数字形象，从而获取更自然的试衣效果。

以阿里妈妈推出的“Lookie”为例，用户上传一张正面照片+12张以上半身照片，可在十几分钟内生成数字形象。

Lookie还提供异域风情、摇滚辣妹、知识分子风等多种试穿风格，其数字“分身”可在1分钟内完成各种试穿任务。

不过，通过创建数字分身来试穿的效果更接近于“换脸”，可能看不出服装是否合身，所以可以选择身材相近的模特图进行生成。

AI试衣技术已达商用水平，一张商品图只需2毛

作为AIGC图片编辑领域的一个垂直应用，虚拟试衣从去年开始已有不少研究进展。

谷歌联合华盛顿大学在2023年6月发布了“TryOnDiffusion”项目（https://tryondiffusion.github.io/），提出了一种基于扩散模型的架构，统一了两个UNet，可以输入两张图片进行合成，让图中的人物更换不同的服饰，并在保留服饰细节的情况下适应人体的姿势和形状变化。

技术对比，从左到右依次是：输入，TryOnGAN，SDAFN，HR-VITON，TryOnDiffusion

不过这个模型仅能实现上身服装的试穿，训练和测试数据集大多是干净统一的背景，全身试穿效果和更复杂的背景下的表现还有待研究。

“当时这个方向还很不成熟，只能换一些简单的衣服比如纯色的，稍微复杂一点的版型生成的效果就很差。”OOTDiffusion团队介绍道。

虚拟试衣主要面临两个挑战，一是生成的图像要足够真实自然，就像真实上身的效果；二是提高可控性，要尽可能保留服装的细节特征。

之前的算法可能是通过对比衣服和模特的身材形状的区别，直接对衣服进行变形，然后贴到模特身上，这种“贴图”的方法会显得比较假。而现在有了扩散模型，AI可以学习衣服的形状、颜色和花纹文字等特征，然后和模特的特征进行融合，生成更自然的效果。

亚马逊发布的“Diffuse to Choose”（https://diffuse2choose.github.io/）模型通过在扩散模型的潜在特征图中直接融入参考图像的细粒度特征，并结合感知损失来进一步保留参考物品的细节。它能让用户在任意场景中虚拟试穿服装或放置其他电商产品，实现较为真实的光影。

Diffuse to Choose支持不同的衣服组合，没有限制

国内方面，2023年12月，阿里巴巴旗下的智能计算研究院发布了一项虚拟试衣技术“Outfit Anyone”，通过双流条件扩散模型克服了高保真和细节一致性结果的问题，能获得更逼真的服装变形效果。

不仅是真人，动画角色也支持一键试衣，与视频模型Animate Anyone结合，还能实现任何角色的服装更换和动态视频生成。

但Outfit Anyone并未对外开放代码，用户可在魔塔社区中试用。（https://modelscope.cn/studios/DAMOXR/OutfitAnyone/summary）

OOTDiffusion团队提出的试穿融合过程也有效提高了虚拟试穿的真实性和可控性，目前相关的AI试衣产品已在开发阶段。之后团队还会继续探索解决用图片指导图片修改和编辑、人物换脸等问题，让AIGC技术更好地应用到实际场景中。

徐余浩认为，与大厂相比，小团队可能在技术研发上能领先一步，但如果将虚拟试衣作为一个独立的产品来运营，其商业前景可能不如已拥有庞大用户规模的的电商平台。