Virtual Try-Off 简介
Virtual Try-Off 是一款由比勒费尔德大学推出的可以虚拟穿衣脱衣的大模型。此模型改进了 Stable Diffusion，并使用基于 SigLIP 的视觉条件来保证出图的高保真度和细节保留，它的主要功能为虚拟试穿（Virtual Try-On）和虚拟试脱（Virtual Try-Off），虚拟试穿即让模特试穿上传的图片里的衣服，虚拟试脱即从穿着衣服的模特身上提取出所穿衣物的原始形态。Virtual Try-Off 的虚拟穿脱能力可以为网络电商行业进行赋能，并为其节省生产流程中拍摄环节的大量时间、金钱成本。
Virtual Try-Off 功能原理
虚拟试穿（Virtual Try-On）
将模特的照片作为基础，以衣服的照片作为参考，然后生成一张该人物穿上特定衣物的照片。
虚拟试脱（Virtual Try-Off）
将衣服的照片作为参考，从其中预测出衣物的原始标准形态并提取出来，生成一张白底衣物照片，此功能旨在提取并展示衣物。
Virtual Try-Off 使用 SigLIP 图像编码器从参考图片中提取特征，提取图像特征后使用一些适配模块进行处理，然后这些图像特征会被嵌入预训练的文生图模型 Stable Diffusion v1.4 中。在这个过程中，Virtual Try-Off 使用图像特征替换了模型中原有的文字特征，以在交叉注意力层中发挥作用。这种使用图像特征代替文字特征的模型调整方法使得 Virtual Try-Off 可以直接针对虚拟试脱（VTOFF）任务进行优化，通过对适配层和扩散模型的同时训练来有效地实现衣物的转换。
论文地址：https://arxiv.org/pdf/2411.18350
Virtual Try-Off 使用方法
1、点击圆圈处上传图像文件。
2、调整参数后点击“Generate”进行生成。
3、生成完成后点击可放大、下载、分享。
Virtual Try-Off Q&A
相关导航
