在最近的一篇谷歌研究論文"TryOnDiffusion: A Tale of Two UNets" 中，一個由科技巨頭的軟件工程師和高級研究科學家組成的多元化團隊引起了全球服裝行業(yè)的強烈關注。這項研究的目標是在給定兩張圖片的情況下一張是展示某個人，另一張是展示另一個人所穿的服裝生成一張圖像，展示這件服裝可能在輸入的人身上的樣子。這是一個具有挑戰(zhàn)性的目標，因為它需要在生成服裝的細節(jié)保持真實性的同時，扭曲服裝以適應不同的人體姿勢和形狀變化。
過去的方法要么專注于服裝細節(jié)的保留，但不能有效地處理姿勢和形狀的變化，要么允許在保持期望的形狀和姿勢的同時試穿服裝，但卻缺乏服裝的細節(jié)。然而，這篇論文提出了一個基于擴散的架構，將兩個UNets（稱為Parallel-UNet）結合起來，使我們能夠在一個網(wǎng)絡中保留服裝細節(jié)，并對服裝進行大幅度的姿勢和身體變化的扭曲。
（同一個模特穿不同的衣服1）
讓我們用最通俗易懂的語言來解析一下這個系統(tǒng)的運行原理。
試想一下你正在畫一幅畫。首先，你需要準備畫布（即目標人物的圖片）和顏料（即目標服裝的圖片）。然后，你需要剔除畫布上的原有色彩（也就是原有的服裝），只保留人物的輪廓和姿勢，同時從顏料圖片中提取出服裝的圖案和質(zhì)地。
接下來，你需要用一個名為Parallel-UNet的“魔法畫筆”（這是本研究的核心貢獻）來作畫。你將畫布和顏料一同放入128x128的Parallel-UNet中，它會自動將服裝圖案和人物輪廓融合在一起，生成一個初步的試穿圖像。然后，這個初步的試穿圖像被送入更大的256x256的Parallel-UNet中，進行進一步的細化和完善。最后，這個256x256的圖像被送入一個標準的超分辨率擴散器中，生成一張高清的1024x1024的試穿圖像。
（同一個模特穿不同的衣服2）
那么，這個“魔法畫筆”Parallel-UNet是如何工作的呢？
實際上，Parallel-UNet包括兩部分：一部分是人物-UNet，另一部分是服裝-UNet。人物-UNet接收無服裝的人物圖片和噪聲圖像作為輸入。而服裝-UNet則接收已經(jīng)剪裁過的服裝圖片作為輸入。這兩部分在處理過程中會通過一個交叉關注機制來將服裝特征和人物特征融合在一起。此外，人物和服裝的姿勢也被送入一系列線性層中，計算出姿勢的嵌入，然后通過注意力機制融入到人物-UNet中。同時，這些姿勢嵌入還被用于在所有尺度上調(diào)節(jié)人物-UNet和服裝-UNet的特征。
在論文發(fā)布后，TryOnDiffusion引起了廣泛的討論和反響。消費者，設計師和零售商都看到了它的巨大潛力：它能高效地提供高質(zhì)量的虛擬試衣體驗，有助于人們更好地選擇合適的服裝，也有助于設計師和零售商更好地展示和推廣他們的產(chǎn)品。在許多方面，這篇論文的發(fā)表標志著虛擬試衣領域的一次重大突破。
在國內(nèi)，我們也可以看到一些創(chuàng)業(yè)公司在嘗試提供類似的服務并已經(jīng)將其產(chǎn)品化。比如說，MatchU.AI光錐之外也在走在這個領域的前沿，提供了一套AI產(chǎn)品以滿足服裝行業(yè)的需求。
MatchU.AI(光錐之外）提供了“AI生圖”的功能，用戶可以選擇一個預制的或者自己創(chuàng)建的“服裝模型”，再配合一個“數(shù)字模特”和背景，就可以用AI技術生成一張男女模特穿著指定服裝的圖像。這就像是在虛擬世界里進行的時裝秀，而觀眾就是用戶自己。
其次，他們提供“圖集管理”功能，用戶可以在這里查看和管理自己使用AI生成的圖片，并可以下載高清圖片。這就如同有一個私人的AI攝影師，隨時準備好為你拍攝最滿意的照片。
再來，也可以自己訓練服裝，服裝管理功能允許用戶選擇一個服裝類別，上傳至少9張符合要求的訓練圖片集，以此來生成“AI服裝模型”。用戶還可以查看、刪除這些模型，甚至可以用自建的“AI服裝模型”和“AI生圖”功能生成AI模特圖。這就如同有一個AI的時尚顧問，幫助用戶隨時隨地試穿各種風格的服裝。
在目前的平臺上，已經(jīng)上線了包括AI生成圖和圖集管理在內(nèi)的多個功能
在AI生成圖的部分，用戶可以根據(jù)自己的需求生成專屬服裝模型，并快速生成高質(zhì)量的AI模特圖。這里分為"系統(tǒng)模型"和"我的模型"兩種類型。"系統(tǒng)模型"指的是初始化系統(tǒng)設定的幾套衣服模型，用戶可以結合模特自由搭配穿衣風格。而"我的模型"則是用戶自己在"服裝管理"模塊練習的專屬衣服模型，也可以結合模特自由搭配穿衣風格。
除此之外，Matchu.AI(光錐之外)還提供了"數(shù)字模特"和"拍攝景觀"兩種功能。"數(shù)字模特"是與服裝模型搭配使用的AI模特，而"拍攝景觀"則是數(shù)字模特的生圖背景。
在平臺的"服裝模型管理"功能中，用戶可以自行上傳拍攝的服裝照片進行模型訓練。具體步驟和注意事項如下：
首先，用戶需要注意拍攝的背景應為白色，并且可以用手機進行拍攝。在上傳的照片中，需要包括全身、半身和細節(jié)三個部分的照片，每個部分至少需要上傳3張。而且，用戶可以選擇拍攝單件上衣或裙裝，也可以拍攝上衣和褲裝（裙）的搭配。不過需要注意，目前平臺還不支持單獨的褲裝和半裙。
在拍攝照片時，全身、半身和細節(jié)照片都有一定的要求。例如，全身照片和半身照片都需要包括正面、左斜30度和右斜30度的拍攝角度，以及閉襟、開襟和扎進褲裝的服裝狀態(tài)。而細節(jié)照片則需要展示領型、口袋/拉鏈以及袖口或褲腰。
在提交訓練任務后，頁面會顯示訓練狀態(tài)，包括訓練成功、訓練失敗和訓練取消三種狀態(tài)。如果訓練成功，用戶可以點擊"去創(chuàng)作"按鈕，進入AI生圖頁進行創(chuàng)作。如果訓練失敗或取消，用戶可以點擊"編輯"按鈕，進入"服裝管理-工作區(qū)"，對提交的任務進行編輯，編輯完成后提交的是新的訓練任務。訓練的時間會實時更新，平均每個任務約需要30分鐘。
建立服裝垂直大模型
Matchu.AI(光錐之外)采用的模型結構類似Parallel-UNet的交叉注意力結構，相比于使用stable diffusion的lora來說，他們的技術在實現(xiàn)對服裝和模特的同時控制和生成方面有著更大的優(yōu)勢。長期來看，這種技術可能會帶來更好的結果。
此外，Matchu.AI(光錐之外）通過用戶上傳模型，以及基于AI的自動化標識和訓練系統(tǒng)，正在嘗試構建一個專注于服裝領域的垂直模型。這一舉措不僅有助于提高模型的效果和準確性，同時也有可能打開一條全新的商業(yè)路徑。
為了讓用戶上傳服裝模型更為便捷，Matchu.AI(光錐之外)創(chuàng)新地提供了一種直接拍攝服裝照片上傳的方式，而無需將衣服穿在模特身上。這種方式旨在盡可能多地收集各類服裝的訓練數(shù)據(jù)，從而幫助構建垂直的服裝模型，提升AI的學習效率和精確度。
這種精細打磨的服裝垂直模型，不僅可以作為服裝企業(yè)電商店鋪的宣傳圖片，其潛力和應用場景的想象空間更大。未來，用戶可能只需通過文本輸入，就可以生成一張精美的服裝和模特照片。這種新穎的生成方式不僅可以為服裝設計師提供豐富的設計靈感，同時，也可作為社交媒體上的熱門內(nèi)容，引發(fā)大眾的廣泛討論和關注。技術創(chuàng)新無疑正在打開一扇新的大門，引領服裝行業(yè)向前發(fā)展。
未來，Matchu.AI(光錐之外）還有可能和C站模型大神，合作推出特色的服裝模型，非常值得期待。
這種基于人工智能的虛擬試衣技術的應用場景非常廣泛：
首先，它可以為用戶提供試穿靈感。通過AI生成的模特圖，用戶可以預覽各種服裝在自己身上的效果，從而做出更符合自己個性和喜好的選擇。
其次，對于服裝品牌來說，這項技術可以幫助它們生成高質(zhì)量的營銷圖片。通過“數(shù)字模特”和“AI服裝模型”，品牌可以輕松制作出各種各樣的宣傳圖片，大大提升了營銷效率和效果。
此外，這項技術還可以為設計師提供靈感。設計師可以通過AI生圖功能，嘗試各種不同的服裝設計和搭配方案，從而激發(fā)新的設計思考。
對于國內(nèi)有出海需求的品牌來說，這項技術更是提供了巨大的便利。因為數(shù)字化的試衣過程可以輕松跨越語言和文化的障礙，幫助品牌更好地適應和進入海外市常
最后，這種虛擬試衣技術甚至有可能成為新的社交內(nèi)容平臺。用戶可以在平臺上分享自己的試穿效果和搭配心得，與其他用戶交流和互動，從而形成一個充滿創(chuàng)意和活力的社區(qū)。
當然，目前這項技術也還有一些挑戰(zhàn)：
首先，目前的技術還很難做到將虛擬圖像和實際服裝做到100%的相似。因為服裝的材質(zhì)、顏色、透明度等特性可能會受到光照、角度等多種因素的影響，這些都是目前技術難以完全模擬的。
其次，對于服裝上的文字logo等細節(jié)，當前的技術還無法做到完整還原。這可能會影響到用戶的試衣體驗，也可能影響到品牌的形象和識別度。
因此，雖然這項技術已經(jīng)取得了顯著的進步，但還有很多技術難題需要解決。我們期待著科技的持續(xù)發(fā)展，讓虛擬試衣技術更加成熟和完善。
