IT之家 10 月 27 日消息,OpenAI 本周公布了一款名為 sCM(Continuous-Time Consistency Model)的新型 AI 文生圖方案。
與傳統(tǒng)的擴散模型相比,sCM 僅需兩個步驟即可生成高質(zhì)量樣本,號稱能夠?qū)⑽纳鷪D效率提升約 50 倍,且生成的樣本質(zhì)量能與“業(yè)界較強的擴散模型”相比較,為 AI 文生圖提供了新的方案。
目前業(yè)界通常使用擴散模型生成圖片及音視頻,但傳統(tǒng)擴散模型的取樣過程通常緩慢,通常需要數(shù)十到數(shù)百個逐步降噪的過程才能生成高質(zhì)量樣本(例如小伙伴們使用SD“煉丹”繪圖就需要等待特別長的降噪時間),這使得相應(yīng)模型效率低下,不適合商業(yè)化應(yīng)用。
雖然目前業(yè)界已出現(xiàn)一些技術(shù)以加快擴散模型的速度,但無非只是利用復(fù)雜訓(xùn)練過程“提純”模型,或通過降低輸出樣本質(zhì)量下降以提升效率。
而OpenAI 研究團隊則提出了一種名為 sCM 的文生圖方案,這一生成模型方法繞開了傳統(tǒng)擴散模型范疇,號稱僅需兩個取樣步驟即可生成與擴散模型質(zhì)量相當(dāng)?shù)母叻直媛蕵颖,極大縮短了生成時間。
IT之家獲悉,sCM 訓(xùn)練方法主要利用預(yù)訓(xùn)練擴散模型蒸餾出來的知識直接打造模型,號稱能夠在縮短取樣時間的同時保持高質(zhì)量樣本生成。
▲ 通過 sCM 方案訓(xùn)練的模型生成的圖片研究人員使用 ImageNet 512x512 數(shù)據(jù)集,利用 sCM 方法訓(xùn)練模型,號稱能夠生成細(xì)節(jié)豐富且高質(zhì)量的圖像,展示其在高分辨率生成方面的能力。盡管 sCM 只有兩個取樣步驟,生成樣本的質(zhì)量仍接近業(yè)界“最佳的擴散模型”,號稱“差異不到 10%”。