EasyAnimate是阿里云PAI平臺自主研發(fā)的DiT的視頻生成框架，它提供了完整的高清長視頻生成解決方案，包括視頻數(shù)據(jù)預處理、VAE訓練、DiT訓練、模型推理和模型評測等。本文為您介紹如何在PAI平臺集成EasyAnimate并一鍵完成模型推理、微調(diào)及部署的實踐流程。
背景信息
本文為您介紹以下兩種視頻生成的方式：
方式一：使用DSW
DSW是為算法開發(fā)者量身打造的一站式AI開發(fā)平臺，集成了JupyterLab、WebIDE、Terminal多種云端開發(fā)環(huán)境，其中，Gallery提供了豐富的案例和解決方案，幫助您快速熟悉研發(fā)流程。您可以打開DSW Gallery中的案例教程，實現(xiàn)一鍵式運行Notebook，完成基于EasyAnimate的視頻生成模型的推理和訓練任務(wù)，也可以進行模型推理和微調(diào)等二次開發(fā)操作。
方式二：使用快速開始
快速開始集成了眾多AI開源社區(qū)中優(yōu)質(zhì)的預訓練模型，并且基于開源模型支持零代碼實現(xiàn)從訓練到部署再到推理的全部過程，您可以通過快速開始一鍵部署EasyAnimate模型并生成視頻，享受更快、更高效、更便捷的AI應用體驗。
費用說明
如果您的賬號為DSW或EAS的新用戶，可以免費試用相應產(chǎn)品。關(guān)于免費試用的額度、領(lǐng)取方式及注意事項等詳細信息，請參見新用戶免費試用。
說明：在本教程中，僅支持使用DSW免費資源類型ecs.gn7i-c8g1.2xlarge。
如果您的賬號非新用戶，使用DSW和EAS會產(chǎn)生相應費用。更多計費詳情，請參見交互式建模（DSW）計費說明、模型在線服務(wù)（EAS）計費說明、快速開始（QuickStart）計費說明。
前提條件
創(chuàng)建PAI工作空間。具體操作，請參見開通PAI并創(chuàng)建默認工作空間。
（可選）開通OSS或NAS。具體操作，請參見開始使用OSS、NAS入門概述。
方式一：使用DSW
步驟一：創(chuàng)建DSW實例
1. 進入DSW頁面。
a. 登錄PAI控制臺。
b.在概覽頁面選擇目標地域。
c.在左側(cè)導航欄單擊工作空間列表，在工作空間列表頁面中單擊目標工作空間名稱，進入對應工作空間內(nèi)。
d.在工作空間頁面的左側(cè)導航欄選擇模型開發(fā)與訓練>交互式建模（DSW），進入DSW頁面。
2. 單擊創(chuàng)建實例。
3. 在配置實例向?qū)ы撁�，配置以下關(guān)鍵參數(shù)，其他參數(shù)保持默認即可。
4.單擊確定。
步驟二：安裝EasyAnimate模型
1.打開DSW實例。
a.登錄PAI控制臺。
b.在左側(cè)導航欄單擊工作空間列表，在工作空間列表頁面中單擊目標工作空間，進入對應工作空間。
c.在頁面左上方，選擇使用服務(wù)的地域。
d.在左側(cè)導航欄，選擇模型開發(fā)與訓練>交互式建模（DSW）。
e.單擊目標DSW實例操作列下的打開，進入DSW實例的開發(fā)環(huán)境。
2.在Notebook頁簽的Launcher頁面，單擊快速開始區(qū)域Tool下的DSW Gallery，打開DSW Gallery頁面。
3.在DSW Gallery頁面中，搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例，單擊在DSW中打開，即可自動將本教程所需的資源和教程文件下載至DSW實例中，并在下載完成后自動打開教程文件。
4.下載EasyAnimate相關(guān)代碼和模型并進行安裝。
在教程文件easyanimate.ipynb中，單擊開始按鈕運行環(huán)境安裝節(jié)點命令，包括定義函數(shù)、下載代碼和下載模型。當成功運行一個步驟命令后，再順次運行下個步驟的命令。
步驟三：推理模型
方式一：使用代碼進行推理
單擊開始按鈕運行模型推理>使用代碼進行推理節(jié)點的命令進行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結(jié)果。
您可以修改不同的參數(shù)來達到不同的效果，參數(shù)說明：
方式二：使用WebUI進行推理
1. 單擊開始按運行模型推理>UI啟動節(jié)點的命令，進行模型推理。
2.單擊生成的鏈接，進入WebUI界面。
3. 在WebUI界面選擇預訓練的模型路徑、微調(diào)后的基模型和LoRA模型，設(shè)置LoRA權(quán)重，其它參數(shù)按需配置即可。
4. 單擊Generate（生成），等待一段時間后，即可在右側(cè)查看或下載生成的視頻。
步驟四：微調(diào)LoRA
EasyAnimate提供了豐富的模型訓練方式，包括DiT模型的訓練（LoRA微調(diào)和基模型的全量微調(diào)）和VAE的訓練。關(guān)于Gallery中內(nèi)置的LoRA微調(diào)部分，更多信息，請參見EasyAnimate。
準備數(shù)據(jù)
單擊開始按鈕執(zhí)行模型訓練>數(shù)據(jù)準備節(jié)點的命令，即可下載示例數(shù)據(jù)，用于模型訓練。您也可以按照如下格式要求自行準備數(shù)據(jù)文件。
文件數(shù)據(jù)格式如下。
其中，JSON文件數(shù)據(jù)格式和參數(shù)說明如下。
訓練模型
1. 將對應的訓練腳本中的DATASET_NAME及DATASET_META_NAME設(shè)置為訓練數(shù)據(jù)所在目錄及訓練文件地址。
2. 單擊開始按鈕執(zhí)行啟動訓練>LoRA訓練節(jié)點的命令。
3. 訓練完成后，將生成的模型移動至models/Personalized_model文件夾，即可在UI界面中選擇，或單擊開始按鈕執(zhí)行LoRA模型推理節(jié)點的命令，指定lora_path進行視頻生成。
方式二：使用快速開始
步驟一：部署模型
1. 進入快速開始頁面。
a. 登錄PAI控制臺。
b.在左側(cè)導航欄單擊工作空間列表，在工作空間列表頁面單擊目標工作空間名稱，進入對應工作空間內(nèi)。
c.在左側(cè)導航欄單擊快速開始，進入快速開始頁面。
2.在快速開始頁面，搜索EasyAnimate 高清長視頻生成，然后單擊部署，配置相關(guān)參數(shù)。
EasyAnimate目前僅支持使用bf16進行推理，請選擇A10及其以上的顯卡。
3. 單擊部署，在彈出的計費提醒對話框中，單擊確定，頁面將自動跳轉(zhuǎn)到服務(wù)詳情頁面。
當狀態(tài)變?yōu)?strong>運行中時，即表示模型部署成功。
步驟二：使用模型
模型部署完成后，您可以使用WebUI及API兩種方式調(diào)用服務(wù)來生成視頻。
WebUI方式
1. 在服務(wù)詳情頁面，單擊查看WEB應用。
2.在WebUI界面選擇預訓練的模型路徑，其它參數(shù)按需配置即可。
3. 單擊Generate（生成），等待一段時間后，即可在右側(cè)查看或下載生成的視頻。
API方式
1.在服務(wù)詳情頁面的資源詳情區(qū)域，單擊查看調(diào)用信息，獲取調(diào)用服務(wù)所需的信息。
2. 通過接口更新Transformer模型，可在DSW實例或本地Python環(huán)境中執(zhí)行。
如果已經(jīng)在WebUI中選擇模型，則無需發(fā)送請求重復調(diào)用。如遇請求超時，請在EAS日志中確認模型已加載完畢。加載完成，日志中將提示Update diffusion transformer done。
Python請求示例如下。
其中：
○：替換為步驟1中查詢到的服務(wù)訪問地址。
○：替換為步驟1中查詢到的服務(wù)Token。
3. 調(diào)用服務(wù)，生成視頻或圖片。
服務(wù)輸入?yún)?shù)說明
Python請求示例
服務(wù)返回base64_encoding，為base64結(jié)果。
您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結(jié)果。
其中：
○：替換為步驟1中查詢到的服務(wù)訪問地址。
○：替換為步驟1中查詢到的服務(wù)Token。
