機(jī)器之心報道
演講：蔡瑋鑫
在機(jī)器之心主辦的 WAIC 2023 AI 開發(fā)者論壇上，微軟 Office Product Group 技術(shù)負(fù)責(zé)人蔡瑋鑫博士以視頻的方式為大家?guī)砹司实难葜v。他結(jié)合自己搭建微軟 Office 中第一波大語言模型應(yīng)用的實際經(jīng)驗，分享了有關(guān)大語言模型應(yīng)用的關(guān)鍵問題以及解決措施。
以下為演講的詳細(xì)內(nèi)容，機(jī)器之心進(jìn)行了不改變原意的編輯、整理。
大家好，我是蔡瑋鑫，微軟 Office Product Group 的技術(shù)負(fù)責(zé)人。今天我要談的話題是將大語言模型投入大規(guī)模應(yīng)用生產(chǎn)要面臨的挑戰(zhàn)和機(jī)遇，并將分享我們團(tuán)隊搭建微軟 Office 中第一波大語言模型應(yīng)用的關(guān)鍵經(jīng)驗。
我今天的演講分為兩部分：第一部分是對新興大語言模型應(yīng)用的評估，第二部分為構(gòu)建交互式文本生成的一些成功案例。
評估新型大語言模型的應(yīng)用
我從事自然語言處理模型的生產(chǎn)工作已經(jīng) 9 年了，還是首位啟動 M365 Copilot 功能背后核心技術(shù)的應(yīng)用科學(xué)家。
對于不熟悉 M365 Copilot 的人來說，Copilot 只需要簡短的提示，就可以和用戶一起進(jìn)行寫作、編輯、總結(jié)和創(chuàng)作。
Word 文檔中的 Copilot 將為你創(chuàng)建一個初稿，根據(jù)需要從整個結(jié)構(gòu)中引入信息。Copilot 可以將內(nèi)容添加到現(xiàn)有文件中，總結(jié)文本、重寫部分或整個文件，使其更加簡潔。你甚至可以得到 Copilot 建議的語氣，如專業(yè)、熱情、隨意、感謝等，從而幫助你寫出合適的內(nèi)容。我們旨在通過 M365 Copilot 將大語言模型的力量賦能給全球數(shù)以百萬計的用戶，使他們成為最優(yōu)秀的作家。
傳統(tǒng)指標(biāo)帶來的評估局限
在我們開發(fā)這兩種新應(yīng)用時，指標(biāo)成為模型評估的瓶頸。傳統(tǒng)指標(biāo)（如 BLEU、ROUGE、BERTScore）的問題在于它們與客戶滿意度及模型效用只有較弱的相關(guān)性，這是因為一次性 (one-shot) 文本生成很難，長文本生成就更難了。對于傳統(tǒng)自然語言生成指標(biāo)來說，識別和分辨幻覺問題、自洽性、符合主題或離題以及邏輯的正確性（如否定）尤其具有挑戰(zhàn)性。
這里以一個關(guān)于 Geoffrey Hinton 的段落為例：紅色是幻覺問題，紫色是離題內(nèi)容。
新方案增強(qiáng)客戶滿意度相關(guān)性
為了使模型與客戶滿意度有更強(qiáng)的相關(guān)性，我們提出了以下在創(chuàng)意寫作方面的質(zhì)量衡量指標(biāo)：連貫性、顯著性、新穎性、幻覺、風(fēng)格 / 語氣適配性、流暢度、令人不安或具有攻擊性或有害的內(nèi)容、有偏見的內(nèi)容以及總體評價（接受或拒絕）。
具體來說：
連貫性指標(biāo)衡量的是輸出句子在多大程度上是有邏輯的，并且有清晰的過渡詞來連接�？陬^語、隱喻和暗喻元素的使用應(yīng)該是一致和正確的。
顯著性指標(biāo)需要衡量輸出內(nèi)容是否遵循用戶的 prompt 指令。
新穎性指標(biāo)很重要，因為易于啟發(fā)用戶的創(chuàng)造性內(nèi)容可以幫助他們克服 「寫作障礙」。
幻覺問題是可以被減輕且應(yīng)該被衡量。這是因為不管是封閉世界還是開放世界，幻覺問題都不應(yīng)該存在，應(yīng)當(dāng)展示給用戶最直接的一面。
風(fēng)格 / 語氣應(yīng)該匹配用戶個性和現(xiàn)有語境。
流暢度指標(biāo)衡量的是輸出內(nèi)容在語法上是否足夠準(zhǔn)確，要求文本不包含重復(fù)的信息，包括詞匯和上下文。
衡量負(fù)責(zé)任 AI 的指標(biāo)應(yīng)確保 AI 不含攻擊性、褻瀆性的語言，沒有種族、性別、宗教、職業(yè)或政治方面的刻板印象。AI 不應(yīng)該有對某一群體或意識形態(tài)的歧視，不應(yīng)該涉及仇恨的言論、暴力、性裸露、自殺念頭或敏感話題。有偏見內(nèi)容指標(biāo)確保我們不應(yīng)該在輸出中包含性別、種族、政治、宗教或其他方面的偏見，即使有些內(nèi)容已經(jīng)被大模型的預(yù)訓(xùn)練記住了。
此外，指標(biāo)中還有輸出質(zhì)量的整體喜歡程度。
在確定了所有這些指標(biāo)后，我們采取了人工和機(jī)器評估相結(jié)合的方式，因為很多方面不能僅僅通過模型來衡量。在這里，我們也取得了一些使用大語言模型作為評估指標(biāo)的初步成功。特別是在模型迭代的早期，我們開發(fā)了基于思維鏈和自洽性的大語言模型指標(biāo)，實現(xiàn)了對有參考和無參考的任務(wù)進(jìn)行自動評估。這里是對該領(lǐng)域相關(guān)研究的一些引用源。
構(gòu)建交互式文本生成
演講的第二部分是微軟最近將互動性帶入文檔生成應(yīng)用程序的成果，是與微軟雷德蒙研究院的 Michelle Galley、麻省理工學(xué)院的 Felix 和華盛頓大學(xué)的 Zeqiu 合作研究的成果。
在 M365 Copilot V1 的開發(fā)初期，我們就有一個想法，即讓用戶參與到文檔寫作的不同階段。我們也通過客戶的反饋了解到，大多數(shù)受用戶喜愛的功能都提供了可定制的輸出給用戶。然而其中一些功能顯然是非常困難的，例如沒有提供任何細(xì)節(jié)的情況下卻要求 AI 寫一份年度報告。因此，我們希望從用戶那里得到一些提示去獲得正確的方向。
舉例而言，通過「user-in-the-loop」的解決方案，我們可以將一個文本生成任務(wù)進(jìn)行有效拆解，比如把寫一份年度報告的任務(wù)拆解成自然寫作過程中的固有步驟。一氣呵成地運用所給的提示完成任務(wù)會生成無數(shù)看似合理的答案，而使用大綱一步一步地做就簡單多了。這減少了用戶由于不斷點擊「重試」而產(chǎn)生的挫折感，就像目前 OpenAI 的用戶界面那樣。另外一大好處是減少了用戶的認(rèn)知負(fù)荷，因為讓用戶看重新生成的冗長文本會讓人很頭疼。
「user-in-the-loop」的解決方案
GPT-X 并不是解決方案
現(xiàn)在，通過對話來創(chuàng)作一個文本可能看起來很難，但增加交互性將會使得任務(wù)更容易實施。正如之前在演講中所看到的，一次性文本生成具有幻覺問題、自洽性問題和離題傾向，這是非常大的一個挑戰(zhàn)。
如果不選擇等待 GPT-5、6、7 來解決這個問題，我們應(yīng)該如何創(chuàng)造一個穩(wěn)健性好的應(yīng)用程序呢？
我們相信：從信息論的角度來看，輸入是稀疏的，輸出是詳細(xì)的。這說明了 GPT-X 本身并不是解決方案。因為許多困難的內(nèi)容生成任務(wù)，實際上是輸出是有無數(shù)種組合的可能性的，例如依靠一個簡短的 prompt 來創(chuàng)作整段文本。
因此，我們的解決方案是利用一個用于內(nèi)容創(chuàng)作的任務(wù)導(dǎo)向型對話系統(tǒng)。
逐步解決交互體驗難題
我們發(fā)表了三篇論文，分別解決了交互體驗的三個關(guān)鍵問題：基于命令的編輯模型、模擬用戶編輯命令和文本草稿的自動生成。
我們的第一篇論文《Text Editing by Command》，展示了草稿和完善模型。
我們使用一個歷史上的 Wiki 詞條作為最終版本的草稿，提取所有的中間修改歷史和命令。從這些日志中，我們扣除了編輯命令，這就形成了一個修訂和其匹配命令的軌跡。在實際運用中，我們進(jìn)一步將其擴(kuò)展到更大的數(shù)據(jù)集，并納入了長文本生成和全局編輯命令。
該任務(wù)定義如下：從 Bing 那里獲得草稿、命令和檢索事實，以生成一個更新版草稿的輸出。
我們的數(shù)據(jù)結(jié)果顯示：該方法非常有效。在我們發(fā)布成果之前，從來沒有這樣的系統(tǒng)，所以這是一項新的任務(wù)。我們的評估研究表明，為了獲得最佳的文本質(zhì)量，需要結(jié)合所有的輸入，包括事實、命令和草稿文本。
在第二篇名為 《Interactive Document Generation》的論文中，我們使用模仿學(xué)習(xí)來訓(xùn)練一個用戶模擬器，該模擬器提供編輯命令來引導(dǎo)模型輸出一個給定的目標(biāo)文本。這使我們能夠訓(xùn)練生成模型，而不需要產(chǎn)生牽及真實用戶的成本。在生產(chǎn)環(huán)境中，收集真實用戶的反饋可能成本過高。用戶在生產(chǎn)環(huán)境中是發(fā)出修改命令的 Oracle。
在這項工作中，我們設(shè)計了一個可以訪問目標(biāo)文本且可以為離線迭代文檔生成系統(tǒng)合成命令的機(jī)器 Oracle。我們把這個任務(wù)制定為模仿學(xué)習(xí)，從構(gòu)思一個目標(biāo)文件開始，目標(biāo)是構(gòu)建一個對話軌跡，其中的動作空間是所有的文件編輯點，狀態(tài)空間編碼了當(dāng)前的草稿和用戶編輯的特殊類型詞。我們使用標(biāo)準(zhǔn)的模仿學(xué)習(xí)方法策略來訓(xùn)練智能體的策略。
實驗發(fā)現(xiàn)，在給定相同的用戶輸入或編輯預(yù)算的情況下，交互式訓(xùn)練模型優(yōu)于非交互式訓(xùn)練模型。我們將其量化為給定相同的 M 個用戶輸入詞，這樣就直接評估了模型的生產(chǎn)效用。用戶根據(jù)他們投入的努力程度和得到的輸出質(zhì)量的差異來判斷這一模型的效用。
我們所做的是非交互式的一氣呵成和其交互式版本之間的比較。一氣呵成的版本在前期接受了 M 個信息量最大的輸入詞，而交互式版本在延遲結(jié)束的幾輪中收到了這 M 個詞。數(shù)據(jù)結(jié)果表示，我們的交互式方法比非交互式方法有明顯的改進(jìn)。
在第三篇論文中，我們提出了一項新的任務(wù)，將重復(fù)性的文本草擬工作自動化，例如寫年報、寫周報、應(yīng)用模板等事情。這項工作的動機(jī)很簡單，在現(xiàn)實生活中，內(nèi)容創(chuàng)作任務(wù)有時不斷重復(fù)，會讓人很傷腦筋，這包括很多模板化的解決方案。而我們的目標(biāo)是設(shè)計能夠融合相關(guān)來源的內(nèi)容的模型。
總結(jié)后半部分的演講，交互式文本生成獲取了人類和機(jī)器智能各自的優(yōu)勢：人類擅長檢測語言中的微妙細(xì)節(jié)，并對重要信息進(jìn)行事實核查；機(jī)器擅長自動化，在激發(fā)用戶方面具有創(chuàng)造性。
Human-in-the-loop 是未來高風(fēng)險應(yīng)用的關(guān)鍵，例如醫(yī)療和法律領(lǐng)域的相關(guān)應(yīng)用。一個例子是：醫(yī)生在為病人進(jìn)行了一天漫長的面診之后，在晚上還需要寫大量的病歷，這可能會導(dǎo)致醫(yī)務(wù)人員的職業(yè)倦擔(dān)交互式文本生成將有助于減少因創(chuàng)建和更新醫(yī)療記錄而產(chǎn)生的負(fù)擔(dān)，并且仍能保證文本輸出的高精確度。
總結(jié)
大語言模型應(yīng)用的快速迭代需要大量的自動化和定性指標(biāo)的投入。交互式文本生成通過將寫作過程模式化為對話的方式，讓用戶控制文本生成結(jié)果。通過讓用戶參與到模型的文本生成過程中，模型的準(zhǔn)確性、實用性和安全性都會有所提高，這是將 LLM 應(yīng)用引入到未來高風(fēng)險領(lǐng)域的關(guān)鍵。
