由微軟支持的OpenAI和Alphabet旗下的谷歌等知名科技公司與機構(gòu)，正在越來越多地將人力、資金和算力等資源用于解決“人工智能價值對齊”（AI alignment）這一核心問題。
最新消息顯示，由非營利性人工智能研究組織EleutherAI孵化出的美國新興初創(chuàng)公司Synth Labs，已從微軟旗下風投基金M12和谷歌前CEO施密特（Eric Schmidt）的深度科技風投基金First Spark Ventures處成功籌集了種子輪融資，將用于幫助一系列公司確保其AI系統(tǒng)按照人類的意圖來運作。
據(jù)Synth Labs的官網(wǎng)介紹，該機構(gòu)正在開展透明、可審計的人工智能對齊前沿研究，將與頂尖研究學校和全球獨立研究者社區(qū)合作，力求建立一個完全可審核且強大的AGI（通用人工智能）對齊平臺，實現(xiàn)預訓練、規(guī)�；⒆詣踊瘮�(shù)據(jù)集的管理和增強，并側(cè)重于開源模型。
其官網(wǎng)稱，當前的“對齊”方法不夠有效，對AI模型的評估更差，這導致AI軟件的運行效果往往不盡如人意。人類意圖中的豐富偏好被統(tǒng)一的模型瓦解，基于人類原始數(shù)據(jù)的模型培訓無法拓展，但這些模型理應擁有自動適應和拓展的能力。
據(jù)騰訊研究院等多方資料介紹，人工智能對齊，也可稱為人工智能價值對齊，指的是引導AI系統(tǒng)的行為，使其符合設(shè)計者的利益和預期目標，特別是要確保AI追求與人類價值觀相匹配的目標，確保AI以對人類和社會有益的方式行事，不對人類的價值和權(quán)利造成干擾與傷害。
隨著人工智能技術(shù)的快速發(fā)展和應用普及，AI的多任務學習能力和泛化能力越來越強，也令人工智能對齊成為AI控制與AI安全的重要議題，以期防范可能帶來的風險與挑戰(zhàn)。
曾有研究者認為，必須在超級人工智能誕生前解決對齊問題，因為一個設(shè)計不夠完善的超級人工智能可能會從理性上迅速掌握可控制權(quán)，并拒絕創(chuàng)造者對其進行任何修改。
而如果AI與人類的價值觀不能對齊，可能會出現(xiàn)以下風險：AI的行為不符合人類意圖的目標；在多種設(shè)定目標沖突時做出錯誤取舍；傷害人類的利益；以及脫離控制等。
目前，OpenAI成立了對齊團隊并提出InstructGPT模型，其競爭對手、由谷歌支持的Anthropic也將“AI對齊”作為Claude模型的開發(fā)重點，致力于打造“更安全的AI聊天機器人”。
Synth Labs聯(lián)合創(chuàng)始人、也是領(lǐng)先的人工智能研究組織CarperAI創(chuàng)始人Louis Castricato對媒體稱，過去幾個月，Synth Labs已經(jīng)構(gòu)建了可在多個復雜主題上輕松評估大語言模型表現(xiàn)的工具，目標是普及易于使用的工具，后者可以自動評估和對齊人工智能模型。
Synth Labs近期撰寫的研究論文稱，他們在OpenAI的GPT-4以及Stability AI的Stable Beluga 2人工智能模型生成對提示語的回答基礎(chǔ)上創(chuàng)建了一個數(shù)據(jù)集，隨后將其用于一個自動化流程，以指導AI聊天機器人避免談論某個話題，并開啟談論另一個話題。
而孵化了Synth Labs的EleutherAI則稱，希望通過獨立研究更好地了解人工智能如何運作和演進，確保AI繼續(xù)為人類的最大利益服務，為此他們將在透明和協(xié)作的基礎(chǔ)上，對市面上現(xiàn)有的人工智能模型進行研究、訓練并公開發(fā)布一系列大語言模型。該組織還傾向于開源人工智能：
“關(guān)于人工智能的未來和部署的決策，不應完全由那些尋求利用人工智能盈利的科技公司做出。”
