機器之心報道
機器之心編輯部
過去十年間，AI 技術(shù)經(jīng)歷了巨大的飛躍，無論是在自然語言處理、圖像識別，還是在更多的創(chuàng)新領(lǐng)域，AI 的影響已無所不在。
伴隨著研究數(shù)量的爆炸性增長，學(xué)術(shù)界和工業(yè)界同樣面臨著一些挑戰(zhàn)，其中就包括「論文復(fù)現(xiàn)」和「跨學(xué)科協(xié)作」的難題。特別是當(dāng)我們來到了大模型時代，面對動輒百億參數(shù)量的模型研究，開源、復(fù)現(xiàn)、協(xié)作變得更加重要，但難度卻更上一層樓。
論文復(fù)現(xiàn)，首先是評判一項成果價值的重要參考因素。同時，在快速發(fā)展的 AI 領(lǐng)域，確保研究的可復(fù)現(xiàn)性將更好地推動知識的積累和技術(shù)的普及，也是維護學(xué)術(shù)誠信和促進持續(xù)創(chuàng)新的關(guān)鍵所在。面對這些問題，倡導(dǎo)開放科學(xué)和透明研究顯得尤為重要。通過開源代碼、數(shù)據(jù)和實驗細(xì)節(jié)、提供更低成本的、針對復(fù)現(xiàn)需求的算力平臺，以及提供支持快速復(fù)現(xiàn)的交互式程序，我們或許能夠在推進科學(xué)研究的道路上，建立更加穩(wěn)健和可靠的基矗
如果說「復(fù)現(xiàn)難」的問題，就像是為研究者之間的「對話」增添了一道高墻。那么「協(xié)作難」的問題，同時也為跨學(xué)科的合作建立了無形的屏障。
大模型時代，如何搭建一個方便的、能夠降低交流和協(xié)作門檻的平臺已經(jīng)成為一大挑戰(zhàn)。我們所熟悉傳統(tǒng)的軟件開發(fā)協(xié)作方式，例如基于 Git 的代碼管理與版本控制，在 A I 研發(fā)這種更依賴于實驗而非確定性過程的場景下可能不再適用，其復(fù)雜的實驗版本管理和較高的使用、部署門檻往往阻礙了不同領(lǐng)域?qū)＜抑g的交流與協(xié)作。當(dāng)前的 AI 領(lǐng)域需要新的協(xié)作模式和工具，包括更直觀、易于使用的版本控制和協(xié)作平臺，讓非技術(shù)背景的專家也能方便地參與到模型的開發(fā)、評估和演示過程中來。
換句話說，無論是科研工作者還是從業(yè)者，都希望能在知識和技術(shù)的共享基礎(chǔ)上，實現(xiàn)更加高效、有深度的協(xié)作，推動 AI 領(lǐng)域的進一步發(fā)展。
在這樣的背景下，一個全新的 AI 開源社區(qū)平臺「SwanHub」誕生了。
體驗地址：https://swanhub.co/
值得關(guān)注的是，SwanHub 來自西安電子科技大學(xué)的一支非常年輕的在校研究生和本科生團隊。團隊的四位成員均為 95 后，不僅有著豐富的 AI 研究經(jīng)驗，還有對開源的熱情。在指導(dǎo)老師吳家驥教授和譚茗洲教授的帶領(lǐng)下，他們從零開始構(gòu)建了一個 AI 模型一站式協(xié)同開發(fā)、開源共享、可視化展示平臺，旨在解決當(dāng)前 AI 模型復(fù)現(xiàn)難、部署難、管理難的核心問題。
SwanHub 解決了哪些問題？
在 SwanHub 這一平臺中，AI 研究者和從業(yè)者不僅可以獲得豐富的開源模型和工具資源，還能夠享受到協(xié)同開發(fā)的便捷與高效。目前，SwanHub 已經(jīng)上線幾大核心功能，包括 AI 模型托管、可視化展示等。
首先，AI 研究者可以將自己的代碼托管到 SwanHub 上進行版本管理，像使用 Github 托管平臺一樣。但與 GitHub 相比，SwanHub 支持更高容量的大文件托管，研究者可將多達幾十個 GB 的模型權(quán)重文件進行托管與版本管理。
「可視化展示」也是 SwanHub 的一大亮點。很多在頂級會議和期刊上發(fā)表的研究文章都會展示漂亮的效果和創(chuàng)新的技術(shù)。但在實際操作中，嘗試復(fù)現(xiàn)這些研究成果的工程師和研究人員卻常常遇到困難。正因此，近年來很多學(xué)術(shù)會議不僅要求作者提交代碼，也要求提交一定數(shù)量的 Demo，提供更充足的研究信息，而 SwanHub 恰好提供了這樣一個公開展示成果、獲取更多科研流量的平臺。
如下圖所示，SwanHub 平臺提供了一套簡易的模型 Demo 部署工作流，讓用戶可以通過點擊幾個按鈕的方式，輕松地將代碼和模型權(quán)重部署成一個可視化、可交互的網(wǎng)頁 Demo，實現(xiàn)實時在線測試 AI 模型的推理結(jié)果，并支持分享給協(xié)作者、審稿人、同行或公開在互聯(lián)網(wǎng)上。SwanHub 也支持主流的可視化框架如 Gradio、StreamLit 等。
SwanHub 不僅為想要分享成果的研究者提供了一個展示自己開源模型的平臺，其他研究者也可以在這里輕松地訪問到其他研究者的開源成果、體驗 Demo，以及在討論區(qū)進行學(xué)術(shù)討論。
此外，團隊表示，SwanHub 即將上線兩項功能：第一項功能是代碼一站式部署服務(wù)，讓用戶可以輕松地將機器學(xué)習(xí)模型部署為一個云服務(wù) API（應(yīng)用程序編程接口），并同樣支持開放給全社區(qū)或私有使用。對于開放自己模型的 API 的研究者而言，可以讓自己的研究成果更快地接入到各個應(yīng)用場景中，提高研究的影響力；同時對于使用者而言，也能更快地讓自己的應(yīng)用接入各類強大的開源 AI 能力。第二項功能是模型實驗管理工具 SwanLab，用戶可以將自己的實驗日志記錄程序接入 SwanLab，即可實現(xiàn)在線實驗日志記錄和管理功能。平臺不僅僅能夠幫助記錄訓(xùn)練日志和托管中間模型，還能夠提供可視化訓(xùn)練結(jié)果、訓(xùn)練完成消息推送、超參數(shù)記錄與推薦、模型跨版本對比等功能，便于研究人員快速試錯和開發(fā)，以及提升多人協(xié)同訓(xùn)練的效率。
正在開發(fā)中的模型訓(xùn)練日志托管功能
四個年輕人的技術(shù)理想
很少有人知道的是，SwanHub 開源社區(qū)平臺的背后是四位年輕的「95 后」成員。
林澤毅、陳少宏、韓翔宇、雷清揚四人相識于西安電子科技大學(xué)的校園，曾出于各自對技術(shù)的興趣組建過一個名為「光年科技工作室」的社團。后來，幾個志同道合的年輕人共同創(chuàng)立了「極創(chuàng)工作室」，踏上了科技創(chuàng)業(yè)的旅程。
打造 SwanHub 的靈感，除了來源于團隊基于當(dāng)前 AI 領(lǐng)域?qū)﹂_源社區(qū)需求的洞察，其實也和他們自己的研究經(jīng)歷有關(guān)。
在從事 AI 研究的過程中，他們常常感受到來自內(nèi)部協(xié)作和項目展示方面的需求和挑戰(zhàn)。雖然常用的一些開源平臺能夠提供基本的托管功能，但往往缺乏一個基于模型的可視化協(xié)作版塊，導(dǎo)致實驗室成員之間的合力難以凝聚。
對于大部分的研究者來說，諸如此類的問題是很常見的。一方面，復(fù)雜的實驗版本和多人協(xié)同帶來的困難會限制研究項目的發(fā)展，另一方面，模型的部署難度較大以及訓(xùn)練過程的復(fù)現(xiàn)困難也阻礙團隊的內(nèi)部交流和知識積累。在日常的學(xué)術(shù)交流活動中，他們同樣缺乏一個直觀展示成果和積累的平臺。
「這些因素進一步強化了我們搭建一個屬于自己的協(xié)作和展示平臺的愿望�！筍wanHub 項目負(fù)責(zé)人林澤毅介紹說�！肝覀兿Ｍ峁┮粋�針對 AI 領(lǐng)域的開源社區(qū)，在論文復(fù)現(xiàn)、技術(shù)選型、技術(shù)分享等方面幫助更多的科研工作者與從業(yè)者。此外，我們期望這種基于模型的可見、可交互的協(xié)作模式能夠提高 AI 項目的迭代速度和團隊成員之間的交流效率，減少不必要的等待和溝通成本�！�
因此，SwanHub 項目的最初設(shè)想是提供一套完整的 AI 工作流程，從論文到開源代碼再到部署和可視化展示。通過這套工作流程，人們可以在進行實驗和投稿論文的同時，輕松地搭建可視化的演示，以供同行快速復(fù)現(xiàn)和試驗。另一方面，提供可交互 Demo 的學(xué)術(shù)項目也更容易獲得更高的傳播度和更好的口碑，進而獲得更高的學(xué)術(shù)影響力。
同時，團隊還考慮到了業(yè)界開發(fā)者的需求。與傳統(tǒng)的軟件開發(fā)不同，AI 開發(fā)是一種實驗科學(xué)，特別是到了大模型時代，技術(shù)的開發(fā)和測試思路也發(fā)生了很大的變化：在實際應(yīng)用中，盡管模型可能在某些客觀指標(biāo)上表現(xiàn)出色，但如何在實際場景中施展它們的「智能」，如何將它們?nèi)谌氲綄I(yè)工作流程中，往往需要相關(guān)領(lǐng)域的專家進行深入的實際效果測試，而這個過程同樣是挑戰(zhàn)重重的。
對于這一點，SwanHub 項目成員陳少宏的體會比較深刻。他所在的 AI 研究團隊曾經(jīng)參與一家智能手機廠商視頻處理算法研發(fā)的項目，當(dāng)時的研究團隊成員分散在全國多個城市，大部分工作需要線上協(xié)作。但從算法更新、驗證、端側(cè)部署、反饋的整個線上流程來看，每一次模型迭代需要以「1.5 個星期」為單位，顯然趕不上項目原本規(guī)劃的落地節(jié)奏。
為了加快算法更新效率，陳少宏推薦研究小組使用了 SwanHub，每訓(xùn)練完一個版本的模型，都可以在平臺上快速更新 Demo，廠商各部門的人員，包括 PM、產(chǎn)品經(jīng)理、測試、市嘗其他研究人員，都可以在線試驗效果，提供多樣化的改進反饋，極大地提高了合作雙方的溝通和協(xié)作效率，也大大提高了模型的迭代速度。
這種跨學(xué)科的協(xié)作，在此前以代碼為核心的協(xié)作上是很難做到的 比如讓一位市場部的項目成員去安裝環(huán)境、運行項目是阻力極大的事情，而以 Demo 為核心的平臺讓跨領(lǐng)域協(xié)作成為了可能。
開源的價值：AI 技術(shù)變革的助推力
二十年前，一本名為《開源：革命之聲》的著作曾風(fēng)靡科技圈。這本書深入探討和記錄了十多位開源先驅(qū)對于開源文化的理解和闡述，包括 Linux 之父 Linus Torvalds、自由軟件運動創(chuàng)始人 Richard Stallman 等傳奇人物。
比如，Linus Torvalds 一直是開源的忠實擁護者，曾公開表達：「未來的一切都是開源的（The future is open source everything）�！谷嗄陙恚贿z余力地為 Linux 社區(qū)注入心血，讓 Linux 從一個僅有幾百位用戶的自由操作系統(tǒng)開始，逐漸成長為一個偉大而富有創(chuàng)造力的社區(qū)。
SwanHub 的團隊成員對于開源的熱情就起源于這本書籍，他們甚至嘗試將此前只有英文原版的書稿譯為中文，翻譯的過程讓他們更加深刻地認(rèn)識到開源在學(xué)術(shù)交流與科技發(fā)展中所能發(fā)揮的巨大推動作用。
打造 SwanHub 開源社區(qū)的深層價值也在于此�？v觀今天的 AI 領(lǐng)域，大部分有影響力的進展都深深植根于開放科學(xué)和開源的原則。這些原則不僅倡導(dǎo)知識的自由傳播和共享，還實質(zhì)性地推動了全球范圍內(nèi)的科研協(xié)作與創(chuàng)新。
Hugging Face 社區(qū)的「Transformers 庫」便是一個經(jīng)典的例子：這家成立于 2016 年的公司，憑借其易用的接口和大量的預(yù)訓(xùn)練模型迅速獲得了 AI 社區(qū)的廣泛認(rèn)可和熱烈歡迎。它不僅提供了一個用于發(fā)布、分享和協(xié)作的平臺，還開啟了一種創(chuàng)新的協(xié)作模式，大大降低了深度學(xué)習(xí)模型的使用門檻，從而讓更多的開發(fā)者和科研工作者能夠應(yīng)用這些模型到實際的項目和研究中。
最重要的是，Hugging Face 社區(qū)鼓勵并促進了全球范圍內(nèi)的協(xié)作。開發(fā)者和研究者們在此平臺上分享自己開發(fā)的模型、貢獻代碼、提出問題，共同尋找解決方案。這種集思廣益的協(xié)作方式極大推動了 AI 技術(shù)的發(fā)展，也將一些前沿的、可能原本屬于封閉研究的技術(shù)開放給了公眾。
Hugging Face 的成功不是偶然的，它揭示了一個開放、協(xié)作的技術(shù)社區(qū)對于科技進步起到了不可忽視的推動作用。當(dāng)科研工作者有了公開分享數(shù)據(jù)、方法論、模型和工具等研究成果的渠道，他們的貢獻就能成為廣大研究社區(qū)的共同財富。
這種開放分享的實踐允許其他研究者站在「巨人」的肩膀上，不僅能看到更遠(yuǎn)的地方，也能通過繼續(xù)探索和創(chuàng)新。身處這樣一個環(huán)境中，AI 技術(shù)的發(fā)展才能夠在一個正向循環(huán)中迅速推進。
在這一點上，SwanHub 的目標(biāo)和 Hugging Face 是基本一致的。關(guān)于 SwanHub 的未來，團隊希望能夠持續(xù)提升 SwanHub 在協(xié)同、部署、社區(qū)等方面的能力與體驗，并將圍繞 SwanHub 打造工具矩陣，包括大模型模塊化編程工具 SwanChain、模型實驗管理工具 SwanLab 等，覆蓋 AI 研究的整個生命周期，并持續(xù)走開源道路。
如今，大模型風(fēng)云乍起，新的成果不斷涌現(xiàn)，谷歌和 OpenAI 這樣的公司可能不會有「護城河」，而開源力量卻在不斷崛起和追趕，形成這一局面的因素中，也包括無數(shù)開源擁護者的共同努力。
