衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
投研并舉，這是騰訊目前快速布局大模型的策略。
量子位獲悉，就在最近一輪清華系A(chǔ)I公司的融資中，騰訊已經(jīng)出手下注，幫助其中一家風(fēng)口上的公司快速完成10億級別的Pre-A+輪融資這家公司叫深言科技（DeepLang AI），源流自清華大學(xué)自然語言處理實(shí)驗(yàn)室（THUNLP） 。
深言還曾陷入美團(tuán)老王的并購傳聞，但目前為止，被資本層面證實(shí)的最重要戰(zhàn)略投資方，依然是剛剛浮出水面的騰訊，以及好未來這也是好未來首次公開投資大模型公司。
但對于騰訊，深言只是大模型布局的提速。更早之前，騰訊被曝4000萬美元重注投資了MiniMax，幫助其快速晉升為大模型獨(dú)角獸。
騰訊話事人馬化騰已經(jīng)表態(tài)，對于大模型這樣的時(shí)代級浪潮不會袖手旁觀，但也不會急于求成搞半成品，會專心搞好研發(fā)。
但隨著接二（尚未）連三的投資布局曝光，也能看出騰訊對大模型技術(shù)的決心和重視，以及對于大模型創(chuàng)投市場而言，這同樣是個(gè)振奮的消息，畢竟此時(shí)此地的創(chuàng)投市場，滿揣現(xiàn)金的騰訊進(jìn)場，對不少VC都意味著退出保障和市場信心。
清華系A(chǔ)I初創(chuàng)公司深言科技？
深言科技成立于2022年3月，主要面向AI和NLP，目標(biāo)是用AI及NLP技術(shù)，尤其是大模型技術(shù)，全流程服務(wù)信息處理。
創(chuàng)始人兼CEO豈凡超，是清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系2017級博士畢業(yè)生，本科時(shí)期就讀于清華電子工程系。
在校時(shí)，他是THUNLP的一員。其主要研究方向?yàn)镹LP，曾在EMNLP等頂會發(fā)表論文30多篇。
聯(lián)合創(chuàng)始人兼COO李瀟翔，清華電子工程系2017級博士。紅杉中國合伙人張涵也是公司董事之一。
公司當(dāng)前對外公開的產(chǎn)品，最引人注目的是WantWords和WantQuotes。
WantWords，中文名叫反向詞典，產(chǎn)品在2021年11月時(shí)一度走紅微博，服務(wù)器被多次擠爆。
反向詞典的開發(fā)要追溯到更早期，2019年，豈凡超就和同學(xué)合作研發(fā)了該產(chǎn)品，不僅支持支持中文及跨語言查詢，還進(jìn)行開源。
項(xiàng)目背后的核心AI，名為多通道逆向詞典模型，相關(guān)論文中選過AAAI 2020。
而反向詞典的項(xiàng)目指導(dǎo)教師一欄中，就有豈凡超的導(dǎo)師，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授、博士生導(dǎo)師，清華大學(xué)人工智能研究院常務(wù)副院長孫茂松。
孫茂松和豈凡超的合作在后者畢業(yè)后仍然繼續(xù)。
去年豈凡超博士畢業(yè)后，隨即與多位清華碩博背景同學(xué)一道，從THUNLP孵化出深言科技。
現(xiàn)在擔(dān)任深言科技首席科學(xué)家的，正是孫茂松。
同時(shí)，THUNLP實(shí)驗(yàn)室的反向詞典和后續(xù)推出的據(jù)意查句（WantQuotes）等，也劃歸深言名下。
關(guān)于為深言科技生長提供土壤的THUNLP，這里再多說兩句，它是國內(nèi)第一個(gè)開展NLP研究的科研單位，70年代就已經(jīng)成立。
彼時(shí)的牽頭人是國內(nèi)NLP研究領(lǐng)域的趟路人黃昌寧，也是孫茂松的恩師。
反向詞典另一名項(xiàng)目指導(dǎo)教師劉知遠(yuǎn)同屬THUNLP實(shí)驗(yàn)室，他是孫茂松的學(xué)生。
實(shí)驗(yàn)室此前推出的項(xiàng)目，頗受關(guān)注的主要有三：
中文詩歌自動(dòng)生成系統(tǒng)九歌MixPoet，它訓(xùn)練過程中學(xué)習(xí)了80萬首中國古詩；
語言表征模型ERNIE（和百度文心大模型同名），可與當(dāng)時(shí)任務(wù)最優(yōu)的BERT媲美；
以中文為核心的預(yù)訓(xùn)練大模型清源CPM，是智源研究院大模型悟道文源的前身。
上述項(xiàng)目研發(fā)過程時(shí)，豈凡超等人尚未畢業(yè)，仍身處THUNLP。
投研并舉的騰訊
此前業(yè)內(nèi)流傳一種說法，“騰訊正在變成一家投資公司”。
這種說法背后的觀點(diǎn)認(rèn)為，看騰訊是否布局一個(gè)行業(yè)、一個(gè)領(lǐng)域，往往是看它向哪個(gè)地方砸了錢，而不是自己的業(yè)務(wù)團(tuán)隊(duì)在做些什么。
對此騰訊當(dāng)時(shí)的回應(yīng)是，除了自主開拓多條事業(yè)線利用好這些流量以外，不核心的、不專業(yè)的項(xiàng)目都會通過投資，交給其他更合適的團(tuán)隊(duì)去做。
但在大模型領(lǐng)域，騰訊顯然沒有因?yàn)閷ν馔顿Y就放棄自己內(nèi)部的動(dòng)作，只不過不那么“著急”而已
日前的騰訊2023股東大會上，被媒體描述為“身形暴瘦，快認(rèn)不出”的馬化騰，分享了大模型的觀點(diǎn)：
騰訊也在埋頭研發(fā)，并不急于把半成品拿出來展示……
我感覺現(xiàn)在有很多公司太急了，感覺是為了提振股價(jià)，我們一貫不是這種風(fēng)格。
此前他還在Q1財(cái)報(bào)電話會上回應(yīng)騰訊在大模型方向上的“慢動(dòng)作”：“對于工業(yè)革命來講，早一個(gè)月把電燈泡拿出來在長的時(shí)間跨度上來看是不那么重要的。”
雖然“不著急”，但騰訊自身在大模型領(lǐng)域并非毫無動(dòng)作。
最直接的消息，就是騰訊內(nèi)部打造了混元大模型，在今年4月首次對外披露。
而后又公布了新消息，推出國內(nèi)首個(gè)低成本、可落地的NLP萬億大模型。
并且，針對傳聞中“騰訊針對類ChatGPT對話式產(chǎn)品成立‘混元助手’項(xiàng)目組”，騰訊給出回應(yīng)：相關(guān)方向上已有布局，專項(xiàng)研究也在有序推進(jìn)。
據(jù)職場Bonus消息，這個(gè)項(xiàng)目組的負(fù)責(zé)人大有來頭，是騰訊史上最高職級擁有者，張正友（騰訊首位17級研究員/杰出科學(xué)家）。
與此同時(shí)，隨著大模型群雄逐鹿，對算力的需求激增，騰訊還另辟蹊徑，在算力層面著力。
根據(jù)騰訊Q1財(cái)報(bào)，騰訊云計(jì)算等ToB業(yè)務(wù)占據(jù)了收入的30%，同時(shí)，面向大模型訓(xùn)練，騰訊采用了最新自研服務(wù)器。
以訓(xùn)練自家大模型效果為例萬億參數(shù)的混元NLP大模型訓(xùn)練。在同等數(shù)據(jù)集下，將訓(xùn)練時(shí)間由50天縮短到11天。如果基于新一代集群，訓(xùn)練時(shí)間將進(jìn)一步縮短至4天。
技術(shù)層面的推進(jìn)也在持續(xù)進(jìn)行，3月宣布成績的信息檢索領(lǐng)域頂會WSDM（Web Search and Data Mining）宣布WSDM CUP 2023競賽成績。
來自騰訊研究團(tuán)隊(duì)的在無偏排序?qū)W習(xí)和互聯(lián)網(wǎng)搜索預(yù)訓(xùn)練模型賽道上的兩項(xiàng)任務(wù)中獲得冠軍，現(xiàn)在這兩項(xiàng)成果代碼和論文均已發(fā)布在GitHub。
二者中的后者與大模型息息相關(guān)，因?yàn)閿?shù)據(jù)標(biāo)注的質(zhì)量對于模型的效果有著較為顯著的影響。
比賽中，針對基于搜索的預(yù)訓(xùn)練任務(wù)（Pre-training for Web Search），騰訊團(tuán)隊(duì)通過大模型訓(xùn)練、用戶行為特征去噪等方法，在點(diǎn)擊日志上進(jìn)行基于搜索排序的模型預(yù)訓(xùn)練，進(jìn)而使模型有效地應(yīng)用到下游相關(guān)性排序的檢索任務(wù)。
現(xiàn)在，隨著對MiniMax和深言科技的先后押注，騰訊對大模型領(lǐng)域的內(nèi)外布局逐漸開始撥云見日。
騰訊仿佛在走與微軟類似的路線，投研并舉，即自主研發(fā)的同時(shí)，不忘對外投資市場看好或擁有技術(shù)背景的AI初創(chuàng)公司，一如微軟對OpenAI的押注。
隨之而起的還有創(chuàng)投圈四起的哀嚎：
大廠戰(zhàn)投在大模型一出手就把估值拉賊高，跟不起了啊啊啊啊啊啊�。。�！
但另一方面，大廠戰(zhàn)投進(jìn)場，同時(shí)也意味著最有保障的退出機(jī)制來了。
畢竟移動(dòng)互聯(lián)網(wǎng)時(shí)代爭奪“門票”的那幾年，UC也好，91也罷，不都是這樣嗎？
