展會信息港展會大全

對話追一科技CEO吳悅:垂直大模型的機會在那些舊bug里
來源:互聯(lián)網(wǎng)   發(fā)布日期:2023-06-12 09:02:49   瀏覽:7487次  

導讀:深圳的科興科學園面前的那條路,地鐵修了好幾年,走動很不方便。 這里是附近范圍里的一個集散地。園區(qū)下沉空間里的餐飲區(qū)域是包括騰訊在內的,周圍很多科技公司的食堂。 也包括從創(chuàng)業(yè)之初就把公司放在距離騰訊不遠的追一科技。他們的辦公地在對面,與科興一...

深圳的科興科學園面前的那條路,地鐵修了好幾年,走動很不方便。

這里是附近范圍里的一個集散地。園區(qū)下沉空間里的餐飲區(qū)域是包括騰訊在內的,周圍很多科技公司的“食堂”。

也包括從創(chuàng)業(yè)之初就把公司放在距離騰訊不遠的追一科技。他們的辦公地在對面,與科興一街之隔。

很多追一科技的員工會去對面吃飯,但修了路,就不太方便了。

這很像這家公司最近幾年給人的感覺,它離熱鬧很近,但好像又不是很近。

不久前品玩寫過一篇對于追一科技的觀察文章,時間線終止在2020年。之后這家公司和整個NLP領域的沉寂一起消失在了外界的關注之中。

直到ChatGPT的出現(xiàn)重新把關于AI的一切活力喚起。但在生成式AI壓倒性的優(yōu)越性面前,NLP這個概念本身甚至有被整個拋棄的危險。

如果NLP都不重要了,一家以NLP領域技術為根基的AI公司該如何變化?

在這個角度上,從上一次AI浪潮中存活下來的追一科技仍然是很多“不夠大又不夠新”的中國AI公司的合適樣本。

品玩在深圳與追一科技的CEO吳悅做了一次對話,我們想知道這家公司在2020年之后在做什么,這樣一位具備商業(yè)和技術視角的創(chuàng)始人是如何看待大模型產業(yè)的,以及在大模型的競爭中,這樣體量的AI公司究竟還有沒有獨特的地方。

吳悅不是一個耀眼的創(chuàng)業(yè)者了,也沒有選擇在這次新的AI浪潮中重新成為一個KOL一樣的人物。他的身份是一家300人的AI公司的經營者。這意味著他必須專注和務實。

這幾年的沉默背后,追一完成了一個艱難的產品標準化的過程,這曾經是一塊2000個Bug的硬骨頭,啃下來后,變成面向未來的機會。

他不愿陷在對AGI沒有答案的爭論里,但相信垂直大模型是堅實的機會,就像發(fā)現(xiàn)美洲大陸這件事遠不只成就了一人而已。

一切尚未塵埃落定。

以下是品玩與吳悅的對話,部分內容有些優(yōu)化和調整:

現(xiàn)在國內初創(chuàng)公司“百模大戰(zhàn)”的熱潮像2016年左右追一科技出現(xiàn)時的熱鬧一樣了。

現(xiàn)在不少創(chuàng)業(yè)公司做的主要還是對ChatGPT的解構和復現(xiàn)。這是一個非常有挑戰(zhàn)的事,我們樂見其成。

首先復現(xiàn)ChatGPT在現(xiàn)在是一個可以實現(xiàn)的事嗎?

首先相關的論文其實確實很多,并且開源社區(qū)中已經有非常多的團隊在做復現(xiàn)。并且ChatGPT這個產品已經在那里了,它并不是一個不可體驗的技術。綜合這些維度來看,我覺得相對來說去復現(xiàn)這個事情的信心和信息密度還是夠的。

另外就是,你要解決的問題明確了,這就變成一個更確定性的事。

也就是說現(xiàn)在尋找的是一個結果確定的東西。

對。美洲大陸在發(fā)現(xiàn)之前的投入是很大的,因為你不知道向哪個方向尋找。但一旦美洲大陸發(fā)現(xiàn)了之后,找到一條路去美洲大陸的航道其實容易多了。

這可以換一種更熟悉的說法國內大模型的機會在垂直領域或者應用層面。但這有點像曾經智能客服和翻譯可能是NLP領域最容易摘的桃子那種感覺。

我覺得這個事情,從創(chuàng)業(yè)公司角度是生存下去,雖然要有理想,但是生存是第一位的。但是并不代表著說我們沒有一家公司在做這些事。但最終還是要基于有多大能力做多大事。

這是指追一的能力,還是整個中國AI領域的公司抽象成一個集體的“能力”?

我不太好說,但我感覺大家現(xiàn)在還是以實用主義,也就是做應用的居多對吧?你說真的像OpenAI那樣燒幾十億美金,反正過去我覺得是很難,未來行不行?我覺得也不好說。

從最初頂著光環(huán)迎來高增長到后來的發(fā)展降速,直到2020年的那次裁員后從大眾視線里消失。追一科技仍然有特殊的地方,它是少有在此前的AI熱潮中活下來的公司之一;它也有現(xiàn)在看來更平庸的一面,在大模型面前,他不夠龐大,也不是直接從大模型入手的充滿活力的初創(chuàng)公司。這樣的公司有些“夾生”,但這樣的公司也正好是當下中國AI產業(yè)中的普遍樣本。

2020年之后的追一在做什么?

我們進入到了服務傳統(tǒng)行業(yè)的一個產品化的階段。主要面向于金融和運營商、政務這種大型企業(yè)客戶。2018、19年屬于大客戶的打樣階段,然后到了19年之后開始傳統(tǒng)大型企業(yè)客戶的規(guī);瘮U展,20年就面臨到交付。

坦白來講這個難度已經比我們預期的要難很多。

有多難?

因為我們定位自己是做AI產品,這里面有兩個典型特征。第一是它底層是基于AI能力的,然后上層它其實是一個應用層的產品。但應用層產品的定義是要由客戶定義出來的,也就是要有足夠多的大型客戶來幫我們來定義這樣一個產品。

這些大客戶的本地化部署中暴露了很多關于軟件向下適配度和向上兼容度的問題。

這個其實挺夸張的,我們測算過軟件的產品部署到客戶現(xiàn)場之后,出現(xiàn)一個bug差不多就要1萬塊錢的成本來解決。我們累計做了200多個客戶,在那個階段已經有將近大幾十家頭部客戶,累計的bug有幾千個。

很大一筆開銷,所以2020年之前這些問題還不顯現(xiàn)。

做腰部還好一點,但是做股份支行這種大客戶要求確實很高,我們的產品又是客服和營銷這樣銀行里的核心業(yè)務系統(tǒng)。

為什么頭部客戶要求更高?

同樣一個產品?赡苎靠蛻魶]有任何問題,但頭部客戶那里會暴露很多問題,因為他使用的很高頻。

并且對整個軟件的軟件的質量要求更高。它會有非常嚴格的安全漏洞掃描,并且如果用銀行舉例客戶的IT環(huán)境不一樣,操作系統(tǒng)不一樣,然后中間件也不一樣,數(shù)據(jù)庫也不一樣,這些都要適配。

頭部客戶對同一個軟件的使用深度會更深,也就會產生很多個性化的需求。如果說你整個軟件結構架構設計不合理,它的需求可能會關聯(lián)到這個軟件的核心系統(tǒng),核心系統(tǒng)被牽扯就需要我們主線開發(fā)人員去參與進來了。主線開發(fā)人員的資源其實是非常寶貴的。他被調用的話我們花費的成本就很高。

什么樣的需求會牽扯到主線的設計?

比如出現(xiàn)了AI助手在回答時不精準或者直接沒有回答的這種bad case。

這意味著可能要改算法算子。問題直接就到了底層算法模型這一層,然后全公司的所有人都要卷進來解決這一個bug。

但如果只做腰部,對底層技術推進的動力就沒那么大。我們定位是AI公司,需要找到大把手。

又要底層技術,又要產品。

對,兩頭都要特別難。

這逼迫團隊要把產品分層做的更合理,定制化需求最好在應用層解決而不影響主線。這是PaaS化之后才能實現(xiàn)的事,這個過程其實就是產品標準化的過程。

怎么理解產品的標準化,有沒有明確的衡量方式?

我覺得有幾個,第一個產品的bug收斂的非常明顯,這是一個標準;另外就是面對客戶各種各樣的需求,可以通過一個應用開發(fā)團隊去自閉環(huán),不需要牽扯主線團隊進來,我覺得這是第二個;第三個就是和產品相關的,從咨詢到交付的配套可以標準化,可以可以按照管理流程的方式來驅動,而不是靠人來驅動。

在中國做軟件,特別是大客戶方向,是要做從咨詢然后到產品,然后到實施三個環(huán)節(jié)的所有事的。理想狀況應該是比如IBM做咨詢,然后SAP做產品,然后艾森哲去做實施。

是因為中國整個軟件行業(yè)不夠成型導致的嗎?

對,整個生態(tài)仍然不是很完整。

吳悅在對話中補上了公司在2020年后的空缺。在一場產品標準化過程中沉淀下來的東西,又成為追一在大模型時代的競爭基矗追一科技在前不久發(fā)布了自己的博文大模型。站在聚光燈和嗜血的資本之外,吳悅相信垂直大模型的機會在于這是大廠與創(chuàng)業(yè)公司之間的真空地帶。

談談垂直大模型吧。如果把大模型技術延展成一條技術鏈,垂直大模型看上去是很末端的一環(huán)。追一可以幫銀行做,銀行也可以跟大廠直接合作,這就跳過了追一。這會不會意味著垂直大模型領域的AI公司其實很被動,缺少議價能力?

這是三個角度的問題。第一個是客戶會不會自研,但對于傳統(tǒng)企業(yè)的客戶來說,因為他主營業(yè)務不完全在IT上,出于投入產出比的考慮它不會自己來做這個事。

然后就是,這是不是意味著有通用大模型的廠家就能解決好垂直大模型的問題,或者說垂直大模型這個領域是不是因為門檻不夠導致競爭非常激烈。

沒錯。垂直大模型的門檻到底在哪里?

垂直大模型這個事的門檻不低。一個是私域知識如何融入到大模型里;然后還要考慮領域知識在回答生成上的精準度和可控性;并且這些垂直領域的知識最終都需要和軟件產品做好融合才行。

從這幾個角度來說,不是說是一個特別低門檻這個事。

最后這一點怎么理解?

軟件的成熟度是一個獨特的壁壘。這個就有點像比如說Copilot最終還是需要GPT去跟Microsoft 365結合起來做刻畫的,不能脫離Microsoft 365這個產品去做這個事情。

所以產品能力可能才是差異化的優(yōu)勢,比如CoPilot的優(yōu)勢其實是Microsoft 365,你們的優(yōu)勢其實是之前已經成型的AI產品?

對。比如之前提到的牽扯到主線需要做分層設計的問題。在調整過程中可能會做一些支持規(guī)則系統(tǒng)的改變,比如簡單的配一個規(guī)則,或者把算子的參數(shù)釋放出來,可以調參數(shù)來調效果。這些就是一些知識沉淀或技術沉淀。

確實碰壁碰的多了,問題解決的多了,產品才慢慢知道怎么去設計,這不是拍腦袋想出來的。

大廠和創(chuàng)業(yè)公司都缺乏這個。

對。這種經驗是靠bug堆出來,靠客戶堆出來的。

大廠從頂層設計向下看,很順利,但碰到比如安全漏洞就很麻煩。一個漏洞可能涉及到你的算法模塊缺陷,然后你的后臺模塊有缺陷,軟件后臺也有缺陷,一動就有很多問題。

這是一些很泥濘的地方,大家看不到。

我覺得是。

還是一個精度的考量。比如說我們現(xiàn)在通過小模型模型能在對話中做到90%以上的準確率雖然可能他的對話體驗可能沒想那么好比如金融行業(yè)的頭部客戶,它對對話答案精度的要求是挺高的。

然后在大模型的能力進入這個AI產品后,可能它的對話體驗變得更好,但是這個90%的精度可能會下降。因為生成式AI本身是個概率問題,有更多不可控的因素。在B端市場這是一個挺棘手的問題。

但數(shù)據(jù)仍然在那些你服務的公司里拿不出來,垂直大模型好像也沒有回答因為缺少數(shù)據(jù)而影響軟件迭代的問題?

不同的客戶的數(shù)據(jù)差異度是10%到20%,但之前在小模型技術的基礎上,因為這個10%到20%的差異,你就要去訓練一個新的定制化模型因為小模型的理解能力不夠。但是現(xiàn)在大模型的優(yōu)越性在于,他的理解能力充分了,所以這10%左右的差異其實不需要再去訓練一個新的模型。這其實是一個本質上的變化。

但客戶要一個適合自己的AI產品,其實就是要那%10-20%跟它相關的差異化。如果我只是個80%契合的產品,但對所有銀行都可以用的話,那也就是對所有銀行來說它也都沒區(qū)別了?

這個差異化的數(shù)據(jù)變量其實只是在表達上有差異。這部分表達上的差異在大模型下可以被理解出來。

也就是說數(shù)據(jù)這個痛點其實現(xiàn)在比原來小很多了。

對,是的。

2015前后開始的那一波AI熱潮現(xiàn)在回過頭來看,會給現(xiàn)在追一科技在垂直大模型的競爭有些什么啟發(fā)或者遺產嗎。

我們已經成立第七個年頭了。有了可靠的業(yè)務和客戶,也沉淀下來一個團隊。我們現(xiàn)在更加專注企業(yè)本身的經營,所以也會更加冷靜的來看待大模型這個事。

贊助本站

人工智能實驗室
相關內容
AiLab云推薦
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯(lián)系我們 | 廣告服務 | 公司動態(tài) | 免責聲明 | 隱私條款 | 工作機會 | 展會港