劃重點
01OceanBase推出首個面向?qū)崟r分析處理場景的GA版本4.3.3,提升多模態(tài)數(shù)據(jù)處理能力和向量檢索與索引功能。
02該版本在基礎(chǔ)分布式能力上,帶來更強性能、向量多模融合、融入AI技術(shù)棧。
03除此之外,OceanBase一體化數(shù)據(jù)庫包括一體化產(chǎn)品、一體化引擎、一體化架構(gòu),滿足AI應(yīng)用發(fā)展的需求。
04通過深度集成向量引擎,一體化數(shù)據(jù)庫支持快速向量化計算和相似度查詢,提升AI應(yīng)用的性能。
05目前,OceanBase將成為螞蟻集團的AI數(shù)據(jù)底座,為一系列AI時代新應(yīng)用提供支持。
以上內(nèi)容由騰訊混元大模型生成,僅供參考
明敏 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
幾個工程師、一個星期,就能做一個AI Agent應(yīng)用了。
效果be like
能理解用戶復(fù)雜長命令,推薦符合要求的奶茶店。
推薦兩公里內(nèi)、評分4.5以上、人均消費25元以內(nèi)干凈衛(wèi)生的奶茶店。
要知道,這背后需要它能分析處理不同模態(tài)的數(shù)據(jù),比如文本、地理信息、圖像等。
放在以前,構(gòu)建這樣的AI應(yīng)用需要多個不同的數(shù)據(jù)庫,還需要配備經(jīng)驗豐富且規(guī)模較大團隊來管理復(fù)雜技術(shù)棧。
如今,能如此輕松搞定,多虧了背后的一體化數(shù)據(jù)庫OceanBase。
最新發(fā)布會上,OceanBase推出首個面向?qū)崟r分析處理場景的GA版本:4.3.3版本。
不僅推出全新向量檢索功能,實現(xiàn)SQL+AI一體化,還進一步增強多模態(tài)數(shù)據(jù)處理能力。
感覺方方面面都是為AI時代做好了準(zhǔn)備埃
為啥能這么說?
從最新發(fā)布的新能力看起。
首個面向?qū)崟r分析的GA版本此次OceanBase 4.3.3核心升級的能力主要有3方面:
AP場景性能提升
多模態(tài)數(shù)據(jù)支持
向量檢索與索引
首先,OceanBase 4.3.3版本升級了對復(fù)雜數(shù)據(jù)類型處理能力。
新增Array類型,這意味著數(shù)據(jù)庫可以直接存儲、查詢和操作數(shù)組數(shù)據(jù)。并對Roaringbitmap類型數(shù)據(jù)的計算性能進行了優(yōu)化,意味著數(shù)據(jù)庫能夠更高效地處理和操作大型集合數(shù)據(jù)。
其次,OceanBase 4.3.3在向量融合查詢的關(guān)鍵能力上帶來提升,推出全新向量檢索能力,支持向量數(shù)據(jù)類型和向量索引,并基于向量索引提供強大搜索能力。
用戶可通過SQL及Python SDK等方式靈活調(diào)用OceanBase的向量檢索能力。
如今,在通用數(shù)據(jù)庫中集成向量插件已經(jīng)成為一種趨勢,這種方式能夠直接復(fù)用通用數(shù)據(jù)已有功能和生態(tài)。
OceanBase與螞蟻集團聯(lián)合開發(fā)了向量索引庫,這個索引庫已經(jīng)在螞蟻集團大量業(yè)務(wù)場景中得到驗證(如生物識別、企業(yè)內(nèi)部知識庫等),性能成熟。
現(xiàn)場跑分結(jié)果顯示,該向量庫在960維的GIST數(shù)據(jù)集上表現(xiàn)出色,在ANN Benmarks測試中性能遠超其他算法,排名第一。
特別是在 90% 以上的召回率區(qū)間,查詢性能(QPS)相比此前最優(yōu)算法 glass 提升 100%,相比基線算法hnswlib提升300%。
該向量引擎深度融合了OceanBase的存儲引擎和SQL引擎,實現(xiàn)SQL+AI一體化。能夠在一條SQL語句中實現(xiàn)標(biāo)量、向量、空間地理等混合查詢。
比如“望小京”demo中,用戶給的提示詞為“推薦兩公里內(nèi)、評分4.5以上、人均消費25元以內(nèi)干凈衛(wèi)生的奶茶店”。這背后涉及到處理文本、圖像和地理位置等不同類型的數(shù)據(jù),需要更強大的數(shù)據(jù)分析和查詢能力。
最后,OceanBase 4.3.3還針對AP(分析處理)場景進行大幅性能優(yōu)化,尤其是在海量數(shù)據(jù)分析時,能夠提供更短的響應(yīng)時間和更高的吞吐能力。
TPC-H 1T場景提升64%
TPC-DS 1T場景提升36%
ClickBench hot- run提升49%
cold-run性能提升149%
同時大幅完善了實時AP功能,包括支持列存副本、物化視圖、外表集成、快速導(dǎo)入導(dǎo)出等。
實現(xiàn)滿足TP和AP負載的物理資源強隔離,可確保系統(tǒng)在處理事務(wù)型負載時,不受分析型負載的影響,特別是在實時數(shù)據(jù)分析和決策場景中,能夠保持系統(tǒng)的高性能與穩(wěn)定性。
在易用性方面也做了升級,通過提供AP參數(shù)版本,用戶可以針對不同場景選擇特定模板,不需要再單獨配置參數(shù)。并增強了AP場景中對SQL診斷能力的支持。
總結(jié)來看,OceanBase 4.3.3在基礎(chǔ)分布式能力上,帶來更強性能、向量多模融合、融入AI技術(shù)棧。
也就是將AI與數(shù)據(jù)庫進一步融合。
這并不難理解,AI應(yīng)用/AI Agent大勢所在,各類應(yīng)用智能化升級改造,底層數(shù)據(jù)庫必須緊隨趨勢升級。
不過在這之中,OceanBase還反復(fù)提到了一個關(guān)鍵詞一體化。
它不僅是OceanBase的自身特性,如今也逐漸成為行業(yè)擁抱AI時代的一個優(yōu)解。
Why?
更快推動AI應(yīng)用大規(guī)模落地對于數(shù)據(jù)庫的發(fā)展,行業(yè)內(nèi)逐漸達成一些共識。
AI能力大幅提升,導(dǎo)致全球80%以上的非結(jié)構(gòu)化數(shù)據(jù)被激活,背后的挖掘分析需求井噴,在這一新變化下,數(shù)據(jù)處理面臨更大規(guī)模、更多模態(tài)、實時性更強以及數(shù)據(jù)碎片和數(shù)據(jù)孤島問題。
這些變化給數(shù)據(jù)庫提出了諸多新的發(fā)展需求。
最首要的便是,分布式數(shù)據(jù)庫成為一種大趨勢。
華東師范大學(xué)數(shù)據(jù)學(xué)院院長、CCF數(shù)據(jù)庫專委會常委錢衛(wèi)寧提出,互聯(lián)網(wǎng)時代數(shù)據(jù)走向了開放環(huán)境,在數(shù)據(jù)是分布式的時代里,數(shù)據(jù)庫也需要是分布式的。
分布式數(shù)據(jù)庫可以讓多臺服務(wù)器協(xié)同作業(yè),完成單臺服務(wù)器無法處理的任務(wù),尤其是高并發(fā)或者大數(shù)據(jù)量的任務(wù)。
除此之外,隨著AI、云計算等技術(shù)發(fā)展,數(shù)據(jù)庫還呈現(xiàn)出以下特點。
第一,云計算的普及推動了云數(shù)據(jù)庫的快速發(fā)展。云數(shù)據(jù)庫提供按需擴展、高可用性和成本效益。
第二,大數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)需求增加,多模態(tài)是一種趨勢,NoSQL數(shù)據(jù)庫(如MongoDB、Cassandra、Redis、Couchbase)越來越受到歡迎。NoSQL數(shù)據(jù)庫提供了更好的擴展性和靈活性,適用于存儲和處理各種數(shù)據(jù)類型,如文檔、鍵值對、圖數(shù)據(jù)等。
第三,HTAP數(shù)據(jù)庫成為熱點,甚至是主流數(shù)據(jù)庫的一項基礎(chǔ)能力。這類數(shù)據(jù)庫能夠同時處理事務(wù)性和分析性工作負載,滿足了企業(yè)實時數(shù)據(jù)處理和分析的需求。
第四,開源也是一大趨勢。開源數(shù)據(jù)庫(如PostgreSQL、MySQL、MariaDB)憑借其社區(qū)驅(qū)動的發(fā)展模式、強大的功能和靈活的部署方式,成為企業(yè)和開發(fā)者的熱門選擇。
不過來到實際落地層面,盡管數(shù)據(jù)、數(shù)據(jù)庫在變得更加多元復(fù)雜,但是企業(yè)用戶總還是希望能只用一套系統(tǒng)來解決不同工作負載。
比如能同時在事務(wù)處理(如支付、訂單等高頻交易場景)和復(fù)雜的實時分析查詢,這背后需要TP+AP結(jié)合。
以及AI與多模查詢能力的融合,如Rockset和Oracle這樣的數(shù)據(jù)庫系統(tǒng)通過hybrid search融合查詢技術(shù),將SQL查詢與向量化查詢相結(jié)合,使得數(shù)據(jù)處理能夠同時包含文本、結(jié)構(gòu)化數(shù)據(jù)和向量數(shù)據(jù)等不同類型。
方方面面影響下,一體化設(shè)計逐漸成為被市場青睞的路線。
以MongoDB和Oracle為代表的數(shù)據(jù)庫廠商正在各自推動一體化數(shù)據(jù)庫的發(fā)展。國家工業(yè)信息安全發(fā)展研究中心等共同編制的《分布式數(shù)據(jù)庫發(fā)展趨勢研究報告》中也表示,分布式數(shù)據(jù)架構(gòu)的設(shè)計正在走向一體化。
在這之中,OceanBase的一體化理念非常鮮明。它包括:
一體化產(chǎn)品:多工作負載(TP+AP)、多模(SQL+NoSQL)、向量(SQL+AI)。
一體化引擎:一體化存儲,一體化事務(wù),一體化SQL。
一體化架構(gòu):包括單機分布式一體化與多云原生。
OceanBase介紹,這種一體化的思路是隨著客戶需求不斷發(fā)展而來。
首先在底層架構(gòu)設(shè)計上,單機分布式一體化與多云原生并存,可以滿足大中小企業(yè)的不同需求。OceanBase已經(jīng)和目前主流云廠商均達成合作,實現(xiàn)公有云“多云共生”,同時也提供專有云、混合云等不同部署環(huán)境,保證一致體驗。
其次隨著數(shù)據(jù)庫場景不斷變化,從傳統(tǒng)場景到泛互聯(lián)網(wǎng)場景,OceanBase從TP到TP+AP,逐漸走向多工作負載一體化。
比如在第一階段OLTP+,會浮現(xiàn)出山東移動這類客戶的需求,他們主要關(guān)注復(fù)雜查詢場景,需要增強業(yè)務(wù)處理效率。
第二階段浮現(xiàn)出了海底撈這類用戶的需求。海底撈本來使用兩個系統(tǒng)分別處理OLTP和OLAP,這導(dǎo)致OLTP和OLAP之間存在數(shù)據(jù)延遲,沒法保證數(shù)據(jù)一致性,還需要兩份數(shù)據(jù)兩份成本。OceanBase能將其整合,不僅使整體成本降低,還能提升原本的AP性能。
第三階段還會浮現(xiàn)出實時營銷等場景,對實時AP提出更多要求。
以及在實際推廣中,OceanBase發(fā)現(xiàn)越來越多客戶將OceanBase既應(yīng)用在KV存儲場景,也應(yīng)用在NoSQL場景,或者替換HBase、Redis等。因為OceanBase能夠解決各個場景中很多棘手問題,比如對于NoSQL而言,最大的挑戰(zhàn)在于數(shù)據(jù)規(guī)模,分布式架構(gòu)可以很好解決數(shù)據(jù)擴展的問題。
因此,順應(yīng)用戶需求,OceanBase在不斷增加對多種數(shù)據(jù)類型的支持,實現(xiàn)多模一體化。
最后,來到AI時代。“AI for DB,DB for AI”成為共識。
AI應(yīng)用大規(guī)模落地的前提是大模型技術(shù)能夠在各行各業(yè)低成本易用。
數(shù)據(jù)庫的發(fā)展經(jīng)驗可以為AI應(yīng)用推廣提供參考。比如在數(shù)據(jù)庫中引入向量插件,實現(xiàn)SQL+AI,能夠大幅簡化原有AI技術(shù)棧,讓打造AI Agent的門檻驟降。
最后總結(jié)來看,以O(shè)ceanBase為代表的一體化數(shù)據(jù)庫不僅能為企業(yè)提供更更好的數(shù)據(jù)底座,而且方方面面都滿足AI應(yīng)用發(fā)展的需求。它總體呈現(xiàn)出這些特點:
第一,高效的數(shù)據(jù)處理和分析。
支持HTAP,能夠在同一個系統(tǒng)中同時處理事務(wù)性(OLTP)和分析性(OLAP)負載。企業(yè)可以實時地對交易數(shù)據(jù)進行分析,而不需要等待數(shù)據(jù)的同步和轉(zhuǎn)移,從而加快決策速度和響應(yīng)時間。
實時分析,可以在數(shù)據(jù)生成的同時進行分析,確保數(shù)據(jù)的時效性,這對于實時推薦、風(fēng)控、監(jiān)控等AI應(yīng)用至關(guān)重要。
第二,簡化的數(shù)據(jù)管理。
一體化數(shù)據(jù)庫能夠確保數(shù)據(jù)的一致性和完整性,因為事務(wù)處理和分析處理在同一個系統(tǒng)內(nèi)完成,避免了數(shù)據(jù)同步和轉(zhuǎn)換過程中可能出現(xiàn)的延遲和錯誤。
通過將多種數(shù)據(jù)類型(如關(guān)系型數(shù)據(jù)、文檔數(shù)據(jù)、向量數(shù)據(jù)等)集成在一個系統(tǒng)中,一體化數(shù)據(jù)庫簡化了數(shù)據(jù)存儲和管理。企業(yè)不需要維護多個數(shù)據(jù)庫系統(tǒng),減少了數(shù)據(jù)孤島問題和運維復(fù)雜性。
第三,靈活性和擴展性。
一體化數(shù)據(jù)庫支持多模態(tài)數(shù)據(jù)處理,能夠處理和分析結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這種靈活性使企業(yè)可以在一個平臺上處理不同類型的數(shù)據(jù),滿足各種業(yè)務(wù)需求。
一體化數(shù)據(jù)庫可以在公有云、私有云和本地數(shù)據(jù)中心的混合環(huán)境中部署,支持異構(gòu)環(huán)境下的數(shù)據(jù)管理和應(yīng)用。這使企業(yè)能夠根據(jù)業(yè)務(wù)需求靈活選擇和調(diào)整部署方案。
第四,簡化AI應(yīng)用構(gòu)建。
AI應(yīng)用通常需要進行高效的向量檢索和相似性搜索。一體化數(shù)據(jù)庫通過深度集成向量引擎,支持快速向量化計算和相似度查詢,提升AI應(yīng)用的性能。
一體化數(shù)據(jù)庫能夠?qū)?shù)據(jù)存儲和AI模型緊密結(jié)合,支持復(fù)雜的AI工作負載。這種集成減少了數(shù)據(jù)傳輸?shù)难舆t,提高了模型訓(xùn)練和推理的效率。
第五,降低成本和復(fù)雜性。
一體化數(shù)據(jù)庫減少了企業(yè)需要維護的數(shù)據(jù)庫系統(tǒng)數(shù)量,簡化了技術(shù)棧,降低了系統(tǒng)集成和運維的復(fù)雜性。
通過優(yōu)化資源利用和減少多系統(tǒng)間的數(shù)據(jù)同步和轉(zhuǎn)換,一體化數(shù)據(jù)庫降低了總體擁有成本,提高了投資回報率。
AI時代,Data is Power。
李飛飛當(dāng)初篤定做ImageNet,背后的核心邏輯就在于,她相信AI改變世界,數(shù)據(jù)是最簡單最直接的方式。
如今,AI應(yīng)用落地趨勢已經(jīng)開啟。數(shù)據(jù)作為生產(chǎn)要素,在AI時代已是水電般的存在。
而一體化數(shù)據(jù)庫正在為數(shù)據(jù)更充分靈活高效應(yīng)用提供新思路。
據(jù)了解,一體化數(shù)據(jù)庫OceanBase將成為螞蟻集團的AI數(shù)據(jù)底座,為一系列AI時代新應(yīng)用“支小寶”、“螞小財”以及支付寶百寶箱智能體開發(fā)平臺的數(shù)據(jù)管理提供支持。
一體化正在成為數(shù)據(jù)庫發(fā)展歷程中,一個旗幟鮮明的方向。