科技新聞訊（蘇揚）1月29日，王小川旗下百川智能發(fā)布首個超千億參數(shù)大語言模型Baichuan3，主打中文能力尤其是在醫(yī)療領(lǐng)域中文方面的提升。
公開資料顯示，百川智能基于“RLHF（基于人類反饋的強化學(xué)習(xí)）、RLAIF（基于AI反饋的強化學(xué)習(xí)）以及迭代式強化學(xué)習(xí)方法，Baichuan3強化了對中文的理解，尤其是詩詞歌賦的創(chuàng)作能力。
*Baichuan3中文醫(yī)療相關(guān)詩詞生成演示
官方提供的數(shù)據(jù)顯示，Baichuan3在多個權(quán)威通用能力評測如CMMLU、GAOKAO和AGI-Eval中，表現(xiàn)都優(yōu)于GPT-4。
*Baichuan3與GPT-4通用能力基準(zhǔn)測試對比
到目前為止，OpenAI、谷歌等頭部大模型企業(yè)都將醫(yī)療作為模型的重點訓(xùn)練方向和性能評價的重要體系。
大模型在醫(yī)療領(lǐng)域的優(yōu)點在于，多模態(tài)學(xué)習(xí)能力能夠整合文本、影像、聲音等多種類型的醫(yī)療數(shù)據(jù)，深層推理能力有助于復(fù)雜醫(yī)療決策的制定，而穩(wěn)定的性能和知識更新能力確保了醫(yī)療建議的可靠性和時效性，同時還具備處理專業(yè)術(shù)語和復(fù)雜句式，也支持從復(fù)雜的醫(yī)療數(shù)據(jù)中學(xué)習(xí)和識別出重要的模式和特征。
優(yōu)點眾多，但也要求大模型具備豐富的醫(yī)療知識、合適的Prompt，以及模型本身的邏輯推理能力。
*Baichuan3與GPT3.5,GPT-4等權(quán)威醫(yī)療評測對比
百川智能強調(diào)稱，Baichuan3在對邏輯推理能力及專業(yè)性要求極高的MCMLE、MedExam、CMExam等權(quán)威醫(yī)療評測上的中文效果同樣超過了GPT-4。
據(jù)百川智能介紹，為了給Baichuan3注入豐富的醫(yī)療知識，官方在模型預(yù)訓(xùn)練階段構(gòu)建了超過千億Token的醫(yī)療數(shù)據(jù)集，包括醫(yī)學(xué)研究文獻、真實的電子病歷資料、醫(yī)學(xué)領(lǐng)域的專業(yè)書籍和知識庫資源、針對醫(yī)療問題的問答資料等。數(shù)據(jù)集涵蓋了從理論到實際操作，從基礎(chǔ)理論到臨床應(yīng)用等各個方面的醫(yī)學(xué)知識。
延伸閱讀：
百川智能上新超千億大模型Baichuan3：若干中文任務(wù)超車GPT-4
