展會(huì)信息港展會(huì)大全

AI的盡頭是能源?
來(lái)源:互聯(lián)網(wǎng)   發(fā)布日期:2024-11-08 19:25:17   瀏覽:0次  

導(dǎo)讀:劃重點(diǎn)01人工智能(AI)的能耗問(wèn)題引發(fā)關(guān)注,預(yù)計(jì)隨著AI的發(fā)展和普及,其在能耗中的占比將逐年提升。02專家表示,降低AI能耗的方法包括軟硬件技術(shù)的提升和宏觀層面的建設(shè)布局優(yōu)化,如軟硬件壓縮、剪枝、量化等技術(shù)。03另一方面,AI在數(shù)據(jù)中心業(yè)務(wù)中的位置越來(lái)越重要,數(shù)據(jù)中心的數(shù)量和規(guī)模也在快速增長(zhǎng),但能耗問(wèn)題仍復(fù)雜許多。04為應(yīng)對(duì)AI能耗挑戰(zhàn),有觀點(diǎn)認(rèn)為發(fā)展清潔低碳的能 ......

劃重點(diǎn)

01人工智能(AI)的能耗問(wèn)題引發(fā)關(guān)注,預(yù)計(jì)隨著AI的發(fā)展和普及,其在能耗中的占比將逐年提升。

02專家表示,降低AI能耗的方法包括軟硬件技術(shù)的提升和宏觀層面的建設(shè)布局優(yōu)化,如軟硬件壓縮、剪枝、量化等技術(shù)。

03另一方面,AI在數(shù)據(jù)中心業(yè)務(wù)中的位置越來(lái)越重要,數(shù)據(jù)中心的數(shù)量和規(guī)模也在快速增長(zhǎng),但能耗問(wèn)題仍復(fù)雜許多。

04為應(yīng)對(duì)AI能耗挑戰(zhàn),有觀點(diǎn)認(rèn)為發(fā)展清潔低碳的能源并在基建層面進(jìn)行規(guī)劃有助于讓AI更加環(huán)境友好。

05除此之外,針對(duì)性訓(xùn)練較小的模型可以用較低的成本滿足落地需求,未來(lái)AI可能是“小而美”的。

以上內(nèi)容由大模型生成,僅供參考

11.5

知識(shí)分子

The Intellectual

AI的盡頭是能源?

圖源:Pixabay

撰文 | 戚譯引馮灝

無(wú)論是否支持人工智能(AI)的發(fā)展,我們都難以忽視一個(gè)重要的問(wèn)題,那就是AI的能耗。有人擔(dān)心AI發(fā)展過(guò)快,對(duì)能源市場(chǎng)和環(huán)境、氣候造成沖擊;而有人擔(dān)心能源產(chǎn)業(yè)進(jìn)步太慢,最終成為制約AI發(fā)展的瓶頸。

根據(jù)預(yù)測(cè),隨著AI的發(fā)展和普及,AI在能耗中的占比還將逐年提升。AI研發(fā)企業(yè)也在能源供應(yīng)方面進(jìn)行了大筆投資,以期滿足未來(lái)需求。10月14日,谷歌公司宣布將購(gòu)買核能初創(chuàng)公司Kairos Power建造的小型模塊化反應(yīng)堆生產(chǎn)的電力[1]。此前在9月20日,微軟公司宣布與星座能源公司(Constellation Energy)達(dá)成協(xié)議,將重啟三里島核電站1號(hào)反應(yīng)堆,并購(gòu)買其未來(lái)20年內(nèi)產(chǎn)出的電能[2]。OpenAI首席執(zhí)行官山姆奧特曼(Sam Altman)更是早早出手,在今年年初就大舉投資核聚變。

但與此同時(shí),新的趨勢(shì)正在涌現(xiàn)。多位業(yè)界人士告訴《知識(shí)分子》,可以通過(guò)多種方式降低AI的能耗,讓能源利用更加高效,包括軟硬件技術(shù)的提升,以及宏觀層面的建設(shè)布局優(yōu)化。更重要的是,AI進(jìn)步的方向不一定是更大、更強(qiáng),一些小而美的模型正在悄然登場(chǎng)。

01

AI能耗評(píng)估難題

關(guān)于AI的耗電量,一篇廣為流傳的報(bào)道稱,ChatGPT 每日耗電量或超 50 萬(wàn)千瓦時(shí),相當(dāng)于1.7萬(wàn)個(gè)美國(guó)家庭的能耗[3]。還有研究估算,在最糟糕的場(chǎng)景下,未來(lái)谷歌AI的能耗將與像愛爾蘭這樣的國(guó)家相當(dāng)[4]。然而另一方面,也有觀點(diǎn)認(rèn)為媒體和大眾選擇性關(guān)注估算結(jié)論較為夸張的研究,并將對(duì)AI能耗的擔(dān)憂視為社會(huì)對(duì)新技術(shù)慣有的反應(yīng)[5]。

盡管當(dāng)前關(guān)于AI能耗的討論大多基于估算數(shù)據(jù),但我們?nèi)匀豢梢跃痛诉M(jìn)行一些定性討論。例如在算法層面,多位業(yè)界人士表示,就單次計(jì)算耗電量來(lái)說(shuō),AI在訓(xùn)練階段比推理階段能耗更高。也就是說(shuō),大模型訓(xùn)練過(guò)程中的超高能耗不會(huì)成為AI應(yīng)用中的常態(tài)。

清華大學(xué)電子工程系主任、清華大學(xué)信息科學(xué)技術(shù)學(xué)院副院長(zhǎng)汪玉團(tuán)隊(duì)測(cè)試了不同算力芯片的單卡推理功耗,他告訴《知識(shí)分子》:“推理階段的功耗基本在300W-500W,國(guó)產(chǎn)卡在150W-300W;相比之下,訓(xùn)練階段的功耗在400W-700W。未來(lái)推理功耗還有比較大的下降空間,同等算力有望降到100W以下。”以開源大語(yǔ)言模型LLama3-405B為例,該模型有4050多億參數(shù),“使用近16000塊英偉達(dá)H100 80GB版本GPU進(jìn)行訓(xùn)練,耗時(shí)長(zhǎng)達(dá)54天完成,加上配套設(shè)備總功耗接近20兆瓦,總能耗超過(guò)20000兆千瓦時(shí)”。

真實(shí)訓(xùn)練的能量消耗要高于理論計(jì)算的結(jié)論。汪玉表示,大模型訓(xùn)練時(shí)間長(zhǎng),GPU等硬件難以避免出現(xiàn)錯(cuò)誤。在訓(xùn)練過(guò)程中需要不斷進(jìn)行檢查點(diǎn)的保存,出錯(cuò)后中斷訓(xùn)練并進(jìn)行檢查點(diǎn)的恢復(fù),這些操作均會(huì)造成難以預(yù)測(cè)的額外能耗開銷!斑@個(gè)應(yīng)該還是很可觀的”,汪玉說(shuō)。

他提到,在大規(guī)模集群訓(xùn)練中容錯(cuò)相關(guān)的能耗開銷還是非常大,比如Llama 3-405B在為期54天的訓(xùn)練期間,共發(fā)生了466次任務(wù)中斷(平均每3個(gè)小時(shí)發(fā)生一次中斷),約78%的中斷由硬件問(wèn)題引起,容錯(cuò)和錯(cuò)誤恢復(fù)的時(shí)間占比約10%,實(shí)際算力利用率只有38%左右。

不過(guò),從應(yīng)用場(chǎng)景上看,用戶推理請(qǐng)求的調(diào)用頻率要高得多。也就是說(shuō),即使單次調(diào)用AI的耗電量很低,其總能耗也可能相當(dāng)可觀。南京大學(xué)高性能計(jì)算中心主任、高級(jí)工程師盛樂標(biāo)告訴《知識(shí)分子》,AI系統(tǒng)運(yùn)行階段最主要的成本就是電費(fèi),但是,“AI的實(shí)際應(yīng)用價(jià)值與推理操作的廣泛使用直接相關(guān),只有在推理方面用得更多,AI的落地價(jià)值才更大!

隨著技術(shù)的完善,日常使用AI推理的單次能耗有望下降。上海數(shù)珩信息科技創(chuàng)始人、董事長(zhǎng)張繼生介紹,為提高AI系統(tǒng)在特定場(chǎng)景中的性能、降低整體能耗,研發(fā)出了很多軟硬件技術(shù),包括模型壓縮、剪枝、量化、異構(gòu)計(jì)算芯片等。

清華電子院能源電子中心主任兼清鵬智能創(chuàng)始人李中陽(yáng)重點(diǎn)關(guān)注算電協(xié)同相關(guān)技術(shù)的研發(fā)與應(yīng)用,如何匹配算力的用電特性與新能源的供電特性是這一技術(shù)的核心,而這恰恰又需要AI前沿技術(shù)特別是大模型技術(shù)的加持。李中陽(yáng)表示:“在宏觀上,即使AI的能耗/計(jì)算量在持續(xù)降低,其實(shí)也是挺費(fèi)電的,因?yàn)橛?jì)算量始終在那兒!

總體上,關(guān)于AI算法能耗的討論主要基于模型體量、顯卡功率、計(jì)算時(shí)長(zhǎng)等參數(shù)進(jìn)行估算,這使得討論尤為困難。研究AI倫理、政策的研究者們呼吁改變這種不透明的現(xiàn)狀。

卡內(nèi)基梅隆大學(xué)人工智能和數(shù)字政策中心高級(jí)研究員、AIethicist.org 創(chuàng)始人梅爾?瓶耍∕erve Hickok)對(duì)《知識(shí)分子》指出,無(wú)法量化評(píng)估AI的能耗,就無(wú)法進(jìn)行改進(jìn):“目前,各大科技公司都對(duì)自己的能源消耗有很好的了解,然而這些數(shù)據(jù)并沒有公開。在不少情況下,公司想法阻止這些信息的公開!彼岢,只有實(shí)現(xiàn)信息透明,我們才能追究各方的環(huán)境責(zé)任,并推動(dòng)學(xué)術(shù)研究朝著更加節(jié)能的方向發(fā)展。

02

數(shù)據(jù)中心能耗超乎想象

討論AI能耗問(wèn)題的困難不僅在于信息不透明,還因?yàn)樗倪吔珉y以界定。具體而言,AI造成的能耗遠(yuǎn)遠(yuǎn)不僅來(lái)自于算法和芯片,還包括與之配套的基礎(chǔ)設(shè)施,其中最重要的就是數(shù)據(jù)中心的能耗。

盡管數(shù)據(jù)中心不僅用于AI的運(yùn)行,還運(yùn)營(yíng)加密貨幣等業(yè)務(wù),但是伴隨著AI的爆發(fā),AI在數(shù)據(jù)中心業(yè)務(wù)中的位置越來(lái)越重要,數(shù)據(jù)中心的數(shù)量和規(guī)模也在快速增長(zhǎng)。而無(wú)論是能耗的數(shù)量級(jí),還是背后多樣的影響因素,數(shù)據(jù)中心的能耗問(wèn)題都要復(fù)雜許多。

數(shù)據(jù)中心的耗電量遠(yuǎn)遠(yuǎn)超過(guò)一般人的想象。國(guó)際能源署(IEA)發(fā)布的一份報(bào)告顯示,2022年全球數(shù)據(jù)中心、比特幣和AI消耗的電能占全球用電量的2%,達(dá)到460 TWh[6];诋(dāng)前增長(zhǎng)趨勢(shì),IEA估計(jì)到2026年,全球數(shù)據(jù)中心總能耗將達(dá)1000 TWh,增幅超過(guò)一倍。

據(jù)統(tǒng)計(jì),目前全球擁有超過(guò)8000座數(shù)據(jù)中心,其中約33%位于美國(guó),16%位于歐洲,接近10%位于中國(guó)[6]。中國(guó)社會(huì)科學(xué)院工業(yè)經(jīng)濟(jì)研究所助理研究員張瑾告訴《知識(shí)分子》:“全國(guó)數(shù)據(jù)中心的耗電量加起來(lái),與其他30個(gè)省份(除去港澳臺(tái)和西藏)一起排序,大概排在10多名左右,超過(guò)近一半的省份全年的電力消耗量!

并且,數(shù)據(jù)中心的數(shù)量和體量還在增長(zhǎng)。張瑾說(shuō):“在我的研究區(qū)間之內(nèi),數(shù)據(jù)中心的發(fā)展是爆炸式的,不管是行業(yè)預(yù)測(cè),還是股票市場(chǎng)的投資,大家對(duì)它普遍抱有極大的熱情!

IEA報(bào)告指出,在數(shù)據(jù)中心內(nèi)部,冷卻系統(tǒng)和服務(wù)器的能耗最高,各占數(shù)據(jù)中心能耗的40%。剩余20%的電能則用于能源供應(yīng)系統(tǒng)、存儲(chǔ)設(shè)備和通訊設(shè)備[6]。其中,隨著數(shù)據(jù)中心規(guī)模擴(kuò)大,芯片設(shè)備功率提高,冷卻系統(tǒng)的能耗日益引起關(guān)注。然而,降低數(shù)據(jù)中心電能消耗的設(shè)計(jì)同時(shí)會(huì)造成耗水量的上升,在另一個(gè)維度上對(duì)生態(tài)造成影響。

國(guó)際標(biāo)準(zhǔn)化組織可持續(xù)金融科技工作組專家、中國(guó)環(huán)境科學(xué)學(xué)會(huì)碳達(dá)峰碳中和專委會(huì)委員陳鈺什告訴《知識(shí)分子》,隨著數(shù)據(jù)中心規(guī)模越來(lái)越大,使用傳統(tǒng)冷卻系統(tǒng)的耗電成本較高,因此,“大型數(shù)據(jù)中心逐步‘棄電用水’,通過(guò)冷水機(jī)或冷卻塔來(lái)交換熱量。這雖然可以大幅降低耗電量,但卻又因蒸發(fā)等原因造成驚人的耗水量。”

微軟發(fā)布的公開報(bào)告顯示,微軟在2022財(cái)年的耗水量為640萬(wàn)立方米,同比增加34%,這一趨勢(shì)與AI的發(fā)展密切相關(guān)[7]。加州大學(xué)河濱分校電氣與計(jì)算機(jī)工程副教授任紹磊(Shaolei Ren)團(tuán)隊(duì)研究顯示, GPT-3每響應(yīng)10~50個(gè)請(qǐng)求,就要“喝掉”一瓶550 mL的水[8]。

而陳鈺什指出:“由于擔(dān)心設(shè)備遇水發(fā)生腐蝕等破壞,數(shù)據(jù)中心多使用淡水,僅有一小部分為非飲用水或可再生水。2022年,谷歌全球各地的數(shù)據(jù)中心共耗水52.2億加侖(約1,976立方米),其中四分之三以上均為淡水。這種用水結(jié)構(gòu)進(jìn)一步增加了AI行業(yè)對(duì)全球水生態(tài)系統(tǒng)的影響!

對(duì)于新成立的數(shù)據(jù)中心,在設(shè)計(jì)上進(jìn)行改進(jìn)能夠緩解這個(gè)問(wèn)題。盛樂標(biāo)指出,對(duì)于大規(guī)模數(shù)據(jù)中心,液冷技術(shù)比風(fēng)冷技術(shù)更加劃算,而且將冷卻水密封在循環(huán)中可以減少淡水的消耗。

03

能源行業(yè)如何迎接挑戰(zhàn)

從宏觀角度上看,AI的環(huán)境影響不僅與耗電量有關(guān),也與電能的來(lái)源密不可分。發(fā)展更加清潔低碳的能源,并且在基建層面進(jìn)行規(guī)劃,也有助于讓AI更加環(huán)境友好。多位業(yè)界人士提到,數(shù)據(jù)中心應(yīng)當(dāng)靠近發(fā)電廠,以實(shí)現(xiàn)算電耦合,減少電能傳輸和存儲(chǔ)過(guò)程中的損耗,這樣的產(chǎn)業(yè)布局也有利于吸納綠電。

“近幾年,隨東數(shù)西算戰(zhàn)略推進(jìn),數(shù)據(jù)中心布局呈現(xiàn)出由中心向周邊、由東部向西部的發(fā)展流動(dòng)趨勢(shì)”,汪玉告訴《知識(shí)分子》。他指出,目前新疆有豐富的綠電資源,如光伏、風(fēng)電。李中陽(yáng)也認(rèn)為:“對(duì)中國(guó)而言,最大的優(yōu)勢(shì)是擁有堅(jiān)強(qiáng)的電網(wǎng)和充足的能源供應(yīng)能力,挑戰(zhàn)是怎么樣盡可能使用更多的新能源(發(fā)展人工智能)!

然而,在東西部發(fā)展不均衡的背景下,在西部建設(shè)數(shù)據(jù)中心也面臨著人才缺乏、維護(hù)困難的問(wèn)題!皷|數(shù)西算最大的問(wèn)題,是東部的數(shù)據(jù)或計(jì)算需求到不了西部,”盛樂標(biāo)指出。AI計(jì)算往往需要大量的數(shù)據(jù),如果計(jì)算需求離數(shù)據(jù)中心太遠(yuǎn),數(shù)據(jù)的傳輸成本就會(huì)非常高。因此,盡管貴州、內(nèi)蒙等西部地區(qū)建設(shè)了不少數(shù)據(jù)中心,但它們的使用效率還遠(yuǎn)遠(yuǎn)比不上東部的超算中心。

AI的龐大需求也對(duì)綠電的穩(wěn)定性提出了挑戰(zhàn)。盛樂標(biāo)指出,風(fēng)電、水電和光伏容易受到季節(jié)影響,而核電作為穩(wěn)定且環(huán)保的能源選項(xiàng),是未來(lái)數(shù)據(jù)中心選址的一個(gè)趨勢(shì),所以未來(lái)的趨勢(shì)可能是在核電站旁邊建設(shè)數(shù)據(jù)中心。就在2024年3月,美國(guó)亞馬遜公司花6.5億美元購(gòu)買了一座建在核電站旁邊的數(shù)據(jù)中心,該核電站可提供960兆瓦的電力。長(zhǎng)遠(yuǎn)來(lái)看,可控核聚變技術(shù)的突破或許是支撐AI大規(guī)模發(fā)展的關(guān)鍵。

04

節(jié)能減排,

AI是助力還是阻礙?

在氣候議題越發(fā)緊迫的當(dāng)下,AI的發(fā)展與節(jié)能減排目標(biāo)之間的矛盾顯得越發(fā)尖銳。有學(xué)者擔(dān)憂,從短期看來(lái),AI增長(zhǎng)造成的硬件需求增加必然會(huì)增加能耗和碳排放。

“數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化,現(xiàn)階段在整個(gè)經(jīng)濟(jì)系統(tǒng)的碳排放中占比,實(shí)際上非常高。尤其是,人們天然認(rèn)為新技術(shù)產(chǎn)業(yè)是符合綠色、低碳要求的,但其實(shí)它們的能耗一點(diǎn)也不低,生命周期排放也是相當(dāng)高的!睆堣嬖V《知識(shí)分子》。

她指出,總體上,學(xué)界目前認(rèn)識(shí)到,數(shù)字化轉(zhuǎn)型與碳排放之間呈現(xiàn)出倒U型關(guān)系。在數(shù)字化發(fā)展初期,大量的基礎(chǔ)設(shè)施建設(shè)、落后的配套設(shè)施及人才,使得數(shù)字化節(jié)能減排的效應(yīng)會(huì)被建設(shè)初期產(chǎn)生碳排放增加效應(yīng)抵消;隨著基礎(chǔ)設(shè)施逐步完善,數(shù)字化的技術(shù)效率效應(yīng)顯現(xiàn),可以大幅提升能源效率和減排效果!暗罱覀兊难芯堪l(fā)現(xiàn),(數(shù)字化轉(zhuǎn)型與碳排放之間)或許是N型關(guān)系,即隨著數(shù)字化發(fā)展深度和廣度持續(xù)推進(jìn),數(shù)據(jù)要素和算力成為驅(qū)動(dòng)經(jīng)濟(jì)增長(zhǎng)的關(guān)鍵要素時(shí),其對(duì)電力的需求會(huì)呈現(xiàn)飛躍式的增加,屆時(shí)會(huì)進(jìn)步一增加能耗和排放!

也有觀點(diǎn)認(rèn)為,AI能夠成為人類應(yīng)對(duì)氣候變化的得力助手,并且這方面的一些應(yīng)用已經(jīng)落地!叭斯ぶ悄芸梢蕴峁﹦(chuàng)新的方式來(lái)監(jiān)測(cè)、分析和減少我們對(duì)環(huán)境的影響!标愨暿哺嬖V《知識(shí)分子》。

他舉例說(shuō),西門子中國(guó)上海智能制造中心的AI數(shù)字化能源管理系統(tǒng)實(shí)現(xiàn)了覆蓋整個(gè)制造流程的預(yù)測(cè)性維護(hù),在提高能源效率的同時(shí)避免了非計(jì)劃停機(jī)帶來(lái)的額外消耗,單位產(chǎn)品能耗降低24%;人工智能驅(qū)動(dòng)的華為云盤古大模型、谷歌Flood Hub服務(wù)提供了更先進(jìn)的氣象預(yù)報(bào),能夠幫助人們應(yīng)對(duì)災(zāi)難天氣。除此之外,AI還可以用于電網(wǎng)調(diào)度、廢棄物管理等領(lǐng)域。

然而,量化評(píng)估AI在不同技術(shù)發(fā)展階段對(duì)環(huán)境各個(gè)方面的影響十分復(fù)雜。鄭州大學(xué)管理學(xué)院講師李國(guó)昊指出:“現(xiàn)在使用經(jīng)濟(jì)計(jì)量方法得出的結(jié)論是人工智能發(fā)展能夠減少排放,但這個(gè)結(jié)論其實(shí)是存在疑問(wèn)的,因?yàn)楹茈y把AI影響碳排放的復(fù)雜機(jī)理說(shuō)清楚,也很難將影響路徑中其他干擾因素剔除掉。因此,還要建立更精細(xì)的系統(tǒng)模型,來(lái)測(cè)算它的真實(shí)影響。”

除此之外,還可能存在反彈效應(yīng)成本降低會(huì)帶來(lái)技術(shù)的普及,使總能耗提升。例如,當(dāng)家用汽車的發(fā)動(dòng)機(jī)燃油效率提高后,駕車出行的成本降低了,人們就更傾向于駕車出行,造成總能耗增加。李國(guó)昊認(rèn)為,人工智能也可能遵循同樣的發(fā)展路徑:隨著人工智能效率提高、成本降低,其部署量和總能耗也會(huì)提高。

不過(guò),在人工智能高歌猛進(jìn)的當(dāng)下,討論其環(huán)境影響有時(shí)又顯得不合時(shí)宜。李國(guó)昊表示:“關(guān)注 AI的能耗本身,就像在經(jīng)濟(jì)發(fā)展初期去關(guān)注環(huán)境問(wèn)題,本身就是不討好的事情!

上海金司南金融研究院產(chǎn)品創(chuàng)新中心主任尹茂華評(píng)論,從可持續(xù)發(fā)展的角度來(lái)看,AI能耗問(wèn)題“不是短期的熱度,它是生產(chǎn)力和生產(chǎn)關(guān)系根本性變革的新工業(yè)革命”。她認(rèn)為,中美的人工智能技術(shù)之間還有幾代的差距,伴隨大模型的商業(yè)應(yīng)用落地,能源的占用和擠壓正在發(fā)生,但芯片技術(shù)迭代也在同步降低能耗。人工智能引領(lǐng)的變革,將如何影響能源結(jié)構(gòu),需要持續(xù)關(guān)注。

05

AI的未來(lái)也許是“小而美”

商業(yè)、科技行業(yè)“贏家通吃”的邏輯放大了對(duì)落后的擔(dān)憂。但多位業(yè)界人士指出,一味發(fā)展模型、建設(shè)數(shù)據(jù)中心并不可取。

盛樂標(biāo)指出,從頭訓(xùn)練大模型成本高昂,對(duì)中小企業(yè)來(lái)說(shuō)并不現(xiàn)實(shí),“單一追求大型模型和數(shù)據(jù)中心的建設(shè)并不夠明智,AI要落地產(chǎn)生更大的價(jià)值,未來(lái)肯定是面向各行各業(yè)的行業(yè)大模型……只有熱度降下去以后,我們真正把精力放在算法的優(yōu)化上,或者是跟行業(yè)結(jié)合的相關(guān)模型研究上。通過(guò)與具體行業(yè)應(yīng)用的深度融合,才能實(shí)現(xiàn)AI價(jià)值的最大化。”

相比之下,有針對(duì)性地訓(xùn)練較小的模型可以用較低的成本滿足落地需求。一些企業(yè)已經(jīng)開始了這樣的嘗試。“我們的能源消耗一定是比正常他們?cè)谧龃竽P偷牡秃芏!睆埨^生介紹,“OpenAI這些公司做的大模型都是過(guò)千億參數(shù)的模型。我們跟客戶走得比較近,了解客戶的需求,并根據(jù)這些需求做了不同領(lǐng)域、不同行業(yè)的小模型,有些模型可能只有20億或50億參數(shù)。”和萬(wàn)億參數(shù)模型相比,這樣的小模型訓(xùn)練成本、訓(xùn)練時(shí)長(zhǎng)都大大壓縮,同時(shí)還能很好地適應(yīng)特定領(lǐng)域的使用場(chǎng)景。

與功能強(qiáng)大的通用大模型相比,面向特定領(lǐng)域的模型比較不容易引發(fā)大眾的關(guān)注。實(shí)際上,多個(gè)AI引擎已經(jīng)在用戶頁(yè)面提供了特定的話題、用途選項(xiàng),以便更精確地滿足用戶需求,這其中就體現(xiàn)了模型的迭代。

9月12日,OpenAI發(fā)布了較小的o1-preview和o1-mini模型,它們針對(duì)STEM領(lǐng)域進(jìn)行了優(yōu)化,“在物理、化學(xué)、生物領(lǐng)域的重要挑戰(zhàn)性任務(wù)上的表現(xiàn)與博士生相當(dāng)”[9]。媒體報(bào)道指出,新的模型進(jìn)行了更多的推理過(guò)程,增加了響應(yīng)的延遲,有時(shí)要一兩分鐘才能輸出答案;這種做法可能增加了能耗,但同時(shí)大幅提升了解答的質(zhì)量,將來(lái)也許能夠幫助人類解決一些重要的問(wèn)題。

或許,除了人工智能之外,我們還可以從其他許多方面入手,降低數(shù)字技術(shù)的碳排放。圖靈獎(jiǎng)得主大衛(wèi)·帕特森(David Patterson)從加州大學(xué)伯克利分校退休后加入谷歌公司,他牽頭的一項(xiàng)研究分析了在智能手機(jī)和云端進(jìn)行機(jī)器學(xué)習(xí)的能耗和碳排放,于今年1月發(fā)表[10]。他在回復(fù)《知識(shí)分子》的郵件中表示:“根據(jù)我的研究,我認(rèn)為和使用AI產(chǎn)生的碳排放相比,計(jì)算機(jī)制造的隱含碳對(duì)氣候變化構(gòu)成了更大的挑戰(zhàn)!

該研究估計(jì),人工智能和機(jī)器學(xué)習(xí)的用電量?jī)H占智能手機(jī)用電量的1%,并指出手機(jī)充電器消耗的能源達(dá)到手機(jī)的3倍以上,無(wú)線充電器的能耗尤其高昂。研究還指出:“2021 年,使用壽命過(guò)短的智能手機(jī)的隱含碳足跡幾乎是數(shù)據(jù)中心服務(wù)器的 3 倍……不久前人們拋棄了 75 億部智能手機(jī)!

總而言之,人工智能的能耗問(wèn)題牽涉微觀和宏觀的多個(gè)層面,氣候問(wèn)題更是如此。有時(shí)候,這樣的復(fù)雜性會(huì)成為人們回避討論或不作為的理由。但是另一方面,這也表明無(wú)論行業(yè)還是個(gè)人,我們有許多種途徑可以推動(dòng)改變。

李璐對(duì)此文亦有貢獻(xiàn)

參考文獻(xiàn):(上下滑動(dòng)可瀏覽)

[1]Michael Terrel. New nuclear clean energy agreement with Kairos Power. Google Blog.https://blog.google/outreach-initiatives/sustainability/google-kairos-power-nuclear-energy-agreement/. 2024-10-14/2024-10-22

[2]Jennifer Hiller. Three Mile Island’s Nuclear Plant to Reopen, Help Power Microsoft’s AI Centers. The Wall Street Journal. https://www.wsj.com/business/energy-oil/three-mile-islands-nuclear-plant-to-reopen-help-power-microsofts-ai-centers-aebfb3c8. 2024-09-20/2024-09-23.

[3] Elizabeth Kolbert. The Obscene Energy Demands of A.I.. The New Yorker. https://www.newyorker.com/news/daily-comment/the-obscene-energy-demands-of-ai. 2024-03-09/2024-09-25

[4] de Vries A. The growing energy footprint of artificial intelligence[J]. Joule, 2023, 7(10): 2191-2194.

[5] Daniel Castro. Rethinking Concerns About AI’s Energy Use. Center for Data Innovation.https://datainnovation.org/2024/01/rethinking-concerns-about-ais-energy-use/. 2024-01-29/2024-10-22

[6] IEA (2024), Electricity 2024, IEA, Parishttps://www.iea.org/reports/electricity-2024.

[7] 2022 Environmental Sustainability Report. Microsoft.https://news.microsoft.com/wp-content/uploads/prod/sites/42/2023/05/2022-Environmental-Sustainability-Report.pdf. 2023-05/2024-09-25.

[8]Li P, Yang J, Islam M A, et al.Making ai less" thirsty": Uncovering and addressing the secret water footprint of ai models[J]. arXiv preprint arXiv:2304.03271, 2023.

[9] Introducing OpenAI o1-preview. OpenAI. https://openai.com/index/introducing-openai-o1-preview/. 2024-09-12/2024-09-25.

[10] Patterson D, Gilbert J M, Gruteser M, et al.Energy and Emissions of Machine Learning on Smartphones vs. the Cloud[J]. Communications of the ACM, 2024, 67(2): 86-97. https://dl.acm.org/doi/pdf/10.1145/3624719.

贊助本站

相關(guān)熱詞: 能耗 google

相關(guān)內(nèi)容
AiLab云推薦
推薦內(nèi)容
展開

熱門欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港