相信很多大家對破解ChatGPT驚人耗電！DeepMind新算法訓(xùn)練提效13倍，能耗暴降10倍還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】ChatGPT能耗驚人，該怎么解?谷歌DeepMind新算法JEST問世，讓LLM訓(xùn)練的迭代次數(shù)降低13倍，計算量減少10倍，或?qū)⒅厮蹵I未來。

ChatGPT早已成為世界耗能大戶:一天用掉超50萬度電，相當(dāng)于1.7萬個美國家庭的用電量!

然而，大模型對能源的吞噬，遠(yuǎn)不僅如此。

國際能源署（IEA）預(yù)測，從2022年到2026年，數(shù)據(jù)中心的用電量將翻一番。

圖源備注:圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

隨著AI計算需求的膨脹，還需要用水來冷卻計算系統(tǒng)。研究稱，微軟用水量從2021年到22年飆升了34%，ChatGPT每處理5-50個提示就會消耗接近半升水。

針對這種現(xiàn)狀，我們有更好的解決策略嗎?

最近，谷歌DeepMind研究團(tuán)隊(duì)提出了一種加快AI訓(xùn)練的新方法——多模態(tài)對比學(xué)習(xí)與聯(lián)合示例選擇（JEST），大大減少了所需的計算資源和時間。

JEST以13倍更少的迭代次數(shù)，以及10倍更少的計算量，超越了最先進(jìn)的模型!

論文地址:https://arxiv.org/pdf/2406.17711

預(yù)訓(xùn)練的參考模型，已經(jīng)學(xué)習(xí)了什么樣的數(shù)據(jù)是有「優(yōu)質(zhì)的」或「有用的」。然后通過模型，來引導(dǎo)數(shù)據(jù)選擇那些精心篩選過的小型數(shù)據(jù)集。

這一發(fā)現(xiàn)揭示了，數(shù)據(jù)篩選水平可以作為評判Scaling Law的一個新維度。

網(wǎng)友激動表示，「我沒想到這么快就會發(fā)生。模型能夠自主選擇訓(xùn)練數(shù)據(jù)的能力是巨大的，因?yàn)樗褂?xùn)練變得顯著更容易，你不再需要猜測什么是高質(zhì)量的訓(xùn)練數(shù)據(jù)，你有一個能夠『理解』什么樣的數(shù)據(jù)對自身學(xué)習(xí)最有價值的模型」。

前谷歌、蘋果軟件工程師稱贊道，這項(xiàng)研究非常令人印象深刻。

從「超級batch」中篩選數(shù)據(jù)

無論是語言、視覺還是多模態(tài)模型，數(shù)據(jù)質(zhì)量是預(yù)訓(xùn)練性能的重要驅(qū)動因素。比如Phi-3、Gemma2等模型的成功讓我們看到了，更少、更高質(zhì)量的數(shù)據(jù)有可能實(shí)現(xiàn)更強(qiáng)大的性能。

要篩選出高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)管道的建立就成為重要的工作?，F(xiàn)有的方法大體可以分為兩種:1）手動管理2)基于模型的數(shù)據(jù)管理，用正在訓(xùn)練模型的特征選擇高質(zhì)量數(shù)據(jù)。

前者成本高昂且難以擴(kuò)展，后者則有望為多模態(tài)LLM實(shí)現(xiàn)Scaling Law。

然而，現(xiàn)有方法忽略了一個事實(shí)。

如果僅在單個數(shù)據(jù)點(diǎn)的層面進(jìn)行篩選，就沒有考慮到數(shù)據(jù)集以及batch的總體組成。畢竟，訓(xùn)練數(shù)據(jù)是以batch為單位，數(shù)據(jù)點(diǎn)之間的依賴性不可忽視。

許多計算機(jī)視覺的研究都曾表明，hard negatives（表達(dá)空間中相近但標(biāo)簽不同的樣本）相比可被平凡解的數(shù)據(jù)簇，能提供更有效的學(xué)習(xí)信號。

那么如何讓模型以batch為單位篩選數(shù)據(jù)呢?

論文提出的JEST算法正是要解決這個問題，原理很好理解:就是直接從「超級batch」中篩選出「子batch」。

技術(shù)介紹

用數(shù)學(xué)語言來描述這個問題，就是從大小為B的「超級batch」

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！