相信很多大家對(duì)RAG微調(diào)Llama 3竟超越GPT-4！英偉達(dá)GaTech華人學(xué)者提出RankRAG框架還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】來(lái)自佐治亞理工學(xué)院和英偉達(dá)的兩名華人學(xué)者帶隊(duì)提出了名為RankRAG的微調(diào)框架，簡(jiǎn)化了原本需要多個(gè)模型的復(fù)雜的RAG流水線，用微調(diào)的方法交給同一個(gè)LLM完成，結(jié)果同時(shí)實(shí)現(xiàn)了模型在RAG任務(wù)上的性能提升。

在需要大量事實(shí)知識(shí)的文本生成任務(wù)中，RAG成為了常用的LLM部署技巧。

但佐治亞理工學(xué)院和英偉達(dá)最近發(fā)表的一篇論文提出——RAG可以不止停留在用于推理的pipeline中，類似的思路完全可以移植到微調(diào)階段，于是有了這個(gè)名為RankRAG的框架。

論文地址:https://arxiv.org/abs/2407.02485

他們的思路可以概括為:用微調(diào)拓展模型的能力，把原來(lái)RAG需要額外模型的檢索、排名任務(wù)全丟回給LLM自己。

結(jié)果發(fā)現(xiàn)，不僅數(shù)據(jù)效率提高了，模型性能也有顯著增強(qiáng)，相比今年5月剛提出的ChatQA-1.5系列有顯著優(yōu)勢(shì)。

在9個(gè)通用基準(zhǔn)和5個(gè)生物醫(yī)學(xué)的知識(shí)密集型基準(zhǔn)上，RankRAG用Llama38B/70B微調(diào)出的模型分別超過(guò)了同樣基座上ChatQA-1.5的兩個(gè)微調(diào)模型，Llama3-ChatQA-1.5-8B和Llama3-ChatQA-1.5-70B。

ChatQA-1.5項(xiàng)目地址:https://chatqa-project.github.io/

檢索增強(qiáng)生成技術(shù)，簡(jiǎn)稱為RAG（Retrieval-Augmented Generation），被廣泛適用于LLM的定制化，尤其是知識(shí)密集型的NLP任務(wù)。可以幫助模型在不改變權(quán)重的情況下掌握「長(zhǎng)尾知識(shí)」和最新信息，并適應(yīng)到特定的領(lǐng)域。

通常情況下，RAG的工作流程大致是:對(duì)于給定問(wèn)題，由一個(gè)基于文本編碼的稠密模型從外部數(shù)據(jù)庫(kù)中檢索到top-k個(gè)文本段，然后輸入給LLM進(jìn)行讀取，以此為基礎(chǔ)進(jìn)行生成。

來(lái)源:AWS

這個(gè)pipeline看起來(lái)非常符合直覺(jué)，也已經(jīng)被廣泛使用，但作者在論文開(kāi)篇指出了其中的固有局限，首先就是k值的選擇。

如果k值較大（比如top-100），即使是支持長(zhǎng)上下文的窗口的LLM也很難快速讀取這么多文本塊。隨著k值的增大，性能會(huì)很快飽和。

除了效率原因，之前還有研究表明，k值在5或10這個(gè)量級(jí)時(shí)，生成結(jié)果的準(zhǔn)確性更高。因?yàn)檫^(guò)多上下文會(huì)引入不相關(guān)內(nèi)容，妨礙LLM生成準(zhǔn)確答案，

《Retrieval meets Long Context Large Language Models》https://arxiv.org/abs/2310.03025

那把k值就定在這個(gè)區(qū)間不行嗎?

如果給定一個(gè)較小的k，我們需要一種機(jī)制來(lái)保證檢索結(jié)果的高召回率（recall）。

鑒于檢索器的表達(dá)能力有限（通常是稀疏檢索模型如BM25，或中等大小的編碼模型如BERT-based），通常無(wú)法捕獲所有相關(guān)信息，因此實(shí)際的應(yīng)用過(guò)程還會(huì)加上一個(gè)交叉編碼(cross-encoding)的排名模型。

排名模型從數(shù)據(jù)庫(kù)中檢索到top-N個(gè)候選 （N ? k），再經(jīng)過(guò)一次排名得到最終top-k結(jié)果。

這種方案的缺陷在于，與通用的LLM本身相比，專家排名模型的零樣本泛化能力相對(duì)有限，上游檢索結(jié)果的質(zhì)量很可能造成下游LLM生成任務(wù)的瓶頸。這在許多實(shí)證研究中都得到了驗(yàn)證。

基于上述考慮，作者認(rèn)為可以只使用LLM同時(shí)完成上下文檢索和內(nèi)容生成任務(wù)，通過(guò)設(shè)計(jì)RAG的指令調(diào)優(yōu)來(lái)實(shí)現(xiàn)，這種新穎的框架被命名為RankRAG。

OpenAI的GPT-4報(bào)告中就發(fā)現(xiàn)，檢索、排名過(guò)程中發(fā)展出的「確定文本塊與問(wèn)題是否相關(guān)」的能力對(duì)答案的生成同樣有用，這兩者可以被視為「雙重能力」。

RankRAG在訓(xùn)練過(guò)程中引入了一項(xiàng)帶指令的問(wèn)答任務(wù)，讓模型能夠識(shí)別出與問(wèn)題相關(guān)的上下文或段落，便于在推理時(shí)對(duì)檢索結(jié)果進(jìn)行排名。

如果將一部分排名數(shù)據(jù)集成到指令微調(diào)中，還能大大增強(qiáng)LLM在RAG排名任務(wù)中的性能，甚至超過(guò)了單獨(dú)用LLM和10×排名數(shù)據(jù)進(jìn)行微調(diào)的結(jié)果。

RankRAG微調(diào)框架

在推理階段，RankRAG的pipeline與上述的的「檢索-排名-生成」流程幾乎相同，首先檢索出帶有相關(guān)性分?jǐn)?shù)的top-N結(jié)果，然后進(jìn)行重新排名并保留top-k段落，將其與問(wèn)題連接到一起進(jìn)行生成。

主要的不同點(diǎn)在于模型訓(xùn)練過(guò)程，使用了兩個(gè)階段的指令微調(diào)（圖2）直接增強(qiáng)LLM的相關(guān)能力，而不是在模型外部添加額外操作。

第一階段首先進(jìn)行監(jiān)督微調(diào)（SFT），128k個(gè)樣例來(lái)自多個(gè)數(shù)據(jù)集的混合，包括對(duì)話數(shù)據(jù)集SODA、Dolly、OpenAssistant，長(zhǎng)格式QA數(shù)據(jù)集ELI5(需要詳細(xì)答案)，LLM合成的指令，以及CoT數(shù)據(jù)集FLAN。

這個(gè)階段的SFT主要是為了提高LLM的指令跟隨能力，雖然與RAG關(guān)系不大，但可以為接下來(lái)的指令微調(diào)過(guò)程做好鋪墊。

為了提升LLM的檢索、排名性能，第二階段的微調(diào)數(shù)據(jù)集由以下幾個(gè)部分混合組成（表1）:

第一階段的SFT數(shù)據(jù):用于維持指令跟隨能力

上下文豐富的QA數(shù)據(jù):涵蓋了DROP、NarrativeQA、Quoref、ROPES、NewsQA、TAT-QA等數(shù)據(jù)集，每條數(shù)據(jù)包含問(wèn)題、黃金上下文（golden context）和答案

會(huì)話QA數(shù)據(jù)集:如Synthetic Conversation和HumanAnnotatedConvQA，同時(shí)包括對(duì)話內(nèi)容以及一份背景文檔

檢索增強(qiáng)的QA數(shù)據(jù):不僅包括SQuAD和WebQuestions中的問(wèn)題和答案，還用BM25將黃金上下文和檢索到的top結(jié)果組合起來(lái)，確保每條數(shù)據(jù)都有5個(gè)上下文，其中有些上下文可能不包括問(wèn)題答案，甚至是hard-negative，這是為了重點(diǎn)提高LLM對(duì)不相關(guān)上下文的魯棒性

上下文排名數(shù)據(jù):使用流行的MS Marco語(yǔ)義相關(guān)性數(shù)據(jù)集，將其中的黃金樣本視為相關(guān)的查詢-段落對(duì) （

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！