大語言模型開啟了應(yīng)用元年，各行各業(yè)各信息化公司均在探索相關(guān)的技術(shù)及應(yīng)用場景，整體架構(gòu)如下：
一、語言模型的發(fā)展歷程
語言模型旨在對于人類語言的內(nèi)在規(guī)律進(jìn)行建模，從而準(zhǔn)確預(yù)測詞序列中未來（或缺失）詞或詞元（Token）的概率，主要分為四個階段：
1.統(tǒng)計語言模型
根據(jù)詞序列中若干個連續(xù)的上下文單詞來預(yù)測下一個詞的出現(xiàn)概率，即根據(jù)一個固定長度的前綴來預(yù)測目標(biāo)單詞。廣泛應(yīng)用于信息檢索和自然語言處理等領(lǐng)域的早期研究工作。
2.神經(jīng)語言模型
使用神經(jīng)網(wǎng)絡(luò)來建模文本序列的生成，用于文本表示學(xué)習(xí)，在自然語言處理領(lǐng)域產(chǎn)生了重要影響。
3.預(yù)訓(xùn)練語言模型
自注意力機(jī)制（Self-Attention）的Transformer模型，通過自注意力機(jī)制建模長程序列關(guān)系，進(jìn)一步擴(kuò)展預(yù)訓(xùn)練語言模型BRET，通過在大模型無標(biāo)注數(shù)據(jù)上使用專門設(shè)計的預(yù)訓(xùn)練任務(wù)來學(xué)習(xí)雙向語言模型。Transformer模型的可擴(kuò)展性非常強(qiáng)，對于硬件并行優(yōu)化的支持也比較友好。編碼器架構(gòu)被認(rèn)為更適合去解決自然語言理解任務(wù)（如完形填空等），而解碼器架構(gòu)更適合解決自然語言生成任務(wù)（如文本摘要等）。預(yù)訓(xùn)練旨在通過大模型無標(biāo)注文本建立模型的基礎(chǔ)能力，而微調(diào)階段則使用有標(biāo)注數(shù)據(jù)對于模型進(jìn)行特定任務(wù)的適配，從而更好地解決下游的自然語言處理任務(wù)。
4.大語言模型
通過規(guī)模擴(kuò)展（如增加模型參數(shù)規(guī)?；驍?shù)據(jù)規(guī)模）通常會帶來下游任務(wù)的模型性能提升，大模型具備小模型不具有的“涌現(xiàn)能力”。
早期的語言模型主要面向自然語言的建模和生成任務(wù)，以信息檢索、文本分類、語言識別等任務(wù)為主，而最新的語言模型則側(cè)重于復(fù)雜任務(wù)的求解，能夠不再依靠下游任務(wù)數(shù)據(jù)的微調(diào)進(jìn)行通用任務(wù)的求解。
數(shù)據(jù)工程主要包括三個方面：首先，需要對于數(shù)據(jù)進(jìn)行全面的采集，拓寬高質(zhì)量的數(shù)據(jù)來源；其次，需要對收集到的數(shù)據(jù)進(jìn)行精細(xì)的清洗，盡量提升用于大模型訓(xùn)練的數(shù)據(jù)質(zhì)量；第三，需要設(shè)計有效的數(shù)據(jù)配比與數(shù)據(jù)課程，加強(qiáng)模型對于數(shù)據(jù)語義信息的利用效率。
二、數(shù)據(jù)準(zhǔn)備
1.通用文本數(shù)據(jù)
絕大多數(shù)的大語言模型都選用了網(wǎng)頁、書籍和對話文本等通用語料作為預(yù)訓(xùn)練數(shù)據(jù)，現(xiàn)有大語言模型預(yù)訓(xùn)練數(shù)據(jù)中各種數(shù)據(jù)來源的比例分布如下圖所示：
2.專用文本數(shù)據(jù)
專用數(shù)據(jù)集有助于提升大語言模型解決特定下游任務(wù)的能力，一般包括多語文本、科學(xué)文本、代碼。預(yù)訓(xùn)練數(shù)據(jù)預(yù)處理流程如下：
三、模型架構(gòu)
Transformer是由多層的多頭自注意力（Multi-head Self-attention）模塊堆疊而成的神經(jīng)網(wǎng)絡(luò)模型。原始的Transformer模型由編碼器和解碼器兩個部分構(gòu)成，如下圖所示：
四、模型預(yù)訓(xùn)練
在進(jìn)行模型的大規(guī)模預(yù)訓(xùn)練時，需要設(shè)計合適的自監(jiān)督預(yù)訓(xùn)練任務(wù)，使得模型能夠從海量無標(biāo)注數(shù)據(jù)中學(xué)習(xí)到廣泛的語義知識與世界知識，分為三類，包括語言建模、去噪自編碼以及混合去噪器。
1.語言建模
語言建模任務(wù)是絕大部分大語言模型廣泛采用的預(yù)訓(xùn)練任務(wù)，核心在于“預(yù)測下一個詞元”，并且經(jīng)常被用于訓(xùn)練基于解碼器的大語言模型。
2.去噪自編碼
去噪自編碼任務(wù)是另一種常見的語言模型預(yù)訓(xùn)練任務(wù)，輸入文本經(jīng)過一系列隨機(jī)替換或刪除操作，形成損壞的文本，模型的目標(biāo)是根據(jù)這些損壞的文本恢復(fù)出被替換或刪除的詞元片段。
語言建模和去噪自編碼的輸入輸出對比如下：
3.混合去噪器
混合去噪器，又稱UL2損失，通過將語言建模和去噪自編碼的目標(biāo)均視為不同類型的去噪任務(wù)，對于預(yù)訓(xùn)練任務(wù)進(jìn)行了統(tǒng)一建模。
五、指令微調(diào)
指令微調(diào)是指使用自然語言形式的數(shù)據(jù)對預(yù)訓(xùn)練后的大語言模型進(jìn)行參數(shù)微調(diào)。一個經(jīng)過指令格式化的數(shù)據(jù)實例包括任務(wù)描述（也稱為指令）、任務(wù)輸入-任務(wù)輸出以及可選的示例。3種構(gòu)建格式化指令數(shù)據(jù)的方法：
基于現(xiàn)有的NLP任務(wù)數(shù)據(jù)集構(gòu)建
基于日常對話數(shù)據(jù)構(gòu)建
基于合成數(shù)據(jù)構(gòu)建
LoRA微調(diào)示意圖：
六、人類對齊
大語言模型在下游任務(wù)中表現(xiàn)出優(yōu)秀的性能，但有時會出現(xiàn)錯誤或具有危害性的行為，例如無法正確遵循指令、生成虛假信息、以及產(chǎn)生有害、有誤導(dǎo)性以及帶有偏見的表達(dá)。在大語言模型的預(yù)訓(xùn)練和有監(jiān)督微調(diào)的過程中，主要訓(xùn)練目標(biāo)是根據(jù)上下文內(nèi)容來預(yù)測下一個詞元。但這一過程并未充分考慮人類的價值觀或偏好，可能導(dǎo)致大語言模型從數(shù)據(jù)中學(xué)習(xí)到不符合人類期望的生成模式。為規(guī)避這些潛在風(fēng)險，提出了“人類對齊”的概念，旨在保證大語言模型的行為與人類期望和價值觀相一致。
對齊標(biāo)準(zhǔn)：有用性、誠實性、無害性。
基于人類反饋的強(qiáng)化學(xué)習(xí)的工作流程如下：
基于人類反饋的強(qiáng)化學(xué)習(xí)旨在利用收集到的人類反饋數(shù)據(jù)指導(dǎo)大語言模型進(jìn)行微調(diào)，從而使得大語言模型在多個標(biāo)準(zhǔn)（例如有用性、誠實性和無害性）上實現(xiàn)與人類的對齊。RLHF首先需要收集人類對于不同模型輸出的偏好，然后使用收集到的人類反饋數(shù)據(jù)訓(xùn)練獎勵模型，最后基于獎勵模型使用強(qiáng)化學(xué)習(xí)算法（如Proximal Policy Optimization，PPO）微調(diào)大語言模型。PPO在策略模型和獎勵模型的基礎(chǔ)上，還引入了參考模型和評價模型。
七、提示學(xué)習(xí)
經(jīng)過預(yù)訓(xùn)練、指令微調(diào)和人類對齊后，則通過提示學(xué)習(xí)方法來有效地使用大語言模型解決實際任務(wù)。任務(wù)提示的設(shè)計主要依靠人工設(shè)計和自動優(yōu)化兩種策略來實現(xiàn)。
1.人工提示設(shè)計
針對特定任務(wù)設(shè)計合適的任務(wù)提示，被稱為“提示工程”（Prompt Engineering）。提示設(shè)計，考慮四個關(guān)鍵要素，即任務(wù)描述、輸入數(shù)據(jù)、上下文信息和提示策略。
（1）任務(wù)描述
展示了大語言模型應(yīng)當(dāng)遵循的具體指令，即用清晰的、具體的表達(dá)來描述任務(wù)目標(biāo)，某些特定任務(wù)還需要對于輸入或輸出的格式進(jìn)行更詳細(xì)的說明，可以使用關(guān)鍵詞或特殊符號來強(qiáng)調(diào)特殊設(shè)置以指導(dǎo)大語言模型更好地完成任務(wù)。如下：
（a）知識問答的任務(wù)描述：請使用所提供的以三個井號（###）分隔的文章回答問題。如果在文章中找不到答案，請回答“無法找到答案?！?/p>
（b）代碼補(bǔ)全的任務(wù)描述：你是一名程序員。給你一個代碼片段，你的目標(biāo)是完成這段代碼，確保它能實現(xiàn)描述的功能。
（c）對話推薦的任務(wù)描述：推薦10個符合用戶偏好的商品。推薦列表可以包含對話框之前提到的商品。推薦列表的格式為“商品ID標(biāo)題（年份）。請勿在推薦列表中提及商品標(biāo)題以外的任何內(nèi)容。
（2）輸入數(shù)據(jù)
用戶可能直接使用自然語言描述輸入數(shù)據(jù)的內(nèi)容。對于特殊形式的輸入數(shù)據(jù)，則需要采用合適的方法使其能夠被大語言模型讀取與理解。如對于結(jié)構(gòu)化數(shù)據(jù)（如知識圖譜、表格等），通過使用線性化方法將其轉(zhuǎn)換為易于處理的文本序列。
（a）線性化后的表格數(shù)據(jù)：
###學(xué)號 姓名 成績#01278 張三 89.0#03813 李四 92.5#06714 王五 79.0###
（b）代碼格式的圖數(shù)據(jù)：
Graph[name="Knowledge-Graph"]{
entity_list=["James Cameron","Ontarion",…],
triple_list=[("James Cameron"->"ontario")[relation="born in"],…],
}
（3）上下文信息
上下文信息對某些特定任務(wù)也非常重要。如搜索引擎可以為開放問答任務(wù)提供參考文檔，可以通過將檢索到的參考文檔以上下文信息的形式引入提示作為大語言模型的輸入。在引入外部信息時，需要對于這些信息進(jìn)行合適的格式化，以加強(qiáng)大模型對它們的利用。大模型可以通過這些示例數(shù)據(jù)學(xué)習(xí)任務(wù)目標(biāo)、輸出格式以及輸入和輸出之間的映射關(guān)系。
（a）基于任務(wù)示例回答問題：
示例問題：羅杰有5個網(wǎng)球，他又買了2罐網(wǎng)球，每罐有3個網(wǎng)球。他現(xiàn)在有多少個網(wǎng)球？
示例回答：羅杰一開始有5個球，2罐每罐3個網(wǎng)球就是6個網(wǎng)球。5+6=11。答案是11。
用戶輸入：袋子里有16個球，其中一半是高爾夫球，并且所有高爾夫球中有一半是藍(lán)色的球。請問有多少個藍(lán)色高爾夫球？
模型輸出：袋子里有16個球，其中一半是高爾夫球。因此有16/2=8個高爾夫球。一半的高爾夫球是藍(lán)色的。因此有8/2=4個藍(lán)色高爾夫球。答案是4。
（4）提示策略
針對不同的大語言模型設(shè)計合適的提示策略對于激發(fā)模型解決特定任務(wù)的能力非常重要。在某些情況下，添加特定的前綴或后綴有助于引導(dǎo)大模型解決復(fù)雜任務(wù)。如使用前綴”讓我們一步一步地思考“可以激發(fā)大模型逐步推理能力，使用前綴”你是這項任務(wù)（或領(lǐng)域）的專家“可以提高大模型在特定任務(wù)（或領(lǐng)域）中的表現(xiàn)。此外，對于對話式的大模型，由于使用了大量對話數(shù)據(jù)進(jìn)行訓(xùn)練，因此更合適的做法是將提示拆分為多個子任務(wù)提示，以多輪對話的方法逐步輸入給大模型。
（a）解答數(shù)學(xué)問題：
用戶輸入：袋子里有16個球，其中一半是高爾夫球，并且所有高爾夫球中有一半是藍(lán)色的球。請問有多少個藍(lán)色高爾夫球？
模型輸出：讓我們一步一步地思考。
袋子里有16個球，其中一半是高爾夫球，也就是有16/2=8個高爾夫球。一半的高爾夫球是藍(lán)色的，也就是有8/2=4個藍(lán)色高爾夫球。答案是4。
（2）推薦旅游景點：
用戶輸入：你是一名旅行向?qū)?。我會把我的位置告訴你，你需要向我推薦附近的旅游景點。我的第一個請求是”我在我在伊斯坦布爾，我只想?yún)⒂^博物館”。
模型輸出：當(dāng)然，以下是一些您可以考慮參觀的博物館：
1.伊斯坦布爾考古博物館:這個博物館位于蘇丹艾哈邁德廣場，是土耳其最重要的考古博物館之一。它展示了來自不同歷史時期的珍貴文物，包括古代近東古希臘和古羅馬的藝術(shù)品。
2.伊斯坦布爾現(xiàn)代藝術(shù)博物館:位于博斯普魯斯海峽畔的卡拉庫埃斯梅斯地區(qū)這個博物館致力于展示當(dāng)代土耳其和國際藝術(shù)。它擁有豐富的永久收藏和臨時展覽，涵蓋繪畫、雕塑、攝影、視頻藝術(shù)和裝置藝術(shù)等多個領(lǐng)域。
3.圣索菲亞博物館:這座博物館位于伊斯坦布爾歷史中心的圣索菲亞大教堂內(nèi)展示了拜占庭和奧斯曼帝國時期的藝術(shù)和文物。您可以在這里欣賞到壯麗的拜占庭建筑和壁畫，以及眾多的歷史文物。
（5）設(shè)計原則
清晰地表達(dá)任務(wù)目標(biāo)
分解為簡單且詳細(xì)的子任務(wù)，每個子任務(wù)都對應(yīng)原始任務(wù)的某個方面或步驟，并將子任務(wù)按編號列出
提供少樣本示例
采用模型友好的提示格式，從模型預(yù)訓(xùn)練的數(shù)據(jù)集中學(xué)習(xí)語言表達(dá)模式，并利用這些語言表達(dá)模型幫助我們更有效地使用大模型完成特定任務(wù)
2.上下文學(xué)習(xí)
上下文學(xué)習(xí)成為使用大模型解決下游任務(wù)的一種主流途徑。
作為一個重要特點，上下文學(xué)習(xí)在提示中引入了示例數(shù)據(jù)，示例設(shè)計的三個關(guān)鍵因素，包括示例樣本選擇、樣本格式化函數(shù)、以及示例排序策略。其中，人工標(biāo)注的示例格式如下：
3.思維鏈提示
思維鏈提示是一種高級提示策略，旨在增強(qiáng)大語言模型在各類復(fù)雜推理任務(wù)上的表現(xiàn)。常見的推理任務(wù)包括算術(shù)推理、常識推理以及符號推理等多種任務(wù)。與上下文學(xué)習(xí)方法僅使用<輸入，輸出>二元組來構(gòu)造提示不同，思維鏈提示進(jìn)一步融合了中間的推理步驟來指導(dǎo)從輸入到輸出的推理過程。思維鏈提示技術(shù)的演化過程如下：
大語言模型使用思維樹方法解決24點游戲如下：
大模型使用思維圖方法解決數(shù)組排序：
八、規(guī)劃與智能體
規(guī)劃旨在為目標(biāo)任務(wù)制定包含一系列動作的解決方案，是大語言模型解決復(fù)雜問題能力的重要體現(xiàn)，也是自主智能體最重要的核心能力。自主智能體作為大模型的關(guān)鍵應(yīng)用方向之一，被視為實現(xiàn)通用人工智能的極具潛力的技術(shù)路徑。通過感知環(huán)境、規(guī)劃解決方案以及執(zhí)行相應(yīng)動作，自主智能體能夠有效完成既定目標(biāo)任務(wù)?；谥贫ǖ娜蝿?wù)的解決方案，自主智能體在環(huán)境中執(zhí)行相應(yīng)的動作，最終完成目標(biāo)任務(wù)的求解。
1.基于大語言模型的規(guī)劃
為解決幾何數(shù)學(xué)求解、游戲、代碼編程、日常生活任務(wù)等復(fù)雜任務(wù)時，可使用基于大語言模型的規(guī)劃（Planning），核心在于將復(fù)雜任務(wù)分解為若干相關(guān)聯(lián)的子任務(wù)，并圍繞這些子任務(wù)制定包含一系列執(zhí)行動作（Action）的解決方案，從而將復(fù)雜任務(wù)的求解轉(zhuǎn)換為一系列更為簡單的子任務(wù)依次求解，進(jìn)而簡化任務(wù)難度。
（1）整體框架
基于大模型的規(guī)劃方法主要由三個組件構(gòu)成，包括任務(wù)規(guī)劃器、規(guī)劃執(zhí)行器以及環(huán)境。大模型作為任務(wù)規(guī)劃器，主要職責(zé)是生成目標(biāo)任務(wù)的解決方案；該方案包含一系列執(zhí)行動作，每個動作通過合適的形式進(jìn)行表達(dá)。對于長期任務(wù)，任務(wù)規(guī)劃器還可以引入存儲機(jī)制，用于解決方案與中間執(zhí)行結(jié)果的存儲與檢索。規(guī)劃執(zhí)行器則負(fù)責(zé)執(zhí)行解決方案中所涉及到的動作。環(huán)境是規(guī)劃執(zhí)行器實施動作的具體場景，不同任務(wù)對應(yīng)著不同的執(zhí)行環(huán)境。
大語言模型通過基于提示的規(guī)劃解決復(fù)雜任務(wù)的流程：
（2）方案生成
方案生成主要是基于大模型的綜合理解和推理能力，通過合適的提示讓大模型生成目標(biāo)任務(wù)的解決方案。解決方案可以采用自然語言表達(dá)或代碼表達(dá)的形式。自然語言的形式較為直觀，但由于自然語言的多樣性與局限性，不能保證動作被完全正確執(zhí)行，而代碼形式則較為嚴(yán)謹(jǐn)規(guī)范，可以使用外部工具如代碼解釋器等保證動作被正確執(zhí)行。
任務(wù)規(guī)劃器主要采用一次性的方案生成和迭代式的方案生成，兩種方式。一次性方案生成方法要求任務(wù)規(guī)劃器直接生成完整的解決方案，實現(xiàn)較為簡單但容錯性較低，一旦中間某個步驟出錯就容易導(dǎo)致最終執(zhí)行結(jié)果出錯。迭代式方案生成方法則通過與環(huán)境進(jìn)行交互，逐步地生成下一步動作計劃，能夠根據(jù)環(huán)境反饋對中間執(zhí)行步驟進(jìn)行修正與調(diào)整。示例如下：
（3）獲取反饋
在執(zhí)行動作后，規(guī)劃執(zhí)行器會將環(huán)境反饋信號傳遞給任務(wù)規(guī)劃器。這些反饋信號可以用于完善整體解決方案或規(guī)劃下一步動作。環(huán)境反饋分為外部反饋和內(nèi)部反饋。
外部反饋：外部對象為任務(wù)規(guī)劃器提供重要的反饋信號，包括物理工具、人類、虛擬環(huán)境，如在游戲領(lǐng)域，虛擬環(huán)境能夠為任務(wù)規(guī)劃器提供實時的動作執(zhí)行反饋，從而協(xié)助其更加高效地完成后續(xù)的游戲任務(wù)。
內(nèi)部反饋：大模型本身也能夠?qū)θ蝿?wù)規(guī)劃器提供反饋信息。首先大模型直接判斷當(dāng)前動作是否規(guī)劃正確，將歷史動作序列及對應(yīng)的反饋輸入給大模型，通過相關(guān)指令，讓大模型檢查當(dāng)前動作的正確性，并給出反饋結(jié)果。在得到完整的解決方案后，規(guī)劃執(zhí)行器可以在環(huán)境中執(zhí)行該方案，并且獲得相應(yīng)的外部反饋信息。
2.基于大語言模型的智能體
智能體（Agent）是一個具備環(huán)境感知、決策制定及動作執(zhí)行能力的自主算法系統(tǒng)。在游戲、自動駕駛等領(lǐng)域取得顯著成果，在自然語言理解、圖像識別、推理決策等方面展現(xiàn)前所未有的性能。
（1）大語言模型智能體的構(gòu)建
智能體的構(gòu)建過程，將圍繞三個基本組件進(jìn)行，包括記憶組件（Memory）、規(guī)劃組件（Planning）、執(zhí)行組件（Execution）。
記憶組件：構(gòu)成了智能體的核心存儲單元，用于存儲智能體與環(huán)境的歷史交互記錄，并能夠隨時檢索使用，這些信息可以是文本形式、圖像、聲音等多模態(tài)形式。如，聊天機(jī)器人利用記憶組件來存儲用戶的偏好，進(jìn)而提供更具個性化的服務(wù)體驗。大模型智能體通過特殊設(shè)計的讀寫操作，將相關(guān)信息分別存儲在短期記憶和長期記憶中，面對不同類型的需求時，能夠靈活地調(diào)用長短期記憶，以支持其復(fù)雜的認(rèn)知和推理過程。
短期記憶對應(yīng)模型內(nèi)部的上下文窗口（即輸入窗口），只會使用一次。長期記憶，在不常訪問的情況下也穩(wěn)定保留。
規(guī)劃組件：引入了人類解決任務(wù)的思考方式，將復(fù)雜任務(wù)分解為一系列簡單的子任務(wù)，進(jìn)而逐一解決。
執(zhí)行組件：主要職責(zé)是執(zhí)行由規(guī)劃組件制定的任務(wù)解決方案。通過設(shè)置執(zhí)行組件，智能體可以產(chǎn)生具體的動作行為，進(jìn)而與環(huán)境進(jìn)行交互，并獲得實際的執(zhí)行效果反饋。
工作流程：遵循如下步驟：首先，智能體對當(dāng)前狀態(tài)進(jìn)行理解和分析，可能會從記憶組件中檢索相關(guān)的歷史信息或知識。接下來，規(guī)劃組件通過綜合考慮長短期記憶組件中已存儲的信息，生成下一個行動策略或計劃，涉及對多個執(zhí)行方案進(jìn)行預(yù)測與評估，以選擇最優(yōu)的行動路徑。隨后執(zhí)行組件負(fù)責(zé)根據(jù)規(guī)劃組件生成的任務(wù)解決方案執(zhí)行實際行為，并與當(dāng)前環(huán)境產(chǎn)生交互。在執(zhí)行過程中，智能體可能會借助外部工具或資源來增強(qiáng)自身的執(zhí)行能力。最后，智能體通過感知單元或系統(tǒng)接口從環(huán)境中接收反饋信息，并將這些信息暫時存儲于短期記憶中。智能體會對短期記憶中的新獲取到的信息進(jìn)行處理，如舍棄掉和未來規(guī)劃無關(guān)的觀察。
（2）多智能體系統(tǒng)的構(gòu)建
多智能體系統(tǒng)著重強(qiáng)調(diào)智能體間的協(xié)同合作，以發(fā)揮集體智慧的優(yōu)勢。在多智能體系統(tǒng)中，可以從相同或不同類型的大模型中實例化出多個智能體，每個智能體均扮演特定角色并承擔(dān)著對應(yīng)功能。通過智能體間的交互與協(xié)作，智能體系統(tǒng)的靈活性和適應(yīng)性得到顯著增強(qiáng)。
（3）大語言模型智能體的典型應(yīng)用
WebGPT
WebGPT是由OpenAI開發(fā)的一款具有信息檢索能力的大語言模型部署在一個基于文本的網(wǎng)頁瀏覽環(huán)境，用以增強(qiáng)大語言模型對于外部知識的獲取能力。作為一個單智能體系統(tǒng)，WebGPT具備自主搜索、自然語言交互以及信息整合分析等特點，能夠理解用戶的自然語言查詢，自動在互聯(lián)網(wǎng)上搜索相關(guān)網(wǎng)頁。根據(jù)搜索結(jié)果，WebGPT能夠點擊、瀏覽、收藏相關(guān)網(wǎng)頁信息，對搜索結(jié)果進(jìn)行分析和整合，最終以自然語言的形式提供準(zhǔn)確全面的回答，并提供參考文獻(xiàn)。WebGPT在基于人類評估的問答任務(wù)中，獲得了與真實用戶答案準(zhǔn)確率相當(dāng)?shù)男Ч?/p>
MetaGPT
MetaGPT是一個基于多智能體系統(tǒng)的協(xié)作框架，旨在模仿人類組織的運(yùn)作方式，模擬軟件開發(fā)過程中的不同角色和協(xié)作。相關(guān)角色包括產(chǎn)品經(jīng)理、架構(gòu)師、項目經(jīng)理、軟件工程師及測試工程師等，并遵循標(biāo)準(zhǔn)化的軟件工程運(yùn)作流程對不同角色進(jìn)行協(xié)調(diào)，覆蓋了需求分析、需求文檔撰寫、系統(tǒng)設(shè)計、工作分配、代碼實現(xiàn)、系統(tǒng)測試等軟件開發(fā)全生命周期，最終滿足特定軟件開發(fā)項目的需求。
【一個小目標(biāo)】88/365，關(guān)注行業(yè)關(guān)注趨勢，多看多想多反思，做一個講故事的人，講一個好故事。
