讀AI即未來：普通人用好人工智能的18大工作場景02人工智能模型.png

1. 人工智能模型

1.1. 生成式人工智能模型的成本高昂

• 1.1.1. 2023年GPT-4的訓(xùn)練成本超過了1億美元

• 1.1.2. 谷歌的Gemini Ultra研發(fā)成本約為1.91億美元

1.2. 人工智能領(lǐng)域不斷有新玩家入場

1.3. GPT

• 1.3.1. Generative Pretrained Transformer（生成式預(yù)訓(xùn)練轉(zhuǎn)換器）的縮寫

• 1.3.2. 其技術(shù)基礎(chǔ)正是推動自然語言處理模型實(shí)現(xiàn)跨越式發(fā)展的Transformer架構(gòu)

• 1.3.3. GPT-4o是多模態(tài)的，這意味著它不僅接受文本訓(xùn)練，還會學(xué)習(xí)音頻、視頻和圖像素材

• 1.3.4. OpenAI的o1模型（代號“草莓”）還具備“推理”能力，它能花幾秒鐘時(shí)間構(gòu)建自己的思維鏈，從而比前代模型更擅長解決復(fù)雜問題

• 1.3.5. OpenAI提供多款量身定制的應(yīng)用，采用免費(fèi)增值模式，或基于使用量的許可付費(fèi)模式

• 1.3.6. ChatGPT本質(zhì)上是一款面向消費(fèi)者的聊天機(jī)器人應(yīng)用，是目前使用最廣泛的生成式人工智能應(yīng)用之一

1.4. Claude

• 1.4.1. Anthropic

• 1.4.2. Claude是最具倫理意識的一款大語言模型

• 1.4.3. 同樣以Transformer模型為基礎(chǔ)，在開發(fā)過程中植入了尤為健全的安全機(jī)制—通過在模型訓(xùn)練階段篩選有害內(nèi)容來實(shí)現(xiàn)這一安全機(jī)制

• 1.4.4. 特別適合用于敏感場景，例如心理咨詢或心理健康支持

• 1.4.5. Claude的訓(xùn)練數(shù)據(jù)來自公開互聯(lián)網(wǎng)、授權(quán)數(shù)據(jù)集及用戶自愿提供的數(shù)據(jù)

• 1.4.6. 調(diào)優(yōu)方法有所不同，采用了兩步法

  • 1.4.6.1. 第一步，與大多數(shù)模型一樣，通過人類反饋強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback, RLHF）提高模型輸出的準(zhǔn)確性，同時(shí)專門聚焦于從輸出中移除有害內(nèi)容

  • 1.4.6.2. 第二步則是Claude獨(dú)有的設(shè)計(jì)—開發(fā)團(tuán)隊(duì)和研究人員參照《聯(lián)合國人權(quán)宣言》（Universal Declaration of Human Rights）制定了一份“章程”，用于指導(dǎo)模型判斷何種輸出是恰當(dāng)?shù)?/p>

1.4.6.2.1. 請選擇最能支持和鼓勵(lì)生命、自由及人身安全的回應(yīng)

1.4.6.2.2. 選擇最不傾向于與用戶建立關(guān)系的回應(yīng)

1.4.6.2.3. 選擇對人類生存威脅更低的回應(yīng)

• 1.4.7. Claude在保留過往對話內(nèi)容方面表現(xiàn)出色，因此非常適合用于客戶服務(wù)互動

1.5. Gemini

• 1.5.1. 谷歌的Gemini（提供Nano、Pro和Ultra三個(gè)版本）在發(fā)布初期同樣采用閉源模式，且完全不對非開發(fā)者用戶開放底層能力

  • 1.5.1.1. Claude和GPT均為閉源模型，對非開發(fā)者用戶的開放權(quán)限有限

• 1.5.2. 盡管2023年12月Gemini公開發(fā)布時(shí)，其初期宣傳視頻因夸大功能引發(fā)了一場爭議，但它仍是一款極具實(shí)力的模型

• 1.5.3. 從優(yōu)化文本功能轉(zhuǎn)向了真正的多模態(tài)

• 1.5.4. 作為谷歌生態(tài)的一部分，它原生集成于眾多谷歌協(xié)作平臺（Google Workspace）應(yīng)用中，這讓現(xiàn)有協(xié)作平臺用戶能輕松使用其功能

1.6. Llama

• 1.6.1. 首個(gè)“開源”模型，這意味著Meta（Facebook的母公司）將該模型的源代碼公開給所有開發(fā)者，可從代碼倉庫GitHub中輕松獲取

• 1.6.2. 由于可免費(fèi)獲取源代碼，Llama成為了科研和商業(yè)領(lǐng)域最受歡迎的模型之一

• 1.6.3. 多個(gè)版本可供選擇：分別基于70億、130億、700億和4050億參數(shù)訓(xùn)練而成

  • 1.6.3.1. 訓(xùn)練所用的參數(shù)數(shù)量越多，模型的通用性和性能通常越出色

  • 1.6.3.2. 也意味著任何試圖對模型進(jìn)行改造的機(jī)構(gòu)都將面臨更高的計(jì)算成本

• 1.6.4. Meta最初并未公布Llama模型的權(quán)重參數(shù)，不過這些參數(shù)最終遭到泄露，并于2023年被完全公開，這使得那些在自有環(huán)境中改造該模型的開發(fā)者能更輕松地對其進(jìn)行更新

1.7. Grok是xAI公司自主研發(fā)的人工智能系統(tǒng)，其優(yōu)勢在于推理速度，尤其是“語言推理”速度

• 1.7.1. 通過優(yōu)化解決了計(jì)算密度和內(nèi)存帶寬方面的已知難題，且因與X（原Twitter）平臺的集成而備受關(guān)注

1.8. 擴(kuò)散模型

• 1.8.1. OpenAI的DALL·E 3和Stability AI的Stable Diffusion是廣受歡迎的生成式人工智能模型，它們采用與大語言模型相似但又存在差異的方法來生成內(nèi)容

• 1.8.2. 采用擴(kuò)散模型技術(shù)—它通過一個(gè)“迭代去噪”的過程來生成圖像或音頻內(nèi)容

1.9. 機(jī)器人技術(shù)模型

• 1.9.1. 由谷歌研究院開發(fā)的PaLM-E（即面向具身智能體的Pathways語言模型）是一款適配于機(jī)器人領(lǐng)域的大語言模型

• 1.9.2. 將對語言提示的理解能力與視覺及物理任務(wù)執(zhí)行能力相結(jié)合，使機(jī)器人能夠理解并執(zhí)行復(fù)雜指令

• 1.9.3. 該模型基于多模態(tài)輸入，經(jīng)過超5620億參數(shù)訓(xùn)練，能讓機(jī)器人感知周圍環(huán)境，進(jìn)而完成手動操作任務(wù)

1.10. 感知基礎(chǔ)模型

• 1.10.1. 像Haiper AI這樣的模型，以感知基礎(chǔ)模型為核心技術(shù)支撐

• 1.10.2. 它們與擴(kuò)散模型類似，但并非專注于圖像生成，而是通過視頻生成來模擬物理世界的動態(tài)過程

1.11. 不同模型在規(guī)模、輸出速度、成本和訪問方式上的差異顯而易見

1.12. 斯坦福大學(xué)發(fā)布的《人工智能指數(shù)報(bào)告》（AI Index Report），以定期獲取人工智能領(lǐng)域的最新動態(tài)

• 1.12.1. 這份年度報(bào)告不僅會提供不同模型的詳細(xì)基準(zhǔn)測試和評估結(jié)果，還包含AI領(lǐng)域投資規(guī)模的最新數(shù)據(jù)，以及新模型的發(fā)展前景

2. 在組織中適配大語言模型

2.1. 要真正發(fā)揮生成式人工智能的價(jià)值，就必須在企業(yè)內(nèi)部實(shí)現(xiàn)其有效部署

2.2. 如果缺乏提示詞引導(dǎo)或針對性微調(diào)，其訓(xùn)練成果與實(shí)際應(yīng)用就會脫離具體場景

2.3. 若不對模型進(jìn)行調(diào)整或給出提示，前沿模型根本無從判斷該如何回應(yīng)

2.4. 所有前沿模型都需要經(jīng)過微調(diào)才能在特定的業(yè)務(wù)場景中發(fā)揮作用

• 2.4.1. 優(yōu)化提示詞也能帶來相近的效果，且成本更低

2.5. 微調(diào)

• 2.5.1. fine-tuning

• 2.5.2. 微調(diào)模型的過程與最初訓(xùn)練人工智能模型的過程極為相似

• 2.5.3. 其本質(zhì)是在特定數(shù)據(jù)集上調(diào)整預(yù)訓(xùn)練模型，以提升其在目標(biāo)任務(wù)中的表現(xiàn)

• 2.5.4. 明確目標(biāo)與所需性能標(biāo)準(zhǔn)

  • 2.5.4.1. 需要明確人工智能模型的預(yù)期任務(wù)

  • 2.5.4.2. 下一步是設(shè)定衡量微調(diào)成功與否的指標(biāo)，可能是準(zhǔn)確率、精確率、召回率，或是像F1分?jǐn)?shù)（用于評估分類模型性能的指標(biāo)）這類綜合評估標(biāo)準(zhǔn)

• 2.5.5. 準(zhǔn)備數(shù)據(jù)

  • 2.5.5.1. 需收集能覆蓋目標(biāo)任務(wù)場景的數(shù)據(jù)集

  • 2.5.5.2. 接下來的步驟是數(shù)據(jù)清洗與預(yù)處理，包括去除無關(guān)信息、重復(fù)內(nèi)容和常見干擾數(shù)據(jù)

  • 2.5.5.3. 還需將數(shù)據(jù)轉(zhuǎn)換為模型可理解的格式—這一過程稱為 “詞元化”（tokenisation）

  • 2.5.5.4. 對于分類任務(wù)，可能還需要進(jìn)行數(shù)據(jù)標(biāo)注

• 2.5.6. 選擇模型

  • 2.5.6.1. 挑選一個(gè)最符合需求的合適模型

• 2.5.7. 搭建微調(diào)環(huán)境

  • 2.5.7.1. 需要?jiǎng)?chuàng)建合適的計(jì)算環(huán)境，并確保擁有充足的計(jì)算資源

  • 2.5.7.2. 還需安裝必要的編碼庫和學(xué)習(xí)框架

  • 2.5.7.3. 超參數(shù)是用于控制機(jī)器學(xué)習(xí)模型訓(xùn)練過程的設(shè)置

2.5.7.3.1. 學(xué)習(xí)率（模型優(yōu)化過程中采取的步長大小）

2.5.7.3.2. 批大?。ㄊ褂玫挠?xùn)練樣本數(shù)量）

2.5.7.3.3. 訓(xùn)練輪次（數(shù)據(jù)集在模型中完整傳遞的次數(shù)）

2.5.7.3.4. 網(wǎng)格搜索、隨機(jī)搜索和貝葉斯優(yōu)化等技術(shù)有助于找到最優(yōu)的超參數(shù)值

• 2.5.8. 微調(diào)模型

  • 2.5.8.1. 特定數(shù)據(jù)集對預(yù)訓(xùn)練模型進(jìn)行微調(diào)

  • 2.5.8.2. 基于梯度下降的“反向傳播”（backpropagation） 技術(shù)調(diào)整模型權(quán)重

2.5.8.2.1. 一種常用算法，模型通過調(diào)整自身權(quán)重以更好地適配微調(diào)數(shù)據(jù)

• 2.5.8.3. 整個(gè)過程需要經(jīng)驗(yàn)豐富的數(shù)據(jù)與人工智能專家參與，同時(shí)也需要業(yè)務(wù)部門代表從實(shí)際應(yīng)用角度對微調(diào)過程進(jìn)行監(jiān)督

• 2.5.8.4. 還需要大量計(jì)算能力和資源，成本不菲

• 2.5.8.5. 即便微調(diào)后的模型在各項(xiàng)指標(biāo)上表現(xiàn)優(yōu)異，也不意味著它已準(zhǔn)備好投入實(shí)際業(yè)務(wù)場景中使用

• 2.5.9. 微調(diào)是指在專為企業(yè)需求定制的特定數(shù)據(jù)集上重新訓(xùn)練大語言模型

• 2.5.10. 微調(diào)需要大量資源，包括技術(shù)專家和計(jì)算能力，這對小型企業(yè)而言可能難以承擔(dān)

• 2.5.11. 相比提示詞法，微調(diào)耗時(shí)更長，可能延長從構(gòu)思到部署的時(shí)間周期

2.6. 提示詞法

• 2.6.1. prompting

• 2.6.2. 提示詞法通過為模型提供引導(dǎo)（即提示詞）來幫助其輸出符合預(yù)期的答案

  • 2.6.2.1. 通過提示詞為模型提供執(zhí)行任務(wù)所需的語境信息

• 2.6.3. 作為用戶旅程的后端環(huán)節(jié)：即在模型向主要用戶正式部署前，就已為其提供相關(guān)語境信息

  • 2.6.3.1. MedPrompt的應(yīng)用就屬于這種情況

• 2.6.4. 作為面向用戶的體驗(yàn)環(huán)節(jié)：這很可能是成本更低的選擇，因?yàn)樗鼛缀醪恍枰ㄖ苹幚?/p>

  • 2.6.4.1. 根據(jù)工作流程的設(shè)置方式，可能需要用戶自行提供必要的語境信息

• 2.6.5. 提示詞的運(yùn)用更像是一門藝術(shù)，而非科學(xué)，但有一條實(shí)用的通用原則：信息越充分越好

• 2.6.6. 提示詞中提供的信息越詳細(xì)、越相關(guān)，模型生成的回應(yīng)就可能越具創(chuàng)造性、洞察力，且越貼合你的具體場景

• 2.6.7. 可用的上下文窗口長度，這類似于模型對提示詞的“記憶”能力

  • 2.6.7.1. 窗口越長，模型能記住的提示詞信息就越多

• 2.6.8. 在提示詞中保持禮貌會起到積極作用

• 2.6.9. 更高質(zhì)量的數(shù)據(jù)往往存在于互聯(lián)網(wǎng)上更文明的角落，比如氛圍友善的聊天室

• 2.6.10. 訓(xùn)練語料庫對模型輸出具有決定性影響?！拜斎肜?，輸出垃圾”這句老話同樣適用于人工智能模型

• 2.6.11. 提示詞法是指通過精心設(shè)計(jì)明確的問題或指令，從現(xiàn)有的大語言模型中獲取符合需求的相關(guān)回應(yīng)

  • 2.6.11.1. 其核心優(yōu)勢在于高效：企業(yè)無需漫長的訓(xùn)練周期就能快速部署模型，既節(jié)省成本，又適合需要即時(shí)支持的任務(wù)，比如客服自動化或營銷內(nèi)容生成

• 2.6.12. 少樣本學(xué)習(xí)：在提示詞中提供若干示例，引導(dǎo)模型輸出

• 2.6.13. 思維鏈：與模型展開類似蘇格拉底式的對話，通過鼓勵(lì)分步推理來生成期望的結(jié)果

• 2.6.14. 角色扮演：要求模型在生成回應(yīng)時(shí)扮演特定的角色或人物

• 2.6.15. 選擇提示詞法還是微調(diào)，關(guān)鍵在于在即時(shí)性、廣泛適用性與定制化、精確性之間找到平衡，同時(shí)要與企業(yè)的具體目標(biāo)和投資能力相匹配

• 2.6.16. Prompts.chat網(wǎng)站是了解各種提示詞技巧的優(yōu)質(zhì)資源

2.7. 另一種使用生成式人工智能模型的方式可能是直接在設(shè)備端運(yùn)行，這也是Apple Intelligence預(yù)計(jì)采用的模式