為什么近兩年AI突然爆火出圈？

根本原因還是因?yàn)镺penAI-ChatGPT3.5的誕生，被一些人認(rèn)為產(chǎn)生了涌現(xiàn)現(xiàn)象或通過了圖靈測試，注意這兩個觀點(diǎn)并不被所有人認(rèn)可。但在ChatGPT3.5誕生之前，人類究竟能不能實(shí)現(xiàn)通用人工智能還是一頭霧水里打轉(zhuǎn)，雖然成敗尚未可知，但ChatGPT3.5讓部分學(xué)者和專家看到了希望。

什么是圖靈測試？

• 提出人：艾倫·麥席森·圖靈（被譽(yù)為：計(jì)算機(jī)科學(xué)和人工智能之父）
• 理念：圖靈預(yù)測稱，到2000年，人類應(yīng)該可以用10GB的計(jì)算機(jī)設(shè)備，制造出可以騙過30%成年人的人工智能。
• 提出時間：1950年
• 測試方法
  • 被測試人，和一個待測試的機(jī)器。測試時，測試人與被測試人是分開的，測試人只有以純文本的方式向被測試人問一些問題，這些問題隨便是什么問題都可以。問過一些問題后，如果測試人能夠正確地分出誰是人誰是機(jī)器，那機(jī)器就沒有通過圖靈測試，如果測試人沒有分出誰是機(jī)器誰是人，那這個機(jī)器就是有智能的

什么是涌現(xiàn)現(xiàn)象？

• 涌現(xiàn)現(xiàn)象：當(dāng)一個系統(tǒng)中的多個簡單個體相互作用時,會產(chǎn)生整體層面上的新特性或行為模式,而這些特性無法僅從單個個體的性質(zhì)來解釋或預(yù)測。
• 例子：
  • 水分子的個體性質(zhì)與水的流動性、表面張力等宏觀性質(zhì)
  • 神經(jīng)元的簡單活動與意識的產(chǎn)生
  • 蟻群中單個螞蟻的行為與整個蟻群的智能表現(xiàn)

為什么GPT3.5之后其它廠商可以那么快的跟進(jìn)更新

實(shí)際上GPT2是開源的，當(dāng)時（GPT3.5誕生之前）競品還有Google的多種方案（BERT，XLNet，T5），Claude的LM，百度的ERNIE等等技術(shù)。實(shí)際上再GPT3.5之前的OpenAI發(fā)展都是有跡可循的，只是OpenAI第一個把這條路走上可用，其它家競品交流了那么久，自然可以快速跟進(jìn)。

除了大語言模型，其它的AI技術(shù)值不值得關(guān)注？

• 答案：現(xiàn)階段除了大語言模型，沒有任何技術(shù)值得特別關(guān)注，包括多模態(tài)（當(dāng)然這些技術(shù)都是有非常大價值的，但不值得特別關(guān)注，除非你涉及相關(guān)領(lǐng)域）。
  • 原因：因?yàn)楸徽J(rèn)為可能具有涌現(xiàn)現(xiàn)象的只有大語言模型，其它的AI技術(shù)早就已經(jīng)達(dá)到可用水平，如果真這么有價值，為什么以前沒有出圈？（當(dāng)然這些AI技術(shù)都很有用，包括Google和字節(jié)跳動基本是依靠廣告推薦算法才能有今天的地位）但這些之前沒有出圈是有道理的，因?yàn)椴恢档贸鋈Α?/li>
  • 多模態(tài)：多模態(tài)的圖片和視頻理解能力，是先通過其它AI算法對圖片和時間線打標(biāo)轉(zhuǎn)化為大語言模型可以理解的向量再喂給大語言模型，最后輸出的。
• 圖像生成（圖片和視頻）
  • 圖像生成今天基本是基于擴(kuò)散模型生成，圖片的數(shù)據(jù)打標(biāo)是確定和固定的（今天看起來好像不確定是因?yàn)槿诤狭似渌夹g(shù)導(dǎo)致的，包括使用了大語言模型來處理自然語言到圖片和圖像生成提示詞）（注意通常使用的是CLIP等技術(shù)，我只是懷疑部分商業(yè)產(chǎn)品使用了大語言模型）
  • 2020年，同樣由OpenAI發(fā)布的DALL-E前身DDPM論文奠定了今天圖像生成模型的基調(diào)。
• 音頻生成
  • 目前的AI生成音頻是從70年代一路發(fā)展下來的，沒有像圖像和大語言模型一樣的跨越式進(jìn)步和轉(zhuǎn)折點(diǎn)。
• 視頻（圖片）處理
  • 2014年開始基于CNN，GAN等技術(shù)的圖像修復(fù)和處理技術(shù)開始展露頭腳。
• 其它
  • 實(shí)際上AI（機(jī)器學(xué)習(xí)領(lǐng)域），的技術(shù)都是從上個世紀(jì)穩(wěn)步發(fā)展到今天的，除了LLM均沒有發(fā)生過跳躍式的進(jìn)步，理論上LLM的發(fā)展也沒有跨越式進(jìn)步，但效果發(fā)生了跨越式進(jìn)步，即被認(rèn)為產(chǎn)生了涌現(xiàn)現(xiàn)象。

你需要學(xué)習(xí)如何使用大語言模型么？

• 作為非技術(shù)人員的答案：不需要(我說的是不需要學(xué)，而不是不需要用)
• 你需要學(xué)習(xí)Prompt工程么：不需要
• 你需要學(xué)習(xí)什么：如何更高效的溝通，這不只對大模型有效，對人與人也有效
• 原因：如果使用大語言模型需要學(xué)習(xí)Prompt，那大語言模型就沒有出圈的價值
• 為什么有一些賣課人會交Prompt工程：因?yàn)榛跀U(kuò)散模型的圖片生成，確實(shí)需要規(guī)范化的Prompt才可以生成預(yù)期的圖像，因?yàn)閿U(kuò)散模型接收的Prompt是固定的，如果你使用的圖像生成技術(shù)可以理解自然語義，一定是經(jīng)過了其它技術(shù)處理。而大語言模型本身就是理解自然語義的，這完全是不同的概念。

你需要微調(diào)大語言模型么？

簡單固定模式商業(yè)場景基本不太需要，有些人會把大語言模型調(diào)教成固定輸入輸出，再拿測試集去測，純屬沒事找事，或許寫個if else成本更低更高效且不會出錯。
我并不是否定微調(diào)，只是希望有些人不要把簡單的事情復(fù)雜化。當(dāng)然微調(diào)大模型對技術(shù)打工人是絕對的福利，又有一個高大上的東西可以騙傻老板了。有些if else可以解決的問題，可以動用幾百上千甚至幾十萬的資金去做了，yes。

大語言模型有記憶么？

沒有，大語言模型本身不具備任何記憶，因?yàn)槟氵\(yùn)行的二進(jìn)制文件數(shù)據(jù)沒有任何改變，你使用的開源或商業(yè)產(chǎn)品有記憶，是因?yàn)槊恳淮味加蓚鹘y(tǒng)代碼把完整的上下文喂給了大模型。如果你發(fā)現(xiàn)某種智能產(chǎn)品基于大語言模型但好像越來越懂你，別誤會，是傳統(tǒng)代碼再收集的隱私數(shù)據(jù)而已。

運(yùn)行滿血的大語言模型到底需要什么設(shè)備？

大模型的多少B究竟是什么意思？

1.5B, 7B, 14B, 32B, 70B, 671B指的是大模型擁有多少個“參數(shù)”，B指的是Billion十億， 而不是計(jì)算機(jī)領(lǐng)域常用的Byte。

什么是參數(shù)？

參數(shù)代表著如何控制神經(jīng)網(wǎng)絡(luò)工作的參數(shù)量。

運(yùn)行大語言模型需要多少內(nèi)存（顯存）

一般來說（大約需要）

10Billion的模型滿血運(yùn)行大約需要40GByte存儲（BF32/FP32），float16要20GByte，int4大約要5Byte
實(shí)際上你只需看模型占用了多少硬盤，如果沒有經(jīng)過壓縮處理的話，它大概滿血運(yùn)行至少也需要這么大的顯存（內(nèi)存）

量化

BF16/FP16，BF32/FP32，INT8，INT4等是計(jì)算機(jī)中的常用概念，是表示一個數(shù)值的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，當(dāng)然BF是為了機(jī)器學(xué)習(xí)優(yōu)化過的浮點(diǎn)數(shù)表示結(jié)構(gòu)。
本質(zhì)上每一個參數(shù)都是幾個數(shù)值（權(quán)重，激活值和訓(xùn)練時的梯度值），你把一個數(shù)值按照同比縮放到更小的結(jié)構(gòu)上，會出現(xiàn)小數(shù)位丟失，整體的參數(shù)可控比例范圍也會變小。
把float32量化為int8，相當(dāng)于把模型的可控參數(shù)的細(xì)節(jié)縮小了四萬倍左右，但實(shí)際上參數(shù)并不會使用那么精細(xì)的位數(shù)，且小精度對模型的影響也有限。
一般量化中說的性能損失，指的是效果損失而非計(jì)算性能

究竟需要什么設(shè)備？

理論上你依靠一個古董64位CPU+一塊3TB硬盤就可以在效果上滿血運(yùn)行DeepSeek-R1了
實(shí)際上，這是一個計(jì)算瓶頸問題和專用計(jì)算的問題

CPU和GPU和NPU

目前機(jī)器學(xué)習(xí)核心生態(tài)是圍繞著GPU打造的（NPU只是在功耗設(shè)計(jì)上比GPU強(qiáng)，在計(jì)算上沒有什么替代GPU的根本性原因）。而GPU和顯存是顯卡設(shè)計(jì)上的內(nèi)部帶寬，而GPU和內(nèi)存的鏈接則需要經(jīng)過PCIE，主板甚至CPU通道的交互限制，效果肯定是不如顯存的。

CPU可以模擬任何專用計(jì)算

所有人類可以想象出來的算法都可以使用CPU進(jìn)行計(jì)算，CPU可以完成顯卡和量子計(jì)算系統(tǒng)的一切工作，只是速度遠(yuǎn)遠(yuǎn)不如專用芯片的效果而已。

計(jì)算瓶頸在哪里？

這并不是一個AI的專屬概念，實(shí)際上鉆研打游戲的人也明白。
一個東西的性能取決于所有需要使用的硬件的最短板性能。
即游戲幀數(shù)受限于CPU，GPU，內(nèi)存頻率，顯存頻率甚至硬盤讀取率中最早打滿的那一個。
AI同理，你的運(yùn)行速度取決于計(jì)算性能和存儲讀取性能那個先遇到瓶頸

除了量化以外，任何優(yōu)化都逃不開使用的存儲大小

最近看到一些營銷號說什么一塊24GB 4090滿血運(yùn)行R1，實(shí)際上剩下的存儲使用了內(nèi)存，我沒有深究也沒有去看清華的那篇論文，但我猜測是在顯存命中率上做了優(yōu)化。（好像是二百多G內(nèi)存吧，是在INT4下運(yùn)行的，可以說是丐中丐，而非滿血）
拋開token吐字速度，你只需要把一塊3T的硬盤想辦法設(shè)置為虛擬內(nèi)存或虛擬顯存，你就可以滿血運(yùn)行R1了，但這時性能會受到硬盤讀寫瓶頸的影響。相當(dāng)于你把大腦放在了速度慢的硬盤上。