思考和練習(xí)
請思考下面的問題。
Attention
- 你怎么理解Attention？
Attention（注意力機(jī)制）是一種在處理序列數(shù)據(jù)時的機(jī)制。序列中的每一部分（在NLP中為token，在CV中為patch）能“全局”地“關(guān)注”到自己以及自己以外的其他部分?；趒uery (Q)和key (K)間的關(guān)系，計算權(quán)重矩陣，從而對不同部分的value (V)進(jìn)行加權(quán)求和以更好地表示該部分。
- 乘性Attention和加性Attention有什么不同？
計算注意力權(quán)重的方式不同。乘性Attention通過計算query和key的點積然后除以scaled factor來計算注意力權(quán)重，而加性Attention通過計算query和key的點積然后加上一個偏置項來計算注意力權(quán)重。
- Self-Attention為什么采用 Dot-Product Attention？
Dot-Product Attention通過計算query和key的點積然后除以scaled factor來得到注意力權(quán)重，這種方法簡單且高效，能夠使得模型在處理每一個元素時能夠關(guān)注到序列中的其他元素，從而更好地進(jìn)行序列處理任務(wù)。
- Self-Attention中的Scaled因子有什么作用？必須是
sqrt(d_k)嗎？
Scaled factor的作用主要是為了使得注意力權(quán)重能夠在不同的scale下進(jìn)行計算，防止在計算過程中出現(xiàn)梯度消失或爆炸的問題。在Dot-Product Attention中，scaled factor通常是hidden dimension的平方根，即scaled factor = sqrt(d_k)。(以前好像看到過相關(guān)的公式推導(dǎo)（具體地址忘了），證明sort(d_k)解決了梯度消失和爆炸的問題)
- Multi-Head Self-Attention，Multi越多越好嗎，為什么？
No, Multi-Head Self-Attention中的Multi-Head指的是將注意力機(jī)制分成多個頭，每個頭計算注意力權(quán)重時使用不同的權(quán)重矩陣，最后將各個頭的注意力權(quán)重進(jìn)行 concatenate。Multi-Head Self-Attention能夠使得模型能夠關(guān)注到序列中的不同特征，提高模型的性能。但是，Multi-Head Self-Attention中的頭數(shù)（num_heads）并不是越多越好，頭數(shù)過多可能會導(dǎo)致計算復(fù)雜度增加，從而影響模型的性能。在設(shè)計模型架構(gòu)時，需要根據(jù)具體任務(wù)和數(shù)據(jù)集來選擇合適的頭數(shù)。
- Multi-Head Self-Attention，固定
hidden_dim，你認(rèn)為增加head_dim（需要縮小num_heads）和減少head_dim會對結(jié)果有什么影響？
如果固定hidden_dim，增加head_dim意味著每個頭處理的特征維度減小，而減少head_dim意味著每個頭處理的特征維度增大。在某些情況下，增加head_dim可能會提高模型的性能，因為它可以使得模型能夠關(guān)注到序列中的更細(xì)粒度的特征。然而，如果head_dim過大，可能會導(dǎo)致模型過擬合，從而影響模型的性能。因此，在設(shè)計模型架構(gòu)時，需要根據(jù)具體任務(wù)和數(shù)據(jù)集來選擇合適的head_dim。
- 為什么我們一般需要對 Attention weights 應(yīng)用Dropout？哪些地方一般需要Dropout？Dropout在推理時是怎么執(zhí)行的？你怎么理解Dropout？
- Self-Attention的qkv初始化時，bias怎么設(shè)置，為什么？
偏置項通常設(shè)置為一個較小的正數(shù)，如0.1，使模型在訓(xùn)練過程中能夠更快地收斂。
- 你還知道哪些變種的Attention？它們針對Vanilla實現(xiàn)做了哪些優(yōu)化和改進(jìn)？
除了Vanilla Attention以外，還有一些變種的Attention，如：
1. Scaled Dot-Product Attention：在計算注意力權(quán)重時，將query和key的點積除以scaled factor，從而使得注意力權(quán)重能夠在不同的scale下進(jìn)行計算。
2. Additive Attention：計算query和key的點積然后加上一個偏置項，從而得到注意力權(quán)重。
3. Location-Based Attention：引入一個位置編碼，使得模型能夠更好地關(guān)注到序列中的特定位置的元素。
這些變種相對Vanilla Attention的改進(jìn)是：
1. Scaled Dot-Product Attention：解決了在計算注意力權(quán)重時可能出現(xiàn)的梯度消失或爆炸問題。
2. Additive Attention：同樣解決了可能出現(xiàn)的梯度消失或爆炸問題，同時提高了模型的性能。
3. Location-Based Attention：解決了在處理序列數(shù)據(jù)時，模型無法很好地處理序列中的位置信息的問題。
- 你認(rèn)為Attention的缺點和不足是什么？
1. 計算復(fù)雜度較高：Attention機(jī)制在計算注意力權(quán)重時需要進(jìn)行復(fù)雜的矩陣運(yùn)算，這可能會導(dǎo)致計算復(fù)雜度較高，從而影響模型的性能。
2. 可能過擬合：如果Attention機(jī)制的參數(shù)過多，可能會導(dǎo)致模型過擬合，從而影響模型的性能。
3. 無法處理序列中各部分的順序問題：Attention機(jī)制主要關(guān)注的是序列中的每一個部分（token/patch）間的關(guān)系，而無法處理它們間的順序問題。
- 你怎么理解Deep Learning的Deep？現(xiàn)在代碼里只有一個Attention，多疊加幾個效果會好嗎？
Deep Learning的Deep是指在模型中包含多層神經(jīng)網(wǎng)絡(luò)，通過多層神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行抽象和特征提取，從而提高模型的性能。在代碼中疊加多個Attention，可以使得模型能夠更好地關(guān)注到序列中的不同特征，提高模型的性能。但是，如果Attention層數(shù)過多，可能會導(dǎo)致模型過擬合，從而影響模型的性能。因此，在設(shè)計模型架構(gòu)時，需要根據(jù)具體任務(wù)和數(shù)據(jù)集來選擇合適的Attention層數(shù)。
- DeepLearning中Deep和Wide分別有什么作用，設(shè)計模型架構(gòu)時應(yīng)怎么考慮？
在DeepLearning中，Deep和Wide分別指深度學(xué)習(xí)和廣度學(xué)習(xí)。深度學(xué)習(xí)主要關(guān)注模型在特征空間中的抽象能力，而廣度學(xué)習(xí)主要關(guān)注模型在特征空間中的覆蓋范圍。在設(shè)計模型架構(gòu)時，需要根據(jù)具體任務(wù)和數(shù)據(jù)集來選擇合適的模型結(jié)構(gòu)，從而達(dá)到更好的性能。
LLM
- 你怎么理解Tokenize？你知道幾種Tokenize方式，它們有什么區(qū)別？
- 你覺得一個理想的Tokenizer模型應(yīng)該具備哪些特點？
- Tokenizer中有一些特殊Token，比如開始和結(jié)束標(biāo)記，你覺得它們的作用是什么？我們?yōu)槭裁床荒芡ㄟ^模型自動學(xué)習(xí)到開始和結(jié)束標(biāo)記？
- 為什么LLM都是Decoder-Only的？
- RMSNorm的作用是什么，和LayerNorm有什么不同？為什么不用LayerNorm？
- LLM中的殘差連接體現(xiàn)在哪里？為什么用殘差連接？
- PreNormalization和PostNormalization會對模型有什么影響？為什么現(xiàn)在LLM都用PreNormalization？
- FFN為什么先擴(kuò)大后縮小，它們的作用分別是什么？
- 為什么LLM需要位置編碼？你了解幾種位置編碼方案？
- 為什么RoPE能從眾多位置編碼中脫穎而出？它主要做了哪些改進(jìn)？
- 如果讓你設(shè)計一種位置編碼方案，你會考慮哪些因素？
- 請你將《LLM部分》中的一些設(shè)計（如RMSNorm）加入到《Self-Attention部分》的模型設(shè)計中，看看能否提升效果？
