TL;DR paper中的位置編碼定義可以直觀理解為 "鐘表盤上每個針頭的位置坐標(biāo)" 跟直接拿index作為位置編碼的方案相比，這種定義有兩個優(yōu)點(diǎn)可以使用不含bias的線性變...
發(fā)簡信
IP屬地：廣東
-
《十二時辰》教你直觀理解 Position-Encoding -
AI/NLP碼農(nóng)，喜歡折騰Python、全棧
TL;DR paper中的位置編碼定義可以直觀理解為 "鐘表盤上每個針頭的位置坐標(biāo)" 跟直接拿index作為位置編碼的方案相比，這種定義有兩個優(yōu)點(diǎn)可以使用不含bias的線性變...
