還有那個Masked Multi-Head Attention 中，這個Mask的作用能具體說一下么，是怎么消除右側單詞對當前單詞的影響的么？謝謝
論文筆記：Attention is all you need今天做完深度學習的論文分享，將這篇論文記錄下來，以便日后回顧查看。PS:簡書不支持 MathJax 編輯公式，簡直悲傷的想哭泣，之后再上傳到farbox上好啦??論文原文：At...
發(fā)簡信
IP屬地：貴州
-
-
問一下，Multi-head Attention 中Linear的作用是什么呢？我看別的解釋說Linear和split的作用是一樣的，都是用來將Q,K,V來降維的，請問是這樣的么
論文筆記：Attention is all you need
今天做完深度學習的論文分享，將這篇論文記錄下來，以便日后回顧查看。PS:簡書不支持 MathJax 編輯公式，簡直悲傷的想哭泣，之后再上傳到farbox上好啦??論文原文：At...
-
《知了》專題大到包羅IT業(yè)及互聯(lián)網(wǎng)的大情小態(tài)，小到收羅便利的工具和應用，準則是“用大腦思考、用良心釀字、用簡單邏輯表述、用誠意篩選”，如此，大家安好！缺陷是專題非“技術流”，那些純程序員才能讀懂的文章，由于本專題無把關能力，暫不收錄。如果愿意共同營造一個小天地，歡迎共同編輯，也歡迎投稿！謝謝?。ㄕ緝嚷?lián)系?。?/div>提醒：投稿以前請先看一下下方的《投稿須知》：http://www.itdecent.cn/p/69ad6b819a3b 最有思想，最深刻，最有價值，最有腔調。盡在《有意思的文章》！ 隨便看篇好文試試：http://www.itdecent.cn/collection/c3eced01da7e/r如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術干貨、項目經驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關技術文章，但不限于技術，也可以是項目經驗類的文章和程序員日常。 2.文章內不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數(shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關的內容不收錄，請確認文章內容和本專題相關 目前針對優(yōu)質作者及愛好者，開設了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內容，收獲知識。添加微信時備注昵稱。故事專題，不論是旅行生活中親身經歷的真實故事，還是童話玄幻遐想的虛構故事，這里記錄你的每個故事。 歡迎向我們投稿你的故事！ 所投稿件必須是一個完整的故事，故事包括但不限于：小說、世間故事、敘事散文、以敘事為主的回憶錄…… 投稿前，請閱讀最有趣的投稿指南： http://www.itdecent.cn/p/9da8500a57f0 投稿須知： 1.建議題材：有情節(jié)的小說、身邊的故事、敘事游記、以敘事為主的回憶錄、職業(yè)故事等。 2.不建議題材：連載、只有大道理的雞湯、成功學、工具文、詩歌、觀點時評類文章等。 3.文章在一千字以上，排版合理，不影響閱讀體驗。 4.禁止外鏈宣傳。不得有個人微信、微信公眾號、微博、豆瓣鏈接。 專題主編：似舞 http://www.itdecent.cn/u/021585ebd561 目前【故事】專題已建有專題社群，私信主編暗號“我愛故事”，即可獲得入群鏈接。任何投稿疑惑，寫作問題，感情困難，都可以進群進行申訴，會有專人解決你的問題。Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產品極客體驗分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學習，添加時備注簡書ID。
