1.引言 為什么要并行 近幾年，依賴大規(guī)模標注數(shù)據(jù)和大量的可學習參數(shù)，深度神經(jīng)網(wǎng)絡(luò)才能異軍突起，占得機器學習半壁江山。然而，也是因為這兩點使得深度學習的訓練變得極其困難，尤其...
發(fā)簡信
IP屬地：上海
-
GPU卡的底層通信原理 -
閱讀筆記-Less is More: Focus Attention for Efficient DETR論文鏈接： 代碼鏈接： 1.動機 本文主要針對的是DETR類方法過高的計算復雜度問題，具體而言是encoder中所有的位置都作為key帶來的高計算代價。針對該問題，目前已經(jīng)有...
-
嗯，這么說是有道理的。作者認為low-level更關(guān)注局部信息，所以使用了vanilla attention，劃分block也符合local的目標。
閱讀筆記 - The Devil in Linear Transformer
來源：https://www.researchgate.net/publication/364419868_The_Devil_in_Linear_Transformer[h...
-
閱讀筆記-NVAutoNet: Fast and Accurate 360 3D Perception for Self-Driving論文鏈接：https://arxiv.org/pdf/2303.12976.pdf[https://arxiv.org/pdf/2303.12976.pdf] 1. 動機和貢...
-
閱讀筆記-Image as Set of Points論文鏈接：https://arxiv.org/pdf/2303.01494.pdf[https://arxiv.org/pdf/2303.01494.pdf]項目鏈接：htt...
-
閱讀筆記- MetaFormer Baseline for Vision源碼地址：https://github.com/sail-sg/metaformer[https://github.com/sail-sg/metaformer] 1. 動機...
-
閱讀筆記- Spatial DETR: Robust Scalable Transformer-Based 3D Object Detection from Multi-view Camera ...來源：https://markus-enzweiler.de/downloads/publications/ECCV2022-spatial_detr.pdf[https:/...
-
-
閱讀筆記- Li3DeTr: A LiDAR based 3D Detection Transformer這篇文章整體沒什么好說的，只是將Deformable DETR應(yīng)用到了LiDAR 3D檢測任務(wù)上，所以我們這里看一下其細節(jié)部分就行。 1. 方法 下圖是Li3DeTr 的整體...
-
閱讀筆記-Transformer Quality in Linear Time這篇文章的目的是為了解決transformer 處理長序列任務(wù)遇到的計算復雜度較高的問題。為了解決這個問題，許多工作聚焦于探索更有效的注意力機制，比如linear atten...
-
閱讀筆記 - The Devil in Linear Transformer來源：https://www.researchgate.net/publication/364419868_The_Devil_in_Linear_Transformer[h...
-
元素之前的關(guān)系更多的是指特征上的關(guān)系，因為是內(nèi)積關(guān)系可以理解為相似度。pos embed主要是用來保證transformer中的排列可變性，但大多數(shù)方法中將表觀特征與位置特征直接疊加，所以算內(nèi)積時也會有位置嵌入的相似度
閱讀筆記-Deformable DETR: Deformable transformers for end-to-end object detection
作者團隊：商湯，中科大，港中文來源：arXiv:2010.04159v2代碼：https://github.com/fundamentalvision/Deformable-...
-
@喜歡沈倦 需要執(zhí)行以下 models/ops/ 下面的make.sh, 編譯安裝
代碼閱讀-deformable DETR （三）
這一篇我們來分析一下將 multi-scale deformable attention 取代self-attention的transformer的構(gòu)造。 首先來看一下編碼器...
