神經(jīng)網(wǎng)絡擁有很強的預測能力，但它們往往無法知道自己的預測何時可能出錯。與此密切相關的是out-of-distribution檢測任務，在這個任務中，模型必須確定輸入是否超出了...
發(fā)簡信
IP屬地：河南
-
learning confidence for out-of-distribution detection in neural networks
-
Graph Attention Networks作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio 來源： ICLR 2018 鏈接...
-
Adversarial Sampling for Active Learning介紹 我們使用一些傳統(tǒng)的監(jiān)督學習方法做分類的時候，往往是訓練樣本規(guī)模越大，分類的效果就越好。但是在現(xiàn)實生活的很多場景中，標記樣本的獲取是比較困難的，這需要領域內的專家來進行人...
-
Modeling Localness for Self-Attention Networks
這篇文章與Self-Attention with Relative Position Representations和Convolutional Self-Attention...
-
Deep contextualized word representations (ELMo)
Introduction 作者認為好的word representation模型應該同時兼顧兩個問題：一是詞語用法在語義和語法上的復雜特點；二是隨著語言環(huán)境的改變，這些用法也...
-
Deep Residual Learning for Image Recognition（ResNet，殘差網(wǎng)絡）
這篇文章雖然寫的是Image Recognition，但是它提出殘差網(wǎng)絡的思想在其他任務中也有很多應用，具有廣泛的借鑒意義。 背景 隨著網(wǎng)絡結構的加深，帶來了兩個問題：一是v...
-
Distributed Representations of Sentences and Documents這篇文章作者是word2vec的作者，主要做的工作是paragraph vector，就是把paragraph變成一個固定長度的向量。其中大量的思路借鑒與CBOW和Skip-...
-
Self-Attention with Relative Position Representations
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention with Relative Pos...
-
Convolutional Self-Attention Network
文章認為普通的attention存在以下兩個問題： 對整個序列使用加權和來計算注意力信息，會使相鄰token的注意力被削弱。舉個栗子：Amy eat a banana, an...
-
Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence Modeling文章的motivation是將soft attention和hard attention結合起來，使其保留二者的優(yōu)點，同時丟棄二者的缺點。具體地說，hard attentio...
-
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding文章主要介紹了兩種Multi-dimensional Self-Attention機制和Directional Self-Attention機制。在此基礎上設計了Direct...
-
Attention Mechanism
Attention 表示個輸入信息，給定任務相關的查詢向量時，注意力函數(shù)為:其中為score function，表示在查詢向量的注意力大小。 在絕大多數(shù)場景中，。 下表總結了...
-
自然語言處理中的詞表示詞表示是自然語言處理的基礎，一個好的詞向量在很大程度上決定了后續(xù)任務的上限。本文是我最近學習該部分內容的筆記，主要參照的是基于神經(jīng)網(wǎng)絡的詞和文檔語義向量表示方法研究一文，穿插...
-
從Logistic Regression到Neural NetworkLogistic Regression可能是絕大多數(shù)人入門分類所學到的第一個模型，我也不例外。Logistic Regression的函數(shù)空間由用下面模型來定義：下圖是一個L...
-
機器學習到底在干什么
從第一篇博文發(fā)出來之后，將近兩個月沒有寫博客了，這段時間我主要利用假期擼了一篇論文。這不昨天剛投到aaai2019，今天就更博了。我擼的那篇文章是關于attention機制的...