最近看了一篇最新的Sentence Embedding論文，今年4月份的，丹琦大神發(fā)表的《Simple Contrastive Learning of Sentence Em...
發(fā)簡信
IP屬地：上海
-
真正的利器：對比學(xué)習(xí)SimCSE -
如何解析圖片文字進行文本分析
最近工作中需要解析圖片中的文本信息，進行文本數(shù)據(jù)分析，首先需要提取圖片中的文字，解決方案如下： 1、需要安裝包 2、提取示例 3、可能遇到問題 pytesseract.pyt...
-
寫的不錯，點贊。
論文 | 《Deep Pyramid Convolutional Neural Networks for Text Categorization》DPCNN文本分類模型介紹
一 寫在前面 未經(jīng)允許，不得轉(zhuǎn)載，謝謝~~ 這篇主要是我這學(xué)期深度學(xué)習(xí)課程的作業(yè)，所以選了一篇NLP方向的簡單學(xué)習(xí)一下。接下來有時間的話再整理一篇關(guān)于用DPCNN模型在AG ...
-
序列標(biāo)注任務(wù)數(shù)據(jù)增強
在上一篇文章我們學(xué)習(xí)了基本的數(shù)據(jù)增強的 N 種方法，今天我們針對“序列標(biāo)注”任務(wù)具體聊一聊如何數(shù)據(jù)增強？“序列標(biāo)注”是一個 token-level 的分類任務(wù)，當(dāng)進行全局結(jié)構(gòu)...
-
Batch Normalization
機器學(xué)習(xí)領(lǐng)域有個很重要的假設(shè)：IID獨立同分布假設(shè)，就是假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是滿足相同分布的，這是通過訓(xùn)練數(shù)據(jù)獲得的模型能夠在測試集獲得好的效果的一個基本保障。而Batch...
-
自然語言處理之文本數(shù)據(jù)增強
什么是數(shù)據(jù)增強 數(shù)據(jù)增強可以簡單理解為由少量數(shù)據(jù)生成大量數(shù)據(jù)的過程。一般比較成功的神經(jīng)網(wǎng)絡(luò)擁有大量參數(shù)，使這些參數(shù)正確工作需要用大量的數(shù)據(jù)進行訓(xùn)練，但實際情況中數(shù)據(jù)并沒有那么...
-
NLP 預(yù)處理總結(jié)
在處理 NLP 相關(guān)任務(wù)的時候（文本分類、聚類，智能客服等），首要任務(wù)是對文本數(shù)據(jù)進行預(yù)處理。結(jié)合自己的實踐經(jīng)驗，總結(jié)了 N 條預(yù)處理的方法。 去掉一些無用的符號 文本中可能...
-
jieba 分詞原理
基本原理 基于前綴詞典實現(xiàn)高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構(gòu)成的有向無環(huán)圖 (DAG);用前綴字典實現(xiàn)了詞庫的存儲(即dict.txt文件中的內(nèi)容)，而棄用之...
-
Apriori 算法
問題引入 在常見的超市購物數(shù)據(jù)集，或者電商的網(wǎng)購數(shù)據(jù)集中，如果我們找到了頻繁出現(xiàn)的數(shù)據(jù)集，那么對于超市，我們可以優(yōu)化產(chǎn)品的位置擺放，對于電商，我們可以優(yōu)化商品所在的倉庫位置，...
