KL散度用來(lái)衡量?jī)蓚€(gè)概率分布之間的差異的量化方法，在機(jī)器學(xué)習(xí)領(lǐng)域，KL散度經(jīng)常被用來(lái)評(píng)估模型預(yù)測(cè)結(jié)果與真實(shí)結(jié)果相似程度?？梢酝ㄟ^(guò)計(jì)算兩個(gè)概率分布之間的交叉熵得到。在實(shí)際應(yīng)用中...
發(fā)簡(jiǎn)信
IP屬地：青海
-
KL散度(Kullback-Leibler divergence) -
歸納偏置Inductive BiasInductive Bias：在機(jī)器學(xué)習(xí)中，很多學(xué)習(xí)算法經(jīng)常會(huì)對(duì)學(xué)習(xí)的問(wèn)題做一些關(guān)于目標(biāo)函數(shù)的必要假設(shè)，稱為 歸納偏置 (Inductive Bias)。自然科學(xué)中常用的兩大...
-
Translation Invariance和Translation Equivariance
平移不變性translation invariance：對(duì)圖像分類任務(wù)來(lái)說(shuō)，圖像中的目標(biāo)不管被移動(dòng)到圖片的哪個(gè)位置，得到的結(jié)果（標(biāo)簽）應(yīng)該是相同的，這就是卷積神經(jīng)網(wǎng)絡(luò)中的平移...
-
前端中的Map和WeakMap
ES6提供的Map鍵值key不僅僅是字符串類型，可以是任意類型，如果Map的鍵是一個(gè)primitive，只要兩個(gè)鍵嚴(yán)格相同，就視為是同一個(gè)鍵。 Map有以下操作方法： map...
-
論文《Composing Text and Image for Image Retrieval - An Empirical Odyssey》的理解與復(fù)現(xiàn)（一）論文《Composing Text and Image for Image Retrieval - An Empirical Odyssey》的理解與復(fù)現(xiàn)（一） 去年只是精讀...
-
-
2022-08-07 深度學(xué)習(xí)Python筆記torch.utils.data.DataLoader依照mini batch方式取Dataset的數(shù)據(jù)時(shí)的邏輯 dataloader在取數(shù)據(jù)的時(shí)候，是一條一條取的，實(shí)際是調(diào)...
-
2022-08-02 深度學(xué)習(xí)Python筆記1. 計(jì)算A、B矩陣的歐式距離動(dòng)畫 轉(zhuǎn)載：https://blog.csdn.net/qq_38880969/article/details/115673641 2.torc...
-
2022-08-01 深度學(xué)習(xí)Python筆記張量除以張量T1/T2和Normalization 在做normalization過(guò)程中，張量除以另外一個(gè)張量就會(huì)用到。 假設(shè)我們有一個(gè)tensor size為[32, 51...
-
2022-07-30 深度學(xué)習(xí)Python筆記torch.nn.LSTM： 定義LSTM時(shí)的參數(shù)： input_size: “輸入數(shù)據(jù)的特征數(shù)目”（the number of expected features in t...
-
2022-07-29 深度學(xué)習(xí)Python筆記Transformer 是什么：仍是機(jī)器翻譯模型，基本構(gòu)成是Seq2Seq模型，但在各個(gè)方面都取得很好的效果。 傳統(tǒng)RNN網(wǎng)絡(luò)問(wèn)題： 1. 當(dāng)前X1需要用到前一個(gè)X0的隱藏特...
-
2022-07-28 深度學(xué)習(xí)Python筆記1.torch.stack((tuple), dim)：按照新的維度進(jìn)行張量的堆疊。 tuple:需要堆疊的張量，是一個(gè)tuple，如(t1, t2) dim:新維度，如di...
-
2022-07-22 深度學(xué)習(xí)Python筆記torch.nn.functional.avg_pool2d(...)與adaptive_avg_pool2d(...)： avg_pool2d(input, kernel_...
-
2022-07-19 深度學(xué)習(xí)Python筆記1. torch.norm(x, p=1, dim=0, keepdim=True)：求矩陣x或者向量x的范數(shù)。 x：輸入數(shù)據(jù)，矩陣或者向量，元素類型必須是float類型。 ...
-
2022-07-17 深度學(xué)習(xí)Python筆記 如何訓(xùn)練數(shù)據(jù)如何迭代數(shù)據(jù)集數(shù)據(jù)進(jìn)行訓(xùn)練 這個(gè)話題有點(diǎn)大，只是自己的一點(diǎn)點(diǎn)體會(huì)。自己的代碼是用的pytorch框架，如果是tensorflow可能不大一樣。 為了達(dá)到容易說(shuō)明的目的，我們可...
-
git命令使用簡(jiǎn)要1. 克隆遠(yuǎn)程倉(cāng)庫(kù)到本地: git clonehttps://github.com/durrenlee/deeplearning.git 從遠(yuǎn)程倉(cāng)庫(kù)的code下拉框中copy...
-
2022-07-09 深度學(xué)習(xí)Python筆記在昨晚的文章中 torchvision.transforms.Compose()[http://www.itdecent.cn/p/2d44138d511b]，提到如果你的...
-
2022-07-08 深度學(xué)習(xí)Python筆記
torchvision.transforms.Compose(): torchvision是torch中處理計(jì)算機(jī)視覺(jué)的工具包，主要包含torchvision.transfo...
-
2022-07-07 深度學(xué)習(xí)Python筆記如何解決報(bào)錯(cuò)信息：RuntimeError: Legacy autograd function with non-static forward method is depre...
-
2022-06-14 深度學(xué)習(xí)Python筆記
class.__call__(): Python若將一個(gè)類變?yōu)閏allable對(duì)象，需要實(shí)現(xiàn)__call__()方法，類似與其他語(yǔ)言的類的構(gòu)造器的重載： class Pers...