使用Transformers加載大模型， 并使用流式輸出進(jìn)行文本生成 使用Transformers加載大模型， 并使用流式輸出進(jìn)行對(duì)話(huà) 這種有簡(jiǎn)單的歷史對(duì)話(huà)功能 更完善的維護(hù)...
發(fā)簡(jiǎn)信
IP屬地：北京
-
大模型相關(guān)
-
強(qiáng)化學(xué)習(xí)一個(gè)強(qiáng)化學(xué)習(xí)的入門(mén)者，僅用于自己學(xué)習(xí)的記錄 強(qiáng)化學(xué)習(xí) OpenAI出品的強(qiáng)化學(xué)習(xí) (RL) 入門(mén)教程，Spinning Up[https://spinningup.opena...
-
讀書(shū)《新攝影筆記》取景 焦距 焦距（50mm, 70~200mm 等， 分為固定和可變焦距）決定我們的視角，確定取景的范圍。 焦距的數(shù)字越小表示焦距越短， 拍攝的視野越寬，取景范圍越廣。 一般...
-
一些數(shù)學(xué)知識(shí)的記錄機(jī)器學(xué)習(xí)菜鳥(niǎo)，記錄一些數(shù)學(xué)筆記，方便自己閱讀和理解。 期望E的下標(biāo) 地址一[https://www.zhihu.com/question/305642751/answer/1...
-
pytorch-lightning的一些記錄
收集每個(gè)GPU上的輸出在分布式訓(xùn)練時(shí)，每個(gè)GPU都會(huì)有一部分?jǐn)?shù)據(jù)，當(dāng)我們需要使用全部的數(shù)據(jù)進(jìn)行計(jì)算時(shí)，我們需要收集所有GPU的tensor。比如兩個(gè)GPU，第一個(gè)GPU有16...
-
機(jī)器學(xué)習(xí)一些代碼記錄計(jì)算多分類(lèi)時(shí)的每個(gè)類(lèi)別的F1 接口 示例： pytorch 使用K-折交叉驗(yàn)證 pytorch 使用K-折交叉驗(yàn)證[https://github.com/christianv...
-
pytorch的一些操作取出標(biāo)簽對(duì)應(yīng)的樣本特征 第一種操作 第二種操作 取出預(yù)測(cè)置信度大于預(yù)測(cè)置信度閾值的數(shù)據(jù) 取出預(yù)測(cè)置信度大于熵閾值的數(shù)據(jù) torch.Tensor.index_add_函數(shù) 用...
-
Slrum 分布式訓(xùn)練+提交作業(yè)
創(chuàng)建分布式+采樣 模型部署 由于模型已被包裝，這時(shí)候直接調(diào)用模型組件會(huì)報(bào)錯(cuò)，比如：model.fc， 會(huì)顯示沒(méi)有屬性， 因此一下操作 損失loss、 梯度和準(zhǔn)確度等整合。 由...
-
加載訓(xùn)練好的BERT參數(shù)
將預(yù)訓(xùn)練模型中的bert部分取出來(lái)加載上去 base_model = BaseModel(config)base_model_dict = base_model.state_...
-
Bert中transformers的一些問(wèn)題記錄
我覺(jué)得最詳細(xì)的就是這個(gè)：這里[https://www.cnblogs.com/dogecheng/p/11911909.html] dataset返回多模態(tài)信息 在處理個(gè)人數(shù)...
-
學(xué)習(xí)筆記：Numpy
np.array() numpy.array(object, dtype = None, copy = True, order = None, subok = False, ...
-
讀書(shū)筆記：《異類(lèi)》
羅塞托之謎 在美國(guó)來(lái)自于意大利羅塞托的居民，心臟病死亡率不到全美的一半，其自殺、犯罪率也很低，并且長(zhǎng)壽。 羅塞托人健康的秘訣不是飲食，不是鍛煉，也不是基因。羅塞托人健康的秘訣...
-
學(xué)習(xí)筆記：RNNRNN學(xué)習(xí)來(lái)源:劉二大人的視頻[https://www.bilibili.com/video/BV1Y7411d7Ys?p=12]。 卷積神經(jīng)網(wǎng)絡(luò)RNN RNNCell 是上...
-
學(xué)習(xí)筆記：CNN這是我看過(guò)講解CNN最詳細(xì)，最清楚的視頻，特色是理論和pytorch代碼相結(jié)合:劉二大人的視頻。 首先需要從整體上理解CNN網(wǎng)絡(luò) 圖像輸入計(jì)算機(jī)就是一個(gè)矩陣 將一個(gè)圖像(in...
-
self-attention（自注意力機(jī)制）計(jì)算過(guò)程感覺(jué)這個(gè)視頻講的特別清楚：第一節(jié)第二節(jié)所以做了這個(gè)圖記錄一下： 矩陣是我們需要學(xué)習(xí)的矩陣 的時(shí)候要除以，其中為向量維數(shù) 都是對(duì)向量的操作 最終的結(jié)果可以看做一個(gè)單詞在句子中的...
-
LSTM做詞性標(biāo)注
地址：https://github.com/fendouai/PyTorchDocs/blob/master/FifthSection/Sequence_and_LSTM_N...