整了半天的latex表格，原來中間的間隔的豎直線修改下toprule,bottomrule,midrule，不要用hline就好了。
發(fā)簡信
IP屬地：北京
-
用python將excel的有效內(nèi)容+格式存儲成png圖像
轉(zhuǎn)載：https://www.cnblogs.com/cgmcoding/p/16517494.html[https://www.cnblogs.com/cgmcoding/...
-
不蠢不蠢~~有時候有些問題看似簡單但是會給人意想不到的啟發(fā)~加油朋友！
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓練下，因為用自己的服務(wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑?。≌娴暮芏嗫?，安裝...
-
不好意思最近忙都沒有登陸看，很開心能解決你的問題，跑起來你可以看官網(wǎng)里，有詳細的訓練方式，我的是用這個命令跑的：python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca' \
--batch_size 32 \
--micro_batch_size 4 \
--num_epochs 3 \
--learning_rate 1e-4 \
--cutoff_len 512 \
--val_set_size 2000 \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.05 \
--lora_target_modules '[q_proj,v_proj]' \
--train_on_inputs \
--group_by_length
因為我的GPU不夠大，我調(diào)整了batchsize，并且調(diào)整了源代碼里的部分，因為源代碼是128反向傳播一次，因此我設(shè)置了梯度累計，把我的32設(shè)置成4次誤差累加后再反向傳播，這樣就和源碼一致。
如果你的空間都合適的話，用這個代碼也行，python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca'
這個是可以直接跑的。歡迎隨時交流哈~Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓練下，因為用自己的服務(wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑??！真的很多坑，安裝...
-
CUDA out of memory
顯存不足的情況下，總結(jié)了以下幾種方法，任何情況都能用其中一個解決。 一、降低batch_size ，訓練時間就會長點，一般這個都能解決；二、在測試和驗證代碼中加入以下代碼： ...
-
給gpt喂自己的數(shù)據(jù)！
上一篇文章說完了安裝，這下我要喂自己的數(shù)據(jù)了。 1. 準備數(shù)據(jù) 首先要按照給的格式創(chuàng)建自己的json數(shù)據(jù)，這個比較好創(chuàng)建，之前沒用過json搜一下就行了。原文的格式如下： 這...
-
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓練下，因為用自己的服務(wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑?。≌娴暮芏嗫?，安裝...
-
-
Dijkstra最短路徑
回顧下最短路徑算法，感覺找了一堆沒有寫的特別簡單明了的，還是輾轉(zhuǎn)看了好幾個人的才找到一個寫的很清楚的，這里再總結(jié)一下方便以后自己回顧。 以上面的圖為例，找0到其他1-6個點的...
-
數(shù)組合并中符號的區(qū)別
記錄一波在使用python數(shù)組時候的一些特別之處，符號不同效果不同。目的是將兩個數(shù)據(jù)合成一個。1、[ ]的效果 可見用[dataset1,dataset2]合并的方法只是單純...
-
數(shù)學知識在實際中的意義在實驗中通常會自己設(shè)計損失函數(shù)、優(yōu)化函數(shù)等，通常會用到對數(shù)、分數(shù)、梯度等，不明白函數(shù)的實際意義在設(shè)計的時候就一臉懵，因此本文就幾種常見的函數(shù)進行實際意義的解釋，方便后期自身學...
-
2022-02-18
今天解決一個藍牙的問題搞了一下午，還以為是驅(qū)動各種問題，結(jié)果。。。解決方法令人震驚！問題：1、藍牙用著用著就消失了，無法使用；2、設(shè)備管理器里找不到藍牙；3、設(shè)置里找不到藍牙...
-
對抗網(wǎng)絡(luò)GANs介紹
原文出自：https://www.tmtpost.com/2609145.html，這里做個基本了解。 生成對抗網(wǎng)絡(luò)（Generative Adversarial Netwo...
-
pytorch中ipdb的調(diào)試功能
在pytorch中使用ipdb可以對程序?qū)崿F(xiàn)單步調(diào)試等，使用命令pip install ipdb安裝即可。在需要調(diào)試的代碼前面加上ipdb.set_trace()即可，當程序...
-
pytorch中多GPU并行設(shè)置
當使用GPU時，程序默認從device[0]開始運行，但是如果遇到第一塊就被占滿的情況，那么程序直接報錯GPU溢出，但其實第二塊第三塊空閑，因此可以通過設(shè)置GPU的Index...
-
pytorch中的自定義數(shù)據(jù)處理
pytorch在數(shù)據(jù)中采用Dataset的數(shù)據(jù)保存方式，需要繼承data.Dataset類，如果需要自己處理數(shù)據(jù)的話，需要實現(xiàn)兩個基本方法。：.getitem:返回一條數(shù)據(jù)或...
