驗(yàn)證碼識(shí)別，嘗試破解一個(gè)真實(shí)第三方網(wǎng)站的驗(yàn)證碼
目標(biāo)：
獵聘網(wǎng)的驗(yàn)證碼：wget https://passport.liepin.com/captcha/randomcode -O 001.jpg
參考Baseline：
https://blog.csdn.net/c2a2o2/article/details/75844775 //有g(shù)ithub開(kāi)源，貌似不錯(cuò)
過(guò)程記錄：
baseline版本是在運(yùn)行時(shí)動(dòng)態(tài)生成train和val數(shù)據(jù)的，這種方式必須事先知道test數(shù)據(jù)的字庫(kù)等信息，不太具有實(shí)踐意義，所以增加了能從文件讀取train和val數(shù)據(jù)的功能
增加 test數(shù)據(jù)自動(dòng)縮放的功能，這樣無(wú)論在訓(xùn)練/驗(yàn)證/測(cè)試過(guò)程都是保持統(tǒng)一的height，比較實(shí)用。 統(tǒng)一的height是因?yàn)?num_feature = height * channel，目前都轉(zhuǎn)成灰度的了channel=1
把默認(rèn)圖片格式png 改成支持和默認(rèn)圖片格式為 jpg，更實(shí)用一些
發(fā)現(xiàn)運(yùn)行時(shí)動(dòng)態(tài)生成數(shù)據(jù)的方式往往比讀如文件的方式要效果好，猜測(cè)可能是兩個(gè)原因：
a. 運(yùn)行時(shí)動(dòng)態(tài)生成的train 和 val數(shù)據(jù)，隨機(jī)性更大，更利于深度學(xué)習(xí)？
b. 運(yùn)行時(shí)動(dòng)態(tài)生成的train 和 val數(shù)據(jù)，都是png格式，用png格式訓(xùn)練的模型效果更好？設(shè)計(jì)方法驗(yàn)證上一個(gè)問(wèn)題： “從隨機(jī)生成的jpg圖片讀取并訓(xùn)練” 和 “直接動(dòng)態(tài)生成訓(xùn)練數(shù)據(jù)”，保持同樣的數(shù)據(jù)量進(jìn)行訓(xùn)練（即 為了排除所謂的“隨機(jī)性更大“），然后在同一份jpg格式驗(yàn)證集上對(duì)比效果。
結(jié)果是： 印證了上述 b 是真正原因：讀取jpg文件的方式?jīng)]有直接fly生成train樣本（默認(rèn)是PNG格式）效果好。
讀取jpg文件的：
00000002_tZXBdv.jpg cost time: 0.786,
res: tZXBdv
00000003_7zVRNT.jpg cost time: 0.068,
res: 7zVRNT
00000001_ZLS9GY.jpg cost time: 0.066,
res: zlS9GY
00000009_jQyqBE.jpg cost time: 0.068,
res: jQyqE
00000007_uu5J.jpg cost time: 0.077,
res: u5J
00000008_qL8G.jpg cost time: 0.085,
res: qL8G
00000004_hc2UHX.jpg cost time: 0.091,
res: hc2UHX
00000006_48Ued.jpg cost time: 0.098,
res: 48Ued
00000000_oziN.jpg cost time: 0.094,
res: oZN
00000005_xRrWK.jpg cost time: 0.088,
res: XRrWK
00000010_7HEP.jpg cost time: 0.148, // 這是個(gè)非同類(lèi)的圖片，可不算數(shù)
res: Jj
total acc:5/11=0.4545
直接生成訓(xùn)練樣本的：
00000002_tZXBdv.jpg cost time: 0.748,
res: tZxBdv
00000003_7zVRNT.jpg cost time: 0.073,
res: 7zVRNT
00000001_ZLS9GY.jpg cost time: 0.067,
res: zls9GY
00000009_jQyqBE.jpg cost time: 0.096,
res: jQyqBE
00000007_uu5J.jpg cost time: 0.083,
res: uu5J
00000008_qL8G.jpg cost time: 0.078,
res: qL8G
00000004_hc2UHX.jpg cost time: 0.073,
res: hc2UHX
00000006_48Ued.jpg cost time: 0.085,
res: 48Ued
00000000_oziN.jpg cost time: 0.076,
res: oziN
00000005_xRrWK.jpg cost time: 0.065,
res: xRrWK
00000010_7HEP.jpg cost time: 0.151, // 這是個(gè)非同類(lèi)的圖片，可不算數(shù)
res: 5hib
total acc:8/11=0.7273
- 在多次試驗(yàn)的情況下，有一些心得：
- train時(shí)候越隨機(jī) 越好， 換句話(huà)說(shuō)：如果樣本少而輪次再多也沒(méi)用，表現(xiàn)就是 loss降得很低了但在驗(yàn)證集上準(zhǔn)確率卻很低，通俗理解就是并未發(fā)現(xiàn)普適規(guī)律而只是在train上過(guò)擬合了
- train的時(shí)候準(zhǔn)確率是有突變的情況（不僅僅是因?yàn)椤耙粋€(gè)sample里幾個(gè)字符全對(duì)才算對(duì)“的原因，因?yàn)橥蛔兊脤?shí)在嚇人)， 看如下這連續(xù)3個(gè)100次迭代：
seq 0: origin: [6, 15, 23, 6] decoded:[6, 15, 6]
seq 1: origin: [19, 28, 25, 35] decoded:[19, 26, 28]
seq 2: origin: [32, 27, 33, 9] decoded:[32, 33, 9]
seq 3: origin: [30, 34, 17, 17] decoded:[8, 13, 17]
seq 4: origin: [24, 26, 29, 24] decoded:[24, 29, 33]
accuracy: 0.00000
seq 0: origin: [6, 34, 18, 13] decoded:[29, 34, 13]
seq 1: origin: [36, 15, 32, 6] decoded:[36, 15, 6]
seq 2: origin: [16, 21, 2, 15] decoded:[16, 21, 15]
seq 3: origin: [29, 30, 11, 30] decoded:[29, 11, 30]
seq 4: origin: [10, 34, 26, 2] decoded:[10, 26, 34]
accuracy: 0.03125
seq 0: origin: [20, 5, 3, 28] decoded:[20, 5, 3, 28]
seq 1: origin: [3, 8, 20, 8] decoded:[3, 8, 20, 8]
seq 2: origin: [10, 25, 32, 28] decoded:[10, 25, 32, 28]
seq 3: origin: [2, 28, 26, 27] decoded:[2, 28, 26, 27]
seq 4: origin: [2, 33, 35, 18] decoded:[2, 33, 35, 18]
accuracy: 0.68750
- 驗(yàn)證集上accurancy 從0到非零的突變一般發(fā)生在 train上loss到（NUM_CLASS / 字符數(shù)）左右時(shí)，如果loss是ppx的話(huà) 這很容易理解。
- loss持續(xù)降但accurancy徘徊上不去了，就是 學(xué)的情況還不夠全（很可能數(shù)據(jù)多樣性不夠，或多樣性夠但模型care得不夠細(xì)），達(dá)不到舉一反三，要注意train與val數(shù)據(jù)不一致，注意過(guò)擬合。
- 如果 loss不降，不管accurancy在改進(jìn)與否，都說(shuō)明模型或算法壓根兒就不對(duì)，沒(méi)有 “執(zhí)行力”。說(shuō)明取的特征和目標(biāo)函數(shù)之間本來(lái)就沒(méi)有相關(guān)或者模型嘗試尋找的手段不對(duì)
在網(wǎng)上找個(gè)數(shù)據(jù)集試試： 在 這個(gè)type2數(shù)據(jù)集上（http://www.pkbigdata.com/common/cmpt/%E9%AA%8C%E8%AF%81%E7%A0%81%E8%AF%86%E5%88%AB%E7%AB%9E%E8%B5%9B_%E8%B5%9B%E4%BD%93%E4%B8%8E%E6%95%B0%E6%8D%AE.html），稍微跑一下就到100%準(zhǔn)確率了。這個(gè)賽事已經(jīng)close了，如此之簡(jiǎn)單么？疑惑。
增加了export的功能，并寫(xiě)了client，以便通過(guò)TFServing對(duì)外提供服務(wù)。這基本參考之前折騰TFServing時(shí)的Sample改的，問(wèn)題不多。有一點(diǎn)注意的就是應(yīng)該在test完后export， 不需要在train后就export，否則export出來(lái)的文件里會(huì)包含一些train才用到的東西（比如 warp-ctc）就比較麻煩。
回到目標(biāo)上，因?yàn)楂C聘網(wǎng)的圖片下載下來(lái)還需要人工標(biāo)記，一時(shí)半會(huì)兒并不能拿到太多訓(xùn)練數(shù)據(jù)； 而且它的生成方法及字庫(kù)也看不出來(lái)，不好直接模擬訓(xùn)練數(shù)據(jù)。 怎么辦？
- 直接用別的數(shù)據(jù)上訓(xùn)練很好的模型？ --別開(kāi)玩笑，絕對(duì)不行：
Restoring from /home/ML/image/lstm_ctc_ocr/output/lstm_ctc/lstm_ctc_iter_10000.ckpt... done
0_7HEP.jpg cost time: 0.723,
res: 53
10_DZHD.jpg cost time: 0.054,
res: IA
11_KFBA.jpg cost time: 0.060,
res: 5
12_9T8Y.jpg cost time: 0.061,
res: 68
13_NEYH.jpg cost time: 0.062,
res:
14_989X.jpg cost time: 0.051,
res: S
15_EA5P.jpg cost time: 0.052,
res: L
16_UVZA.jpg cost time: 0.053,
res: U3
17_758N.jpg cost time: 0.052,
res: 56
18_ZYC5.jpg cost time: 0.054,
res: I
19_D8DN.jpg cost time: 0.051,
res: I5
total acc:0/11=0.0000
- 在通用的數(shù)據(jù)訓(xùn)練出的模型上，增加少量目標(biāo)圖片進(jìn)行加強(qiáng)訓(xùn)練，不知道是否有效？ Let's Try.
沒(méi)有用，loss很快就降低，然后就沒(méi)法繼續(xù)降下去了，accurancy持續(xù)上不去（因?yàn)閿?shù)據(jù)集小，很快過(guò)擬合，即train中的滾瓜爛熟但val中卻有一些壓根兒不懂， 所以如此）
seq 0: origin: [31, 32, 36, 11] decoded:[31, 10, 34]
seq 1: origin: [14, 9, 14, 24] decoded:[14, 12, 18, 24]
seq 2: origin: [8, 6, 9, 24] decoded:[8, 6, 14, 24]
seq 3: origin: [14, 36, 18, 14] decoded:[14, 11, 12, 1]
seq 4: origin: [36, 35, 13, 6] decoded:[36, 8, 13, 6]
accuracy: 0.00000
loss: 0.014991194 Wrote snapshot to: /home/ML/image/lstm_ctc_ocr/output/lstm_ctc/lstm_ctc_iter_2.ckpt
seq 0: origin: [10, 9, 10, 34] decoded:[10, 12]
seq 1: origin: [21, 16, 12, 11] decoded:[21, 18, 6, 11]
seq 2: origin: [8, 6, 9, 24] decoded:[8, 6, 14]
seq 3: origin: [24, 15, 35, 18] decoded:[24, 21, 32]
seq 4: origin: [15, 11, 6, 26] decoded:[15, 8]
accuracy: 0.00000
不信你看看在train上的結(jié)果 和 在test上的結(jié)果對(duì)比：
59_UXD7.jpg cost time: 0.057,
res: UXD7
61_C2HY.jpg cost time: 0.058,
res: C2HY
63_FYVH.jpg cost time: 0.065,
res: FYVH
88_8ZE8.jpg cost time: 0.071,
res: 8ZE8
97_75UN.jpg cost time: 0.065,
res: 75UN
total acc:90/90=1.0000
0_7HEP.jpg cost time: 0.705,
res: 7EB
10_DZHD.jpg cost time: 0.052,
res: DZ5U
11_KFBA.jpg cost time: 0.065,
res: KH5A
12_9T8Y.jpg cost time: 0.051,
res: 8THF
13_NEYH.jpg cost time: 0.054,
res: NKV
14_989X.jpg cost time: 0.051,
res: 987
15_EA5P.jpg cost time: 0.055,
res: E7
16_UVZA.jpg cost time: 0.052,
res: U9A
17_758N.jpg cost time: 0.060,
res: 75DN
18_ZYC5.jpg cost time: 0.053,
res: ZYC5
19_D8DN.jpg cost time: 0.058,
res: D8K
total acc:1/11=0.0909
- 所以沒(méi)什么取巧辦法，還是多取與目標(biāo)的同類(lèi)數(shù)據(jù)才有用，取到多少為止呢？試試～
- 190個(gè)增強(qiáng)train還是不行：
0_7HEP.jpg cost time: 0.678,
res: 7E3
10_DZHD.jpg cost time: 0.055,
res: D5D
11_KFBA.jpg cost time: 0.050,
res: K3A
12_9T8Y.jpg cost time: 0.052,
res: 9T
13_NEYH.jpg cost time: 0.050,
res: NEY
14_989X.jpg cost time: 0.055,
res: 9B9
15_EA5P.jpg cost time: 0.052,
res: E57
16_UVZA.jpg cost time: 0.054,
res: U9A
17_758N.jpg cost time: 0.051,
res: 75N
18_ZYC5.jpg cost time: 0.053,
res: ZYC5
19_D8DN.jpg cost time: 0.052,
res: D5N
total acc:1/11=0.0909
- 190個(gè)直接train試一下，也不行：
0_7HEP.jpg cost time: 0.706,
res: 7H9
10_DZHD.jpg cost time: 0.055,
res: D2H3
11_KFBA.jpg cost time: 0.048,
res: K8
12_9T8Y.jpg cost time: 0.051,
res: 9TY
13_NEYH.jpg cost time: 0.049,
res: NH
14_989X.jpg cost time: 0.051,
res: 98X
15_EA5P.jpg cost time: 0.050,
res: EAT
16_UVZA.jpg cost time: 0.052,
res: UA
17_758N.jpg cost time: 0.053,
res: 785U
18_ZYC5.jpg cost time: 0.051,
res: ZY8
19_D8DN.jpg cost time: 0.054,
res: D8N
total acc:0/11=0.0000
繼續(xù)自力更生數(shù)據(jù)吧，數(shù)據(jù)，數(shù)據(jù)。。。
- 490個(gè)增強(qiáng)train已經(jīng)像回事了：
0_7HEP.jpg cost time: 0.702,
res: 7HED
10_DZHD.jpg cost time: 0.053,
res: DZHD
11_KFBA.jpg cost time: 0.051,
res: KF8A
12_9T8Y.jpg cost time: 0.049,
res: 9T8Y
13_NEYH.jpg cost time: 0.048,
res: NEYH
14_989X.jpg cost time: 0.049,
res: 989X
15_EA5P.jpg cost time: 0.050,
res: EA5P
16_UVZA.jpg cost time: 0.052,
res: UVZA
17_758N.jpg cost time: 0.049,
res: 75N
18_ZYC5.jpg cost time: 0.050,
res: ZYC5
19_D8DN.jpg cost time: 0.051,
res: D8DN
total acc:8/11=0.7273
- 490個(gè)直接訓(xùn)的話(huà)，效果還是有差距的：
0_7HEP.jpg cost time: 0.682,
res: 7HE9
10_DZHD.jpg cost time: 0.052,
res: DZHD
11_KFBA.jpg cost time: 0.051,
res: KA
12_9T8Y.jpg cost time: 0.048,
res: 9Y
13_NEYH.jpg cost time: 0.050,
res: NEYH
14_989X.jpg cost time: 0.052,
res: 989X
15_EA5P.jpg cost time: 0.050,
res: EA5P
16_UVZA.jpg cost time: 0.049,
res: UVA
17_758N.jpg cost time: 0.049,
res: 7CN
18_ZYC5.jpg cost time: 0.051,
res: ZYC5
19_D8DN.jpg cost time: 0.050,
res: D5N
total acc:5/11=0.4545
- 再加200條訓(xùn)練數(shù)據(jù)試試
--- 沒(méi)效果了，居然會(huì)更差，說(shuō)明目標(biāo)數(shù)據(jù)質(zhì)量不好的話(huà)，越多還噪聲越大。
0_7HEP.jpg cost time: 0.649,
res: 7HED
10_DZHD.jpg cost time: 0.057,
res: DZHD
11_KFBA.jpg cost time: 0.057,
res: KA
12_9T8Y.jpg cost time: 0.060,
res: 9T6Y
13_NEYH.jpg cost time: 0.061,
res: NEY3
14_989X.jpg cost time: 0.064,
res: 989X
15_EA5P.jpg cost time: 0.077,
res: EA5P
16_UVZA.jpg cost time: 0.089,
res: UVZA
17_758N.jpg cost time: 0.093,
res: 75BN
18_ZYC5.jpg cost time: 0.088,
res: ZYC5
19_D8DN.jpg cost time: 0.094,
res: D5DN
total acc:5/11=0.4545
- 偶然發(fā)現(xiàn)更簡(jiǎn)單的驗(yàn)證碼網(wǎng)站，準(zhǔn)確率應(yīng)該能高一些吧？
就是 CSDN的驗(yàn)證碼：https://passport.csdn.net/ajax/verifyhandler.ashx
- 用了500個(gè)數(shù)據(jù)，直接訓(xùn)完全不行。。。
-
先用自動(dòng)生成的數(shù)據(jù)訓(xùn)一個(gè)base，再用這500增強(qiáng)訓(xùn)，收斂速度和效果都好得不要不要的。。。
90_WFPIp.jpg cost time: 0.794,
res: WFPIp
91_ptyAB.jpg cost time: 0.083,
res: ptyAB
92_NI3kj.jpg cost time: 0.105,
res: NI3kj
93_oLQHj.jpg cost time: 0.118,
res: oLQHj
94_4Nd2H.jpg cost time: 0.118,
res: 4Nd2H
95_q6hJ8.jpg cost time: 0.121,
res: q6hJ8
96_AB6yU.jpg cost time: 0.122,
res: AB6yU
97_Hqtfk.jpg cost time: 0.112,
res: Hqtfk
98_8Ixy6.jpg cost time: 0.083,
res: 8Ixy6
99_X6W2P.jpg cost time: 0.068,
res: X6W2P
total acc:10/10=1.0000
- 再看看具體網(wǎng)絡(luò)吧，總有人喜歡面試問(wèn)這個(gè)，目前我覺(jué)得基本都是抄來(lái)抄去的，鮮有大牛研究者；記這好像沒(méi)啥用吧？
（self.feed('data')
.conv_single(3, 3, 64 ,1, 1, name='conv1',c_i=cfg.NCHANNELS)
.max_pool(2, 2, 2, 2, padding='VALID', name='pool1')
.conv_single(3, 3, 128 ,1, 1, name='conv2')
.max_pool(2, 2, 2, 2, padding='VALID', name='pool2')
.conv_single(3, 3, 256 ,1, 1, name='conv3_1')
.conv_single(3, 3, 256 ,1, 1, name='conv3_2')
.max_pool(1, 2, 1, 2, padding='VALID', name='pool2')
.conv_single(3, 3, 512 ,1, 1, name='conv4_1', bn=True)
.conv_single(3, 3, 512 ,1, 1, name='conv4_2', bn=True)
.max_pool(1, 2, 1, 2, padding='VALID', name='pool3')
.conv_single(2, 2, 512 ,1, 1, padding = 'VALID', name='conv5', relu=False)
#.dropout(keep_prob = self.keep_prob, name = 'dropout_layer')
.reshape_squeeze_layer(d = 512 , name='reshaped_layer'))
(self.feed('reshaped_layer','time_step_len')
.bi_lstm(cfg.TRAIN.NUM_HID,cfg.TRAIN.NUM_LAYERS,name='logits'))