這篇文章應(yīng)該是過年前寫的最后一篇，寫的緣由是年前這幾個(gè)月，在對(duì)深度學(xué)習(xí)調(diào)參過程和現(xiàn)在過年算法招聘市場的一些思考，同樣也是對(duì)今后的展望。
深度學(xué)習(xí)模型
最近做的一個(gè)項(xiàng)目是，將表格（單元格）內(nèi)文本，通過模型的方式合并起來。之前一直是通過一些矢量規(guī)則做的合并，但是矢量規(guī)則很早就遇到了瓶頸（無線表格沒有明顯的邊界），繼續(xù)做下去無非是加更多的if else，打更多的補(bǔ)丁，所以想著能否用模型一把梭。思路就是，因?yàn)槔玫囊?guī)則，都是用的一些空間屬性，比如說文本對(duì)其，文本字號(hào)大小，并沒有考慮語義特征，就是換行的兩個(gè)文本，連起來是否可以形成一個(gè)通順的短語。
嘗試了很多種模型結(jié)構(gòu)：單獨(dú)的RNN和CNN，CRNN，RNN-CRF，CNN-CRF，CRNN-CRF，基于Attention-base的seq2seq等等。
在使用這些模型的過程中，以及在看最近的新模型的時(shí)候，發(fā)現(xiàn)一個(gè)事實(shí)：深度學(xué)習(xí)一直都在炒現(xiàn)飯，所有的進(jìn)步都是在這碗現(xiàn)飯加入了更多的材料和佐料。
不得不承認(rèn)，深度學(xué)習(xí)的火熱，確實(shí)實(shí)現(xiàn)了一些amazing的工作，但是深度學(xué)習(xí)的模型有本質(zhì)的進(jìn)步嗎？
并沒有，現(xiàn)在所有的模型，都只算是基礎(chǔ)模型的變種，但是本質(zhì)還是cnn和rnn的組合，然后加入各種機(jī)制和trick。
在學(xué)術(shù)界，人們還是在樂此不疲的提出不同的變種。所以我這里做一個(gè)大膽的預(yù)言，如果沒有重大突破，深度學(xué)習(xí)肯定會(huì)有瓶頸。
這種突破可以是什么呢？我覺得主要是以下兩個(gè)方面：
- 發(fā)生質(zhì)變的計(jì)算能力。深度學(xué)習(xí)的大火就是因?yàn)?2年GPU的推出，將計(jì)算機(jī)的計(jì)算能力提高到了一個(gè)新的高度，如果以后出現(xiàn)了更強(qiáng)大的計(jì)算設(shè)備，那么以現(xiàn)有的模型發(fā)生突破還是有可能的；
- 基礎(chǔ)模型的進(jìn)化。之前Hinton巨神提出的capsule提出了一種新的可能性。如果以后某位巨神找到了新的基礎(chǔ)模型吊打cnn和rnn，那么將會(huì)引起一個(gè)新的浪潮；
深度學(xué)習(xí)（機(jī)器學(xué)習(xí)）的市場
這幾個(gè)月所做的工作就是反復(fù)的檢查數(shù)據(jù)，調(diào)整參數(shù)，檢查數(shù)據(jù)，調(diào)整參數(shù)。而現(xiàn)在絕大部分的“深度學(xué)習(xí)工程師”，大部分時(shí)間都是在做以上工作。
但是這些工作對(duì)于公司來說，對(duì)于市場來說都是有意義的嗎？（有意義指的的是產(chǎn)出）
為了有一個(gè)直觀的感受，我把最近Google提出號(hào)稱很難突破的BERT模型在NLP各個(gè)任務(wù)下的準(zhǔn)確率圖放出來
這些數(shù)值代表著不同模型在不同任務(wù)下的準(zhǔn)確率。平均準(zhǔn)確率最高的就是BERT的large版本，但是這個(gè)號(hào)稱“有里程碑意義”的模型，最高只有81.9%。
另外，更重要的是，訓(xùn)練一次BERT模型要花多少錢：
- For TPU pods:
- 4 TPUs = $2/hr * 24 h/day * 4 days = $768 (base model)
- 16 TPUs = $3k (large model)
- For TPU:
- 16 tpus = $8/hr * 24 h/day * 4 days = 12k
- 64 tpus = $8/hr * 24 h/day * 4 days = 50k
就是說訓(xùn)練一次BERT-large需要50k，還是$，誰玩的起？
16-17年，AI市場迎來了巨大的投資浪潮，無數(shù)熱錢涌向這個(gè)行業(yè)，18年，錢都燒光了，有多少公司能活著。說到底，以現(xiàn)在的技術(shù)水平，能將深度學(xué)習(xí)落地的項(xiàng)目很少。
然而現(xiàn)在國內(nèi)的技術(shù)崗的招聘市場大家也看到了，一地雞毛。加上16年，AI概念被炒起來，那些勸退專業(yè)（機(jī)械，電子，生物，化學(xué)等）的學(xué)生，都在那個(gè)時(shí)候轉(zhuǎn)去讀CS的研究生，差不多該畢業(yè)出來找工作了，今后AI學(xué)生軍只會(huì)更多。
深度學(xué)習(xí)是一個(gè)跨時(shí)代的技術(shù)，但是在資本的侵染下，浪潮馬上就要退去。
到今天為止，我在知乎上獲得 872 次贊同，獲得 192 次感謝 ， 2,073 次收藏，549 關(guān)注。而其中絕大部分關(guān)注和點(diǎn)贊的原因是我介紹了我如何轉(zhuǎn)行做算法的轉(zhuǎn)行經(jīng)歷。
今天，我希望這篇文章，被那些因?yàn)榭吹轿肄D(zhuǎn)行做算法而關(guān)注我的人看到。我希望大家更理智的看待如今的算法招聘市場，因?yàn)樗惴ǖ牡投藦臉I(yè)者（煉丹師，調(diào)包俠，調(diào)參俠），只會(huì)越來越不好過，入行門檻只會(huì)越來越低，兩級(jí)分化會(huì)更嚴(yán)重。
所以，經(jīng)過這些思考，我明年決定往后端轉(zhuǎn)。由衷的慶幸自己選擇了算法入行，經(jīng)歷了一次時(shí)代的浪潮?，F(xiàn)在潮水退去，趁還沒被裹挾進(jìn)深海，上不了船的人，趕緊上岸才是求生的最好辦法吧。
