花十分鐘,讓你變成AI產(chǎn)品經(jīng)理(附知識框架腦圖)


先說一下你閱讀本文可以得到什么。你能得到AI的理論知識框架;你能學習到如何成為一個AI產(chǎn)品經(jīng)理并且了解到AI產(chǎn)品經(jīng)理如何在工作中發(fā)揮作用,以及AI產(chǎn)品經(jīng)理需要從哪些方面鍛煉能力。最重要的是,通過本文,一切都特別快(手打滑稽)。

PS:目前只針對弱人工智能(我喜歡簡稱,此處我們簡稱為“弱智”)進行學習。


首先我們必須要掌握的是AI的專業(yè)知識框架,然后了解AI的市場情況,最后要明白AI產(chǎn)品經(jīng)理的工作流程及在項目的價值體現(xiàn)。本文致力于讓完全沒有學習過AI的朋友可以輕松讀懂,獲取干貨。即使你不能完整理解AI也沒關系,最起碼看完本文之后你可以完美裝13,文末會有特別的裝13技巧送給你。

一、AI是什么

1、AI的定義

凡是通過機器學習,實現(xiàn)機器替代人力的技術,就是AI。機器學習是什么呢?機器學習是由AI科學家研發(fā)的算法模型,通過數(shù)據(jù)灌輸,學習數(shù)據(jù)中的規(guī)律并總結,即模型內(nèi)自動生成能表達(輸入、輸出)數(shù)據(jù)之間映射關系的特定算法。這整個過程就是機器學習。

AI模型是個“中間件”,不能直接與用戶完成交互,所以AI還是需要借助傳統(tǒng)的應用程序,應用程序直接與用戶進行交互,同時提交輸入數(shù)據(jù)給模型,模型處理后返回輸出數(shù)據(jù)給應用程序,應用程序再轉化為合適的呈現(xiàn)方式反饋給用戶。

AI解決方案比互聯(lián)網(wǎng)解決方案有什么優(yōu)勢:再也不需要去歸納總結知識和規(guī)律,然后進行越來越復雜的編程,只需要用數(shù)據(jù)喂養(yǎng)機器,讓機器完成所有工作。而且傳統(tǒng)的互聯(lián)網(wǎng)解決方案遇到需要求變時,是個頭痛的事,因為直接讓工程師對程序、算法進行修改的過程中會需要考慮很多既有程序帶來的限制及改動后的未知風險(同時也容易造成人力成本更高),而AI模型是可以遷移、疊加利用的,所以需求變化時,少了很多既有積累的東西帶來的問題。

2、AI的根基

AI的根基從數(shù)學理論開始,數(shù)學理論(包括:線性代數(shù)、概率論、統(tǒng)計學、微積分)的基礎上我們得以有機器學習理論,機器學習理論(包括:監(jiān)督學習、無監(jiān)督學習、強化學習、遷移學習、深度學習)的基礎上我們得以有基礎技術,基礎技術(包括:機器學習ML、深度學習DL、語音識別ASR、語音合成TTS、計算機視覺CV、機器視覺MV、自然語言理解NLU、自然語言處理NLP、專家系統(tǒng))的基礎上AI應用得以實現(xiàn)。

特別提醒:不僅是數(shù)學理論,物理理論也是AI的根基。在更深度的AI建模等理論需求中,很多所謂的“數(shù)學理論”其實原型來自于“物理理論”。比如熵的概念,比如多維空間的概念,都是出于物理學中的概念。

3、機器學習理論詳解及算法模型介紹

關于模型算法的結果導向理解:1、對數(shù)據(jù)進行分類,2、找到輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的規(guī)律。機器學習方式有多種,每種機器學習方式又有多種算法。機器學習方式可以配合利用,且各種算法模型也可以結合利用。

機器學習的抽象流程是:訓練機器階段,讓模型對輸入數(shù)據(jù)進行分類,且找到規(guī)律;測試階段,數(shù)據(jù)進入模型時,模型對數(shù)據(jù)進行分類,每一個測試數(shù)據(jù)都歸類到訓練數(shù)據(jù)類別中對應的一個類別,然后根據(jù)訓練找到的規(guī)律計算出輸出值(即答案);欠擬合或者過擬合的情況下,要清洗訓練數(shù)據(jù)、調(diào)整參數(shù)以及重復訓練;達到最佳擬合后,機器學習完成。

3.1、監(jiān)督學習

通俗解釋:準備好許多組問題和對應答案,然后對機器說:當你看到這個問題的時候,你就告訴人家這個答案。多次重復這樣的訓練,然后機器從每一次的訓練問題和對應答案中找到了其中的規(guī)律(即算法)。然后你跟你朋友吹噓說,我的機器機靈得跟猴似的,不信你問它問題。你這位朋友開始提一大堆問題,提的問題大可以跟你訓練的問題不同,機器人只是根據(jù)自己之前總結的規(guī)律推測出答案給對方。如果發(fā)現(xiàn)機器人說出的答案中錯誤太多,那你就要修理修理它,再重新用更豐富的有標記答案的問題訓練一番,直到你的機器被人提問時回答準確率特別高,達到你的期望了。這時候你就可以放心的跟你朋友炫耀:我的機器機靈得跟猴似的。

專業(yè)解釋:準備樣本(樣本通常準備兩組:訓練數(shù)據(jù)和測試數(shù)據(jù)),先將訓練數(shù)據(jù)(即標記樣本)給到機器,同時提供標準答案(有答案的樣本數(shù)據(jù)屬于“標記樣本”),機器盡量從訓練數(shù)據(jù)中找到因變量和自變量之間的關系,讓自己推測的答案盡量跟標準答案靠近。訓練過程中機器嘗試生成我們需要的算法,這個算法就是我們要機器學習出來的結果。然后我們給機器測試樣本(測試數(shù)據(jù)),不提供標準答案,看機器推理出答案的準確率怎么樣,如果準確率太低(欠擬合),那我們就要調(diào)整模型的參數(shù),并且再訓練機器,接著又用測試數(shù)據(jù)測試,直到機器達到了我們期望的準確率。抽象一個最簡單的邏輯公式:線性代數(shù)y=kx。我們提供n組x值及對應y值作為訓練數(shù)據(jù),模型經(jīng)過計算推測出k值(推測出k值這個過程我們叫做“回歸”),然后我們再用m組測試數(shù)據(jù),但是此時只輸入x值,看機器得出的y值是否跟我們已知的正確答案y值是否相同。當有多個緯度的特征時,應該抽象公式應該是y=kx1+kx2+kx3,或者y=k1x1+k2x2+k3x3。當然還有可能要考慮其他一些參數(shù),此時公式應該為y=kx1+kx2+kx3+b,或y=k1x1+k2x2+k3x3+b。參數(shù)b是我們的AI工程師可以直接調(diào)整的,以便讓機器訓練的結果最接近我們想要的結果。

監(jiān)督學習的算法分類

1)KNN臨近算法

在訓練階段時,機器將訓練數(shù)據(jù)進行分類(根據(jù)數(shù)據(jù)的feature,即數(shù)據(jù)的特征)。(邏輯推理出,在某些情況下模型可以找出來的數(shù)據(jù)之間的映射不止一條,即可能每一類數(shù)據(jù)會有一個映射關系。)當測試數(shù)據(jù)輸入時,機器會根據(jù)輸入數(shù)據(jù)的特征判斷該輸入數(shù)據(jù)跟哪一類的訓練數(shù)據(jù)為同一類,在此判斷基礎上,機器便決定用哪一個映射關系來推測當下輸入測試數(shù)據(jù)對應的輸出數(shù)據(jù)(即答案)。機器是如何判斷測試時的輸入數(shù)據(jù)更接近哪一類訓練數(shù)據(jù)的呢?用數(shù)學邏輯解釋就是,模型內(nèi)是一個多維空間,有一個多維坐標,每一緯是一個特征,當一個訓練數(shù)據(jù)輸入時,該數(shù)據(jù)坐落在坐標上某一點,訓練數(shù)據(jù)量大了之后,模型里的坐標上有無數(shù)點。當測試數(shù)據(jù)輸入后,根據(jù)測試數(shù)據(jù)的特征在坐標上為它找到一個點,機器會找與該點歐式距離最近的點(訓練數(shù)據(jù)的點)是哪一個,并且將該點視為與找到的距離最近的訓練數(shù)據(jù)的點為同一類。

舉個栗子:Mary喜歡玩探探,在她眼里,探探里的男銀分3類。第一類是不喜歡,左劃;第二類是喜歡,右劃;第三類是超級喜歡,點星星。第一類男銀的共同點是單眼皮、低鼻梁、禿頂、穿安踏;第二類的共同點是雙眼皮、高鼻梁、茂密的頭發(fā),穿西裝;第三類的共同點是帶名牌手表,照片旁邊有一輛跑車。AI了解Mary后,開始為Mary把關。當AI看到一個男銀上探探,就會看這個男銀是否單眼皮,鼻梁接近于高還是低,頭發(fā)多少,著裝幼稚還是成熟,然后將這個男銀為第一類或者第二類,第一類的直接幫Mary劃掉,第二類的直接幫Mary點喜歡。還有,當AI看到一個男銀帶名牌表,有豪車,直接幫Mary點一個超級喜歡。然后Mary不用那么累地全部都要點一遍,AI幫她選的人她都挺滿意,她一臉的滿足。

2)決策樹ID3算法

基于“決策樹”的理論的一種算法。根據(jù)數(shù)據(jù)特征進行分支,直到不可再分支,此時決策樹成形,數(shù)據(jù)也被分出一類來,成形的一個決策樹表現(xiàn)了這一類數(shù)據(jù)的所有特征。

示意圖(Jennifer去相親):


該決策樹形成后(一條分枝將特征消化完之后),我們視滿足該條分枝上所有特征的為同一類人(即我們分出了一類數(shù)據(jù))。憑經(jīng)驗推測,這類人就是Jennifer最后選擇的結婚對象。(如果你不知道我指的是哪一條,那你這輩子一定都找不到老婆)

決策樹ID3算法與KNN算法的區(qū)別在于:KNN算法需要始終保存并持續(xù)使用所有訓練數(shù)據(jù),決策樹ID3算法完成決策樹之后,可以不再保存所有的訓練數(shù)據(jù)了(可以清清內(nèi)存),只需要將決策樹模型保留下來,便可以對新數(shù)據(jù)進行高準確率地分類。

3)logistic邏輯回歸算法

當特征和結果不滿足線性時(函數(shù)大于一次方時),就可以用邏輯回歸算法。邏輯回歸是一個非線性模型,它的因變量(x)跟線性回歸函數(shù)不相同。邏輯回歸同樣用來解決分類問題,呈二項分布(示意圖1),它只輸出兩種結果,0或1(實際情況是輸出為0~0.5,或0.5~1,小于0.5取值0,大于等于0.5取值1),0和1分別代表兩個類別。作為產(chǎn)品經(jīng)理,我們不需要去理解模型內(nèi)部是怎么回事(反正我目前也沒看懂模型內(nèi)部到底怎么回事),我們只需要了解,當特征和結果,即X與Y之間的關系不滿足線性關系(函數(shù)大于一次方),就可以利用邏輯回歸算法,算法得出的值約等于1或約等于0,約等于1時該輸入數(shù)據(jù)屬于一類,約等于0時該輸入數(shù)據(jù)屬于另一類?;蛟S以后在實戰(zhàn)中,你的AI工程師搭檔會跟你講解,看了這篇文章,你在聽你的AI工程師解釋的時候不會茫然吧。

邏輯回歸的基礎公式:

示意圖1:


4)支持向量機SVM

主要優(yōu)勢就是可以判斷到分類是否正確。先給大家舉一個例,當我們要分割一個平面,會用一條線,即分割二維數(shù)據(jù)用一維數(shù)據(jù);如果我們要分割一個立體空間,會用一個面,即分割三維數(shù)據(jù)用二維數(shù)據(jù)。理解例子后,就可以理解SVM的原理了。SVM的原理就是用一個N-1維的“分割超平面”線性分開N維空間,而所有數(shù)據(jù)都在這個空間內(nèi)各為一點。每一次分割超平面開始切分,都在將空間內(nèi)的數(shù)據(jù)分為兩部分(假設為A、B兩邊),模型的目的就是讓分出來的兩部分數(shù)據(jù)是兩個類別,我們要理解在A這邊的每個數(shù)據(jù)點到分割超平面的距離為正值,那么另一邊(B那邊)的數(shù)據(jù)點到分割超平面的距離就一定為負值(我們把分割超平面看作是臨界面吧,或者看作是“海平面”,兩邊的點朝著臨界面直線出發(fā)時,方向是相對的,這樣解釋大家就能明白為什么說一邊為正值另一邊就為負值了)。當模型計算所有特征相同的數(shù)據(jù)各自到分割超平面的距離時,若都為正值(我們默認這些特征相同的數(shù)據(jù)所占邊是A邊),那么分割正確,我們就知道空間內(nèi)所有數(shù)據(jù)被準確無誤地分為兩類了。若發(fā)現(xiàn)有出現(xiàn)負值的,那一定是有至少一個數(shù)據(jù)站錯邊了,換一種說法是我們這個分割超平面分割得不對,分割超平面就會重新分割,直到分割完全正確。因為理論上講,分割超平面是一個多維空間的任意維度的“面”,它可以在數(shù)據(jù)任何分布的情況下都剛好把不同類(不同特征)的數(shù)據(jù)一分為二,保證它的分割不會讓任意一個數(shù)據(jù)“站錯邊”。

借用幾張經(jīng)典示意圖幫助理解:





這只是一個簡單示意圖,但是我們要發(fā)揮空間想象力,如果不能看起來是一條直線分割兩邊,那就讓看起來是一條曲線的分割超平面分割兩邊,但是這條曲線其實不是曲線,它是一個多維面。(這個多維空間真的燒腦,我記得網(wǎng)上有個很經(jīng)典的10分鐘理解多維空間的視頻,大家可以去搜一搜)

5)樸素貝葉斯分類算法

首先說明一點:KNN算法、決策樹ID3算法、logistic回歸算法、SVM都是屬于判別方法,而樸素貝葉斯算法是屬于生成方法。樸素貝葉斯算法的邏輯是:每一個訓練數(shù)據(jù)輸入時,計算該數(shù)據(jù)被分到每一個類別的概率,最后視概率最大的那一個為該輸入數(shù)據(jù)的類別。跟邏輯回歸一樣,作為產(chǎn)品經(jīng)理,大家只要記住宏觀邏輯就好了(手打調(diào)皮)。

公式:


3.2、無監(jiān)督學習

通俗解釋:你準備一大堆問題丟給你的機器,每一個問題都不告訴它答案,叫它自己把問題分類了。它開始識別所有問題分別都是什么特征,然后開始將這些問題分類,比如A類、B類、C類。分類好了之后,你又對你朋友炫耀:我的機器機靈得跟猴似的,不信你問它問題。然后你朋友問它: “女朋友說自己感冒了應該怎么回復她?”機器想了想,發(fā)現(xiàn)這個問題跟自己歸類的A類問題一樣,于是它就隨口用A類問題里的一個代表性問題作為回答:“女朋友說自己大姨媽來了該怎么回復,你就怎么回復?!蹦愕呐笥延X得機器是理解了他的問題,但是他還是不知道該怎么回復女朋友啊,失望的走了。這個時候你發(fā)現(xiàn)你的機器回答方式不好呀,于是你告訴機器,不要用問題回答問題,你順便給了他的A類問題一個統(tǒng)一答案,就是“多喝熱水”。然后你叫你朋友再問一次機器,你朋友又來問了一次機器:“女朋友說自己感冒了我該怎么回復?!睓C器馬上回答:“叫她多喝熱水呀?!蹦闩笥岩宦?,恍然大悟,開開心心地走了。

專業(yè)解釋:機器學習是否有監(jiān)督,就看訓練時輸入的數(shù)據(jù)是否有標簽(標簽即標注輸入數(shù)據(jù)對應的答案)。無監(jiān)督學習即訓練時輸入數(shù)據(jù)無標簽,無監(jiān)督學習利用聚類算法。無監(jiān)督學習不利用“回歸”方式找到規(guī)律。其他的跟監(jiān)督學習基本相同。

1)K-聚類(聚類算法)

K-means聚類是一種矢量量化的方法,給定一組向量,K-means算法將這些數(shù)據(jù)組織成k個子集,使得每個向量屬于最近的均值所在的子集。在特征學習中,K-means算法可以將一些沒有標簽的輸入數(shù)據(jù)進行聚類,然后使每個類別的“質(zhì)心”來生成新的特征。

換種說法就是:K個子集中每個子集都計算出一個均值,每個均值在空間里都為一個“質(zhì)心”,根據(jù)輸入數(shù)據(jù)的特征及特征值為它找到一個點,這個點最接近哪個“質(zhì)心”,我們就視該數(shù)據(jù)屬于哪個子集,即與該子集所有數(shù)據(jù)為同一類。

2)主成分分析法

容我偷個懶,這個我自己還未真正學習懂,所以就不寫了,后面出現(xiàn)未具體解釋的東西都是我還未學習明白的內(nèi)容。爭取只寫我真正自己學懂的東西,怕未完全明白的基礎上寫的東西容易出現(xiàn)誤導。但是我會在接下來的學習中把余下的AI知識都學好,并盡量再發(fā)文跟大家分享。

3.3、半監(jiān)督學習

半監(jiān)督學習其實就是監(jiān)督學習和非監(jiān)督學習的方法合并利用,訓練數(shù)據(jù)有一部分是有標簽的,有一部分是無標簽的,通常無標簽的數(shù)據(jù)量比有標簽的數(shù)據(jù)量大很多。半監(jiān)督學習的好處是,1)降低打標簽的人工成本的情況下讓模型可以得到很好的優(yōu)化;2)大量的沒辦法打標簽的數(shù)據(jù)得以被利用起來,保證訓練數(shù)據(jù)的量,從而讓訓練結果更佳。狹義上【半監(jiān)督學習】要分為transductive SVM、inductive SVM、Co-training、label propagation;我們可以嘗試用另外一種方法分類【半監(jiān)督學習】,即“分類半監(jiān)督”、“聚類半監(jiān)督”。分類半監(jiān)督--舉例說明就是先用標簽數(shù)據(jù)進行訓練,然后加入無標簽數(shù)據(jù)訓練,無標簽數(shù)據(jù)輸入時,會根據(jù)數(shù)據(jù)特征及特征值,看該數(shù)據(jù)與有標簽數(shù)據(jù)分類中哪一類更接近(支持向量機SVM的方法就可以幫助找到最接近哪一類),就視為該類數(shù)據(jù);或者是,看該數(shù)據(jù)與有標簽數(shù)據(jù)哪一個最接近(KNN的方法就可以找到最接近的那個數(shù)據(jù)),則把該無標簽數(shù)據(jù)替換為該標簽數(shù)據(jù)。聚類半監(jiān)督--通常是在有標簽數(shù)據(jù)的“標簽不確定”的情況下利用(比如這個輸入數(shù)據(jù)的答案可能是xxx),“聚類半監(jiān)督”就是重點先完成數(shù)據(jù)的分類,然后嘗試根據(jù)標簽數(shù)據(jù)訓練提供的標簽預測結果。

1)S3VM算法

2)S4VM算法

3)CS4VM算法

4)TSVM算法

3.4、強化學習

通俗解釋:你準備一大堆問題,每個問題有多個答案選項,其中只有一個選項是正確答案。手里拿著皮鞭,讓你的機器一個個問題的從選項里挑答案回答,回答正確了,你就溫柔的默默它的頭,回答錯誤了,你就抽它丫的。所有問題都回答完了之后,再重復一次所有問題。然后你就發(fā)現(xiàn),你的機器每一次重復,正確率都提高一些,直到最后正確率達到你的期望值了,這時候機器基本也從撫摸和抽打中找到了每一個問題的正確答案。機器通過一次次去猜測問題和答案之間的規(guī)律(即算法),一次次更新規(guī)律,最后也找到了最準確那條規(guī)律(最佳算法),這時,它機靈得跟猴一樣。(當然實際過程里,只需要獎勵機制就夠了,但是你想同時給懲罰機制,也可以的。)

專業(yè)解釋:我自己的理解,把強化學習理論分一和二,其中一是完全按照馬爾科夫決策過程的理論,需要理解環(huán)境,在每一步動作時都得到一個反饋并計算下一步該怎么動作更好。二是不需要理解環(huán)境,只需要在執(zhí)行完之后接收環(huán)境反饋的信號,然后它才明白之前的動作好不好,下次會堅持或改變同樣情況下要執(zhí)行的動作。

強化學習理論一:agent(下文會講agent是什么,此處可以理解為機器本身)需要理解環(huán)境、分析環(huán)境,并且要推測出完成一個動作得到獎勵的概率。該理論完全滿足馬爾科夫決策。馬爾可夫的核心:在一個狀態(tài)下,可以采取一些動作,每一個動作都有一個“轉化狀態(tài)”且可以得出對應“轉化狀態(tài)”的概率(或該“轉化狀態(tài)”能獲取獎勵的概率)。而強化學習的目標就是學習怎樣讓每一次行動都是為了達到最有價值的“轉化狀態(tài)”上。


1) model based(算法:Qleaning, Sarsa, Policy Gradients)

理解真實環(huán)境,建立一個模擬環(huán)境的模型,有想象能力,根據(jù)想象預判結果,最后選擇想象中結果最好的那一種作為參考進行下一步。

2)policy based(算法:Policy Gradients,? Actor-critic)

通過感官分析環(huán)境,推測出下一步要進行的各種動作的概率,取概率最大的作為實際行動的參考。

3)value based(算法:Qleaning, Sarsa)

推測出所有動作的價值,根據(jù)價值最高的作為實際動作的參考。

4)On policy(算法:Sarsa,? Sarsa lambda)

必須親自參與

5)Off policy(算法:Qleaning,? Deep-Q-Network)

可親自參與;也可以不親自參與,通過觀看其他人或機器,對其他人或機器進行模仿。

強化學習理論二:agent不需要理解環(huán)境、分析環(huán)境時,做出決策,該決策正確時獎勵,錯誤時不獎勵或懲罰。agent不會在動作時去計算是否得到獎勵的概率。

強化學習中的4個要素:agent(一個智能體,可以為一個算法模型,或直接理解成機器本身)、environment(環(huán)境,環(huán)境對于agent是獨立的,它可以是一個硬件設備、強化學習之外的某種機器學習模型等,它的任務就是當action結束后用它的方式給agent一個信號)、action(動作)、reward(獎勵)。

agent能夠執(zhí)行多種action,但它每次只能選擇一個action來執(zhí)行,agent任意執(zhí)一個action來改變當前狀態(tài),一個action被執(zhí)行后,environment會通過觀測得出一個observation,這個observation會被agent接收,同時會出現(xiàn)一個reward也會被agent接收(這個reward也來自于environment,environment可以通過推測或直接判斷action結束時達到的效果是否是AI工程師想要的效果來決定這個reward是正值還是負值,當然負值相當于是“懲罰”了)。agent在執(zhí)行action時并不會知道結果會怎樣,當agent接收到environment的observation時,agent仍然是一無所知的(因為agent不理解environment),但由于environment同時反饋reward,agent才知道執(zhí)行的action好還是不好。agent會記住這次reward是正值還是負值,以后的action都會參考這次記憶。強化學習理論二對比一的區(qū)別就是:二并非在每一步都計算一個概率(所以二并非完全符合馬爾科夫決策)。

1)model free(算法:Qleaning, Sarsa, Policy Gradients)

不理解環(huán)境,等待環(huán)境反饋,根據(jù)反饋進行下一步。

2)Monte-carlo update(算法:Policy Gradients,? Monte-carlo leaning)

等待所有過程結束,事后總結所有轉折點

3)Temporal difference update(算法:Qleaning, Sarsa)

過程中每一步都總結一下

4)On policy(算法:Sarsa,? Sarsa lambda)

必須親自參與

5)Off policy(算法:Qleaning,? Deep-Q-Network)

可親自參與;也可以不親自參與,通過觀看其他人或機器,對其他人或機器進行模仿。

強化學習不糾結于找出一條規(guī)律/算法,它只關心結果輸出時能否得到獎勵。之前提到的機器學習都是解決分類問題,而強化學習是解決“決策”問題。

3.5、遷移學習

通俗解釋:當你的機器用以上幾種方式中任何一種方式學習完之后,你叫你的機器把學習后找到的規(guī)律(算法)寫在它的筆記本上。然后換一種學習方式,讓它繼續(xù)學習,叫它用第二種方法學習的時候要看筆記本,把新學到的知識也寫上去,但是不能跟原筆記沖突,也不能修改原筆記。連續(xù)用多種方法讓你的機器學習,它肯定比猴更機靈。

專業(yè)解釋:將一個已經(jīng)開發(fā)過的任務模型(源域)重復利用,作為第二個任務模型(目標域)的起點。深度學習中會經(jīng)常用到遷移學習,遷移時(復用時),可以全部使用或部分使用第一個模型(源任務模型),當然這取決于第一個模型的建模邏輯是否允許。遷移學習是特別好的降低(獲取樣本數(shù)據(jù)、打標簽)成本的方法。

1)樣本遷移法

看看目標域的樣本數(shù)據(jù)跟源域中訓練數(shù)據(jù)哪部分相似,把目標域中這部分樣本數(shù)據(jù)的特征值照著相似的源域中的樣本數(shù)據(jù)的特征值調(diào)整,盡量調(diào)到一樣,然后再把調(diào)過的數(shù)據(jù)權重值提高。這個方法是最簡單的遷移學習方法,不過人工去調(diào),如果經(jīng)驗不足,容易造成極大誤差。

2)特征遷移法

找到源域同目標域的數(shù)據(jù)中的共同特征,將這些共同特征的數(shù)據(jù)都放到同一個坐標空間里,形成一個數(shù)據(jù)分布。這樣就可以得到一個數(shù)據(jù)量更大且更優(yōu)質(zhì)的模型空間。(之前提到很多模型算法對輸入數(shù)據(jù)分類時都要依靠模型里虛擬的空間,這個空間的質(zhì)量越好,分類效果越好)。

3)模型遷移法

源域的整個模型都遷移到目標域。最完整的遷移,但是可能會因為源域模型的特有的那些對目標域來說沒有的數(shù)據(jù)、特征、特征值等,在目標域中反而會有干擾效果(類似與“過擬合”)。

4)關系遷移法

當兩個域相似時,可以直接將源域的邏輯網(wǎng)絡關系在目標域中進行應用。比如我們將人的大腦神經(jīng)網(wǎng)絡的邏輯關系遷移到AI神經(jīng)網(wǎng)絡中,因為從邏輯上這兩者我們覺得是一樣的。

3.6、深度學習

深度學習可以理解為是多個簡單模型組合起來,實現(xiàn)多層神經(jīng)網(wǎng)絡,每層神經(jīng)網(wǎng)絡(也可以叫做神經(jīng)元)處理一次數(shù)據(jù),然后傳遞到下一層繼續(xù)處理。這種多層的結構比起淺層學習的模型優(yōu)勢在于,可以提取出數(shù)據(jù)特征(無需人工提取)?!吧疃取辈]有絕對的定義,語音識別的模型中4層神經(jīng)網(wǎng)絡就算深了,但在圖像識別的模型中,20層也不算很深。

1)DNN深度神經(jīng)網(wǎng)絡

深度神經(jīng)網(wǎng)絡是深度學習最基礎的神經(jīng)網(wǎng)絡。有很多層(每一層為一個神經(jīng)元)從上往下排列,每一個層相互連接。有個缺點就是,正因為每一層之間連接起來,出現(xiàn)了參數(shù)數(shù)量膨脹問題(因為每一層涉及到一個算法,每一個算法都有自己的各種參數(shù)),這樣的情況下容易過擬合(實現(xiàn)了局部最佳但整體擬合不佳)。

2)CNN卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡有“卷積核”,這個“卷積核”可以作為介質(zhì)連接神經(jīng)元,用“卷積核”連接神經(jīng)元時就不需要每一層都連接了。

3)RNN循環(huán)神經(jīng)網(wǎng)絡

因為DNN還有一個缺點,無法對時間序列上發(fā)生的變化進行建模,如果在語音識別、自然語言處理等應用中使用AI模型時,數(shù)據(jù)的時間順序影響很大。所以RNN就出現(xiàn)了,RNN能彌補DNN的缺點,可以在時間序列上發(fā)生的變化進行建模。

4、重要的關鍵詞解釋

4.1、擬合

擬合是用來形容訓練結束后效果好壞的。

1)欠擬合

當訓練數(shù)據(jù)少、數(shù)據(jù)質(zhì)量差的時候,訓練出來的模型質(zhì)量就差(或者說損失函數(shù)過大),這時進行測試的時候,就會出現(xiàn)誤差大,即“欠擬合”狀況。

2)過擬合

在訓練階段,反復用同樣的訓練數(shù)據(jù)進行訓練,可以讓訓練效果變得更好(損失函數(shù)?。?,但同時機器會因為要達到最好的訓練效果,將訓練數(shù)據(jù)中不重要的特征或只有訓練數(shù)據(jù)才有的某些特征進行利用得太重或開始學習不需要的細節(jié),也就是說機器對訓練數(shù)據(jù)太過依賴,最后就會出現(xiàn)在訓練數(shù)據(jù)上表現(xiàn)特別好,但在其他數(shù)據(jù)上表現(xiàn)不佳。這樣的情況叫做“過擬合“。

3)最佳擬合

欠擬合、過擬合都不是我們需要的。我們要的是最佳擬合。所以我們在訓練機器時要注意平衡。最佳點在哪里呢?最佳點在訓練的損失函數(shù)還在減小,而測試的損失函數(shù)在減小之后突然開始增大的該點上。此時我們就達到了“最佳擬合”。

4.2、泛化性

訓練好的模型在其他數(shù)據(jù)上的表現(xiàn)好壞用泛化性形容。在其他數(shù)據(jù)上表現(xiàn)越好,泛化性越高。

4.3、損失函數(shù)

用于評估“不準確”的程度,它是衡量模型估算值和真實值差距的標準。損失函數(shù)(loss)越小,則模型的估算值和真實值的差距越小,通常情況下我們要把loss降到最低。

4.4、香農(nóng)熵

形容信息量大小。機器學習中重要是用于衡量特征的數(shù)量多少。一個數(shù)據(jù)的特征越多,說明我們可以從這個數(shù)據(jù)中獲得的信息越多,也就可以說香農(nóng)熵高。順便提一下,決策樹的生成過程,就是降低香農(nóng)熵的過程。

4.5、標簽

指給數(shù)據(jù)標記的答案。標記好答案的數(shù)據(jù)叫做“標簽數(shù)據(jù)”。

4.6、特征值

特征(feature)的值。比如房子有特征(feature):空間、價格。它的特征值:(空間)200平方米、(價格)1500萬。一般在機器學習的監(jiān)督學習中,我們需要對訓練數(shù)據(jù)進行特征提取的處理,即標記好每個數(shù)據(jù)有哪些特征和對應特征值。

當特征值損失的情況:

在實際的機器學習過程中,有時候會發(fā)生數(shù)據(jù)缺失的問題,比如一個數(shù)據(jù)有X個特征,但是由于意外發(fā)生,我們只得到部分(小于X)特征的值,在這種情況下,為了不浪費整個樣本資源,且可以順利的繼續(xù)機器學習,我們需要有一些彌補措施:1)認為設置某些特征的特征值(根據(jù)經(jīng)驗),然后利用;2)找到相似的另一組樣本,用另一組樣本的特征平均值代替缺失的特征值;3)用其他的機器學習模型專門針對缺失的特征值進行學習然后利用該模型找出缺失特征值;4)使用已有特征值的均值來替代未知特征值;5)在機器學習過程中用一些方法,讓機器忽略已缺失特征值的數(shù)據(jù)。

4.7、類別

物以類聚人以群分,特征相同的數(shù)據(jù)就是同一類別。機器學習中特別重要的一個步驟就是利用算法將數(shù)據(jù)分類(學習算法里邊會提到多種實現(xiàn)數(shù)據(jù)分類的算法),機器會盡量將所有輸入數(shù)據(jù)進行分類,分類的邏輯就是通過數(shù)據(jù)的“特征”,特征接近的數(shù)據(jù)會被機器認為是同一類別的數(shù)據(jù)。

4.8、分類&聚類

分類是目前最簡單也是效果最好的一類算法(比如KNN、決策樹ID3、logistic回歸、SVM等都屬于分類算法)。分類算法的前提條件是訓練數(shù)據(jù)必須帶有標簽。

聚類是目前相對分類更復雜同時效果更差的一類算法(無監(jiān)督學習就是用聚類算法)。聚類算法的優(yōu)勢是可以訓練數(shù)據(jù)不需要標簽。表面上看來分類算法比聚類算法好用很多,那我們還要用聚類算法的理由是什么呢?其實,在實際情況下,訓練機器時,要給數(shù)據(jù)打標簽是個人工消耗極大的工作,不僅工作量大,很多時候?qū)?shù)據(jù)打準確的標簽難度也大。

4.9、決策樹

根據(jù)數(shù)據(jù)的特征值對數(shù)據(jù)進行不斷分支,直到不可再分支(附 決策樹形象圖)。決策樹的每一次對數(shù)據(jù)分支,就消耗一個特征值。當所有特征值消耗完后,決策樹成形。決策樹的每一個節(jié)點,即每一次對特征分支時,通常以yes/no的判斷形式進行劃分(所以才叫“決策樹”嘛)。決策樹幫助機器對數(shù)據(jù)進行分類(根據(jù)特征,決策樹的分裂點即特征分別點),決策樹形成后,滿足一條分枝上所有分裂點條件的為同一類數(shù)據(jù)。要注意的是,有時候決策樹分枝太長,會導致過擬合。因為決策樹很可能把訓練數(shù)據(jù)中不太有代表性的特征放在分裂點上,這樣形成的決策樹不適應與訓練數(shù)據(jù)之外的數(shù)據(jù)了。如果出現(xiàn)這種情況,需要“剪枝”,枝越長,說明模型可能越依賴訓練數(shù)據(jù),在枝的長短上,要做一個平衡,平衡的原則請參考本文提到的“欠擬合”與“過擬合”的關鍵詞解釋。

我們用最簡單的決策樹二叉樹抽象示意圖來表達我們招聘產(chǎn)品經(jīng)理時的一個面試判斷過程:


有時候分裂點上有數(shù)值判斷,這些數(shù)值都叫做“閾值”。在決策樹中,對閾值的使用越合理,訓練形成的決策樹效果越好,用在數(shù)據(jù)上越精確。請查看簡化決策樹示意圖2:


4.10、知識圖譜

知識圖譜是模擬物理世界的實物與實物之間的關系,知識圖譜呈現(xiàn)為無限擴散的類網(wǎng)狀結構。它的結構組成為“實體”--“關系”--“實體”,以及“實體”--“屬性”--“值”。知識圖譜使得AI找到一個信息時,同時也獲得了更多跟跟這個信息相關的其他信息。希望大家可以具體去看知識圖譜相關書籍,該知識還是相對容易看明白的。

知識圖譜簡化示意圖:


其中“老狼--女朋友--斯嘉麗約翰遜”,就是實體--關系--實體,“老狼--生日--3月29”和“斯嘉麗約翰遜--罩杯--D”就是實體--屬性--值。舉一個利用知識圖譜的常見栗子:當有人問AI:“老狼有女朋友嗎?”AI有自然語言處理的支撐,就可以識別到這個人在向它提問,且在詢問老狼的女朋友這件事。同時有知識圖譜的支撐,AI就可以準確回答:“老狼有個叫斯嘉麗約翰遜的女朋友,是個D罩杯的美女呢?!?/p>

5、基礎技術

5.1、語音識別(ASR)

一句話定義就是:將人類聲音轉化成文字的過程。

按識別范圍分類為“封閉域識別”和“開放域識別”。封閉域識別:在預先指定的字/詞集合內(nèi)進行識別。如此可將聲學模型和語音模型進行剪裁,識別引擎的計算量也變低。可以將引擎封裝于嵌入式芯片或本地化SDK,脫離云端,且不會影響識別率。開放域識別:在整個語言大集合中識別。引擎計算量大,直接封裝到嵌入式芯片或本地SDK中,耗能高且識別效果差,所以一般都只以云端形式提供。(更詳細的介紹可看文末分享的腦圖)

5.2、計算機視覺(CV)

一句話定義:計算機對生物視覺的模擬。通過采集圖片、視頻進行處理,以獲取相應場景的三維信息。

計算機視覺的三步驟為成像、早期視覺、識別理解。其中成像原理跟相機原理相同,成像質(zhì)量受光照影響、模糊、噪聲、分辨率的影響,我們需要去找到好的方法來解決光照、模糊等問題。早期視覺又有圖像分割(將特定影像分割成“區(qū)域內(nèi)部屬性一致”而“區(qū)域間不一致”的技術)、邊緣求取(找到圖像中的亮度變化劇烈的像素點構成的集合,即找出輪廓)、運動及深度估計三種方法。識別理解是最后一步,即把一張圖片對應到一個文字或標簽(根據(jù)機器找到的映射關系得出輸出)。

計算機視覺的三種應用介紹:人臉識別、多目標跟蹤、光學符號識別。

1)人臉識別的技術流程:人臉采集--人臉檢測--圖像預處理--特征提取--人臉匹配與識別。在實際流程當中,每一個環(huán)節(jié)都有對應的注意事項,詳情請看老狼在文末準備的腦圖。

2)多目標追蹤的技術流程:圖像采集--圖像預處理--基于深度學習的多目標檢測識別--多目標跟蹤--輸出結果。在實際流程當中,每一個環(huán)節(jié)都有對應的注意事項,詳情請看老狼在文末準備的腦圖。

3)光學符號識別的技術流程:圖像采集--圖像預處理--特征提取--文字定位--光學識別。在實際流程當中,每一個環(huán)節(jié)都有對應的注意事項,詳情請看老狼在文末準備的腦圖。

5.3、自然語言處理(NLP)

一句話定義:自然語言處理(NLP)是指機器理解并解釋人類寫作、說話方式的能力。

NLP又包含NLU(自然語言理解)、NLG(自然語言生成)。自然語言處理中最重要的3個環(huán)節(jié)是分詞、鎖定關鍵詞、文本相似度計算。因為目前機器的語言識別其實都是基于對詞的識別,任何句子進行自然語言處理時第一步都是要分詞,比如:“我是產(chǎn)品經(jīng)理”,分詞后變成“我-是-產(chǎn)品-經(jīng)理”。分詞之后,要找到“關鍵詞”,“關鍵詞”是提供重要信息、最多信息的詞,比如在“我是產(chǎn)品經(jīng)理”句子被分詞后,機器會選擇“產(chǎn)品”、“經(jīng)理”為該句子“關鍵詞”。文本相似度有歐氏距離、曼哈頓距離等算法,詳情看老狼的腦圖。

6、技術分層

從技術實現(xiàn)的效果的角度將AI技術進行分層:1)認知,通過收集、解析信息對世界和環(huán)境進行認知。包括圖片處理技術、語音識別、自然語言識別技術。2)預測行為和結果。比如在用戶行為研究的基礎上根據(jù)對用戶當前行為的識別,預測用戶下一步想做什么,然后主動滿足用戶。3)確定實現(xiàn)的方式和路徑。比如AI代替醫(yī)生給病人看病,得出病癥和治病方案。

7、AI的常用語言及框架

市場上有的AI框架包括TensorFlow、Caffe、Torch、Theano等等,目前大部分工程師利用的是Tensorflow。AI編程可以利用多種計算機語言,目前最常用的是C++和python。

想要實操練習的小伙伴,到Google官方網(wǎng)站,按照官方的教程安裝TensorFlow,安裝好之后,你就可以用它提供的多個API來訓練機器學習模型了。

8、AI的價值

互聯(lián)網(wǎng)的價值在于降低成本、提高效率;而AI 可以替代人力,讓成本直接為0,其蘊含的市場價值比互聯(lián)網(wǎng)技術的市場價值更高。

二、AI的邊界

要理解AI的邊界,就必須從AI三要素切入。三要素分別為算法、計算力、數(shù)據(jù)。我們通過對已有模型算法的理解,計算力的認知以及對可獲取數(shù)據(jù)的判斷,就可以推測出我們落地時可實現(xiàn)哪些,以及可實現(xiàn)到什么程度。

有一個宏觀判斷邊界的快捷法,叫做“1秒法則”:當前的AI可以實現(xiàn)到處理人1秒內(nèi)可以想到答案的問題。而且這個問題還得滿足以下特點:大規(guī)模、重復性、限定領域。

三、AI的市場情況

1、AI應用分類

關鍵性應用:需要算法準確度在99.9999%以上的應用。比如無人駕駛汽車、手術機器人等。

非關鍵性應用:只需要算法準確度在99%或95%以上的應用。例如人臉識別、廣告推送等。

關鍵性應用對算法要求極高,需要特別優(yōu)秀的AI算法專家來推動實現(xiàn)。非關鍵性應用對算法要求相對低,借助開源算法即可以進行落地。關鍵性應用的關鍵角色是AI算法專家(AI 科學家)、非關鍵性應用的關鍵角色則是AI PM 。

2、AI的市場化

由于云計算解決了計算力的問題,又有開源算法以及Google等公司開放的框架可利用,很多AI產(chǎn)品的落地條件只剩下找到數(shù)據(jù)了。而一些有數(shù)據(jù)積累的互聯(lián)網(wǎng)公司在這一點上具備先發(fā)優(yōu)勢,比如百度、阿里、騰訊,都開始搶奪下一個商業(yè)風口(AI)了。百度已經(jīng)是all in AI 了,目前百度的無人汽車駕駛已經(jīng)初見成效,離大規(guī)模商品化不遠。阿里利用AI為自己的服務進行各種升級,比如人臉識別、人臉解鎖等等,現(xiàn)在阿里布局的新零售線下無人超市等必不可缺AI支持。騰訊的計算機識別相關軟件已經(jīng)成熟并等待深度商業(yè)化。另外一些小一點且針對領域相對垂直的互聯(lián)網(wǎng)公司,如喜馬拉雅、美團等,都開始為自己的應用或服務AI 賦能。(此處針對非關鍵性應用介紹)

過去多年互聯(lián)網(wǎng)的發(fā)展很好地打下了數(shù)據(jù)基礎,互聯(lián)網(wǎng)應用是很好的數(shù)據(jù)采取端口。產(chǎn)品經(jīng)理要負責AI產(chǎn)品的時候同樣需要多花心思設計應用的數(shù)據(jù)采集體系,使得可更高效地采集數(shù)據(jù),且采集數(shù)據(jù)更便于形成優(yōu)質(zhì)樣本。

順便說下短期市場趨勢——專家系統(tǒng)。“專家系統(tǒng)”也是AI模型里很重要的一部分,我們可以簡單理解為“專家系統(tǒng)”就是針對一個專業(yè)領域進行專業(yè)知識的訓練而獲得的模型,“專家系統(tǒng)”其實就是機器復制行業(yè)專家的專業(yè)能力,并替代其完成工作。比如醫(yī)療專家系統(tǒng)AI、股票專家系統(tǒng)AI。前者是替代醫(yī)生進行診斷看病并輸出結果,后者是替代股票專家?guī)陀脩舴治龉墒屑巴扑]股票?!皩<蚁到y(tǒng)”的訓練要依靠行業(yè)專家或?qū)<铱偨Y的專業(yè)知識,行業(yè)專家要參與訓練和測試效果。目前市場里某些領域的“專家系統(tǒng)”已經(jīng)相當成熟了,“專家系統(tǒng)”也是最容易直接創(chuàng)造商業(yè)價值的AI。目前大公司的AI框架所開放的API已經(jīng)足夠訓練成熟的“專家系統(tǒng)”,只需要滿足條件:1)有專家知識;2)有足夠多的優(yōu)質(zhì)數(shù)據(jù)。

3、硬件&軟件

AI的產(chǎn)品可以分為硬件AI(包括硬軟結合AI)、軟件AI。其中硬件AI產(chǎn)品的落地成本更高、風險更大、周期更長,所以目前市場資本對軟件AI公司更偏好一些,拿到投資的這類公司的量也多一些。2018年開始后的兩三年內(nèi),亮相市場的AI產(chǎn)品應該大量都是軟件類,甚至說大量的AI產(chǎn)品就來自于移動互聯(lián)網(wǎng)產(chǎn)品的升級(AI賦能)。比如美團外賣app已經(jīng)加了AI機器人服務功能,還有微軟識花等純AI的app...

4、AI市場的人才需求

目前人才需求是市場第一需求。人才包括新興崗位:AI算法科學家、AI工程師、人工智能訓練師、AI產(chǎn)品經(jīng)理、數(shù)據(jù)標注專員。涉及到關鍵性應用時,AI算法科學家、AI工程師是最稀缺且第一需求人才;涉及到非關鍵性應用時,AI產(chǎn)品經(jīng)理為最稀缺且第一需求人才。

目前市場在嘗試各行各領域的AI產(chǎn)品,但由于AI產(chǎn)品經(jīng)理的匱乏,大部分進展過慢或難以開展。市場需要更多的合格的AI產(chǎn)品經(jīng)理,合格的AI產(chǎn)品經(jīng)理需要對AI認知全面且懂得如何與實際的市場需求相聯(lián)系,同時還需要有對新的需求場景的開發(fā)、摸索(所以AI產(chǎn)品經(jīng)理還是得具備行業(yè)經(jīng)驗,對行業(yè)理解深刻)。

四、AI項目中的分工

1、AI科學家

崗位職責:

研究機器學習算法、AI模型(通常只有關鍵性應用的項目才會需要AI科學家)。

2、AI工程師

崗位職責:

利用模型進行編程,負責調(diào)整模型參數(shù),以及數(shù)據(jù)訓練的操作。

3、AI訓練師

崗位職責:

通過分析產(chǎn)品需求及相關數(shù)據(jù),制定數(shù)據(jù)標注規(guī)則,提高數(shù)據(jù)標注工作質(zhì)量和效率,同時累積細分領域通用數(shù)據(jù)。

崗位需求背景:

1)數(shù)據(jù)標注是AI項目中最重要的環(huán)節(jié)之一。一般情況下需要由數(shù)據(jù)標注員來完成數(shù)據(jù)標注(即給訓練數(shù)據(jù)打標簽),但是數(shù)據(jù)標注員對數(shù)據(jù)的理解的不同會造成標注質(zhì)量差異大,導致整個標注工作的效率和效果都不好。

2)AI公司在其細分領域可能累積了大量數(shù)據(jù),但是由于缺少對數(shù)據(jù)的正確管理,使得這些數(shù)據(jù)難以沉淀、復用,使用一次之后難以再發(fā)揮價值。所以AI訓練師成為了必要。

具體工作內(nèi)容:

1)通過聚類算法、標注分析等方式,以及憑借對行業(yè)的理解,從數(shù)據(jù)中結合行業(yè)場景提取特征。輸出表達清晰準確的數(shù)據(jù)標注規(guī)則。

2)輔助AI工程師的工作,并進行數(shù)據(jù)驗收。參與核心指標的制定以及指標監(jiān)督。日常跟蹤數(shù)據(jù)。(偏向于運營的工作)

3)根據(jù)細分領域的數(shù)據(jù)應用需求,從已有數(shù)據(jù)中挑選符合要求的通用數(shù)據(jù),形成數(shù)據(jù)沉淀、積累。

4)提出細化的數(shù)據(jù)需求,以及提出產(chǎn)品優(yōu)化建議。該工作需要和AI產(chǎn)品經(jīng)理進行大量溝通

5)分配數(shù)據(jù)標注員的工作,對數(shù)據(jù)標注員的工作進行培訓、指導。以及驗收數(shù)據(jù)(檢查數(shù)據(jù)標注員工作結果)。該工作需要和數(shù)據(jù)標注員進行大量溝通。

兩個側重方向:

AI訓練師有兩個側重方向:一是重前期的數(shù)據(jù)挖掘工作及輔助AI工程師的工作,保證產(chǎn)品落地。二是重后期的產(chǎn)品運營,提升產(chǎn)品體驗。根據(jù)不同項目的需求而定側重方向。

能力模型:

1)數(shù)據(jù)能力——會使用科學的數(shù)據(jù)獲取方法,能利用excel之類的數(shù)據(jù)處理工具。

2)行業(yè)背景——熟悉公司行業(yè)領域知識,以及數(shù)據(jù)特點(比如語言、圖像)。

3)分析能力——基于產(chǎn)品數(shù)據(jù)需求,提煉問題特征,輸出優(yōu)化方案。

4)溝通能力——能通俗易懂的闡釋專業(yè)術語,與各崗位同事交流都能切換頻道。

5)AI技術理解力——特別是跟AI工程師交流時能厘清AI概念,并判斷技術邊界(能不能做,能做到什么程度)。

6)AI行業(yè)理解力——具備AI行業(yè)知識框架。

4、AI產(chǎn)品經(jīng)理

崗位職責:

理解行業(yè)及用戶,收集/挖掘需求、分析需求,做出產(chǎn)品戰(zhàn)略規(guī)劃,并設計產(chǎn)品解決方案、分析最佳的AI解決方案(比如用什么AI技術、哪一個模型),與AI訓練師溝通、AI工程師溝通,完成產(chǎn)品demo,推動產(chǎn)品上線,跟蹤數(shù)據(jù),做出產(chǎn)品優(yōu)化方案。

崗位需求背景:

無論在哪個領域,做產(chǎn)品都需要產(chǎn)品經(jīng)理。只不過在AI領域,需要對AI行業(yè)知識理解深刻的產(chǎn)品經(jīng)理,這樣的產(chǎn)品經(jīng)理具備邊界判斷的能力以及判斷最佳解決方案的能力,我們把這樣的產(chǎn)品經(jīng)理叫AI產(chǎn)品經(jīng)理。

具體工作內(nèi)容:

1)調(diào)研行業(yè),理解行業(yè)業(yè)務,收集或挖掘行業(yè)需求

2)深刻理解需求,分析目標用戶,輸出用戶畫像

3)定位產(chǎn)品,制定產(chǎn)品戰(zhàn)略(結合對市場發(fā)展趨勢、競品等的理解)

4)找出解決需求的方案,并轉化為AI產(chǎn)品;選擇最佳AI解決方案(帶著需求和產(chǎn)品規(guī)劃與AI工程師、AI訓練師深度溝通),并判斷落地可行性及可實現(xiàn)程度;參與制定數(shù)據(jù)標注規(guī)則。

5)設計產(chǎn)品,輸出產(chǎn)品demo及各種文檔(流程圖、PRD等)

6)向AI訓練師收集產(chǎn)品優(yōu)化建議

7)優(yōu)化產(chǎn)品

8)評估產(chǎn)品,計劃開發(fā)(UI設計及開發(fā))階段、周期。制定驗收標準

9)驗收產(chǎn)品,與運營對接,上線

能力模型:

1)AI技術理解力——跟AI工程師交流時能厘清AI概念,判斷技術邊界(能不能做,能做到什么程度);能結合產(chǎn)品體驗,做好交互設計,使得AI部分的表現(xiàn)形式最佳;了解需要什么樣的數(shù)據(jù),甚至設計最佳數(shù)據(jù)采集功能,使應用可以更好的采集高質(zhì)量數(shù)據(jù),累積以備利用。

2)AI行業(yè)理解力(加創(chuàng)造力)——具備AI行業(yè)知識框架。能結合系統(tǒng)的AI知識展開邏輯性的思維發(fā)散,考慮AI帶來的新行業(yè)的可能性。

3)傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品經(jīng)理的通用能力

5、數(shù)據(jù)標注員

崗位職責:

負責給數(shù)據(jù)打標簽的執(zhí)行工作。

崗位需求背景:

數(shù)據(jù)標注是個工作量極大的工作,且專業(yè)度要求不高。

具體工作內(nèi)容:

1)按照規(guī)則預訓練,評估規(guī)則及工時

2)按規(guī)則完成要求的數(shù)據(jù)標簽

3)交付已標注數(shù)據(jù)

PS:AI產(chǎn)品經(jīng)理和AI訓練師具備類似的能力模型,只是工作側重點不同,AI訓練師負責更細分的數(shù)據(jù)工作。目前市場上的AI訓練師大部分來自產(chǎn)品經(jīng)理的轉型。而AI 產(chǎn)品經(jīng)理可以直接兼顧AI訓練師的職責,即不需要AI訓練師,只要AI產(chǎn)品經(jīng)理。

五、PM對互聯(lián)網(wǎng)產(chǎn)品AI升級

很多移動互聯(lián)網(wǎng)的產(chǎn)品都可以進行AI升級,所以建議產(chǎn)品經(jīng)理們進行AI學習,可以為自己的產(chǎn)品進行AI賦能。(此處我們只針對于分關鍵性應用進行討論,即不需要AI科學家的崗位,只需要懂得利用開源框架和模型即可。)

1)用AI解決方案代替?zhèn)鹘y(tǒng)的算法解決方案

舉例:新聞app的智能推薦功能

例如,以前今日頭條的智能推薦功能是基于對用戶行為路徑的研究得出的用戶模型,根據(jù)用戶的過去行為產(chǎn)生的數(shù)據(jù),對用戶當下想看的或喜歡的內(nèi)容進行預測并推送。概括講就是通過研究先找到用戶行為跟用戶喜歡之間的映射關系,然后根據(jù)映射關系寫好算法。該解決方案的缺陷是:1、找到準確的映射關系難度大,并且很可能遺漏很多規(guī)律。2、需要對用戶體驗進行優(yōu)化就需要更新算法,工作量大,且優(yōu)化周期偏長。3、產(chǎn)品體驗跟算法工程師的技術能力直接相關,并非每一個公司都有足夠優(yōu)秀的算法工程師。

用AI方案替代:直接利用數(shù)據(jù)進行訓練,讓模型在學習的過程中自己找到映射關系,然后接入應用。優(yōu)點是:1、可以找到人未能總結出的一些規(guī)律,效果可能出乎意料。2、AI自己時時刻刻通過數(shù)據(jù)進行自我升級。3、即使沒有算法工程師,也可以實現(xiàn)智能推送效果。

2)在原app上添加AI功能

舉例:外賣app

利用AI增加個性化界面功能——讓app調(diào)用AI模型,利用用戶數(shù)據(jù)對AI模型進行訓練,讓AI找到不同行為的用戶分別有什么點餐習慣或者說屬于什么用戶行為模型。當用戶進入app時,根據(jù)用戶之前的行為數(shù)據(jù),展示界面定制化呈現(xiàn)。

利用AI幫助用戶更快做出更佳選擇——用戶進入外賣app時,可以直接語音提問:今天哪些店鋪活動中?有什么粵菜新店?...經(jīng)過語音識別、語音合成、專家系統(tǒng)訓練的AI會迅速得出答案并回復用戶,同時帶上鏈接。如此用戶就可以快速完成下單。(其實AI對移動互聯(lián)網(wǎng)的升級有更多方式,這個需要靠產(chǎn)品經(jīng)理對業(yè)務、用戶需求有足夠深度的理解并挖掘出來)。

六、AI產(chǎn)品經(jīng)理需要參與、推動的重要流程

1)分析用戶需求,找到痛點并思考用什么樣的AI方案進行解決

2)設計產(chǎn)品的后臺數(shù)據(jù)采集功能,保證數(shù)據(jù)的采集更方便機器學習時利用(設計產(chǎn)品時,要分析出機器學習時需要的數(shù)據(jù)量、數(shù)據(jù)類型以及數(shù)據(jù)特征)

3)與AI訓練師溝通制定數(shù)據(jù)標注規(guī)則

4)與AI工程師進行交流,告知AI工程師需要的AI模型,預期效果,以及與客戶端的數(shù)據(jù)交互需求。與用戶端工程師進行交流,告知AI如何與客戶端進行數(shù)據(jù)交互

5)設計客戶端,推動客戶端開發(fā)實現(xiàn)

6)數(shù)據(jù)訓練機器

準備樣本數(shù)據(jù)(訓練數(shù)據(jù)和測試數(shù)據(jù))--為訓練數(shù)據(jù)打標簽--輸入帶標簽的訓練數(shù)據(jù)--輸入測試數(shù)據(jù)--查看擬合度,或調(diào)整模型參數(shù)--循環(huán)訓練直至達到最佳擬合。

7)檢查訓練后的AI模型是否滿足需求。若不滿足,與AI工程師共同分析問題并找出解決方案

8)將成型的AI產(chǎn)品面對“用戶角色”測試,無問題后上線正式運營

好了,要轉型做一個AI產(chǎn)品經(jīng)理的快學習指南就先到這里了,文末會有知識結構的腦圖下載地址,以及參考文獻、推薦閱讀書籍。希望大家看完老狼的分享后,腦里可形成一個學習大綱,有了清晰的學習思路。

還有一個特別重要的事!如果你看完老狼的分享,還是對AI一無所知,為了讓你沒有白花時間看這篇文章,老狼告訴你一個特別的裝13技巧,當大家都在各種拿AI吹水的時候,你點上一支香煙,45度抬頭,看著那一縷青煙,輕描淡寫地說道:其實AI很簡單,它不過是一個函數(shù)。


云盤分享:腦圖分享--AI PM學習指南大綱



推薦書籍及參考文獻:

培養(yǎng)興趣起點:《三體1,2,3》、《未來簡史》、《奇點臨近》、《機器人時代》、《失控》、《智能時代》、《人工智能:李開復談AI如何重塑個人、商業(yè)與社會的未來圖譜》、《科學的極致-漫談人工智能》、《終極算法》

數(shù)學基礎:《大學高數(shù)》、《數(shù)學之美》、《7日入門微積分》、《程序員的數(shù)學》(簡單數(shù)學入門)、《程序員的數(shù)學-2》(概率與統(tǒng)計)、《程序員的數(shù)學-3》(線性代數(shù))

機器學習理論:《圖解機器學習》、《機器學習-周志華》、《Reinforcement Learning: an Introduction》、《Semi-Supervised Learning Tutorial》、《Reinforcement Learning:An Introduction》

實操:《白話深度學習與TensorFlow》、《TensorFlow實戰(zhàn)》、《Python編程 從入門到實踐》

其他:《人工智能:一種現(xiàn)代的方法》《深入淺出強化學習:原理入門》

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容