接著上次的數(shù)據(jù)流水線，從數(shù)據(jù)收集到處理，屬于傳統(tǒng)大數(shù)據(jù)基礎(chǔ)架構(gòu)的范疇；從特征處理到算法訓(xùn)練，再到算法打分，就是AI系統(tǒng)的特有部分了，這一段的流水線要想高效運(yùn)轉(zhuǎn)，需要解決算法和工程人員的技能偏差問(wèn)題。

這個(gè)過(guò)程會(huì)涉及到目標(biāo)定義、算法訓(xùn)練、調(diào)優(yōu)和評(píng)估這樣對(duì)算法和數(shù)學(xué)要求較高的部分；又會(huì)涉及到大數(shù)據(jù)量、大計(jì)算量的數(shù)據(jù)問(wèn)題，以及高并發(fā)、低延遲的在線服務(wù)問(wèn)題，需要很好的協(xié)作。

參考康威定律，協(xié)作的高需求，就會(huì)產(chǎn)生對(duì)系統(tǒng)支撐的高需求，工程人員通過(guò)系統(tǒng)功能的開(kāi)發(fā)，給算法人員提供相關(guān)技術(shù)的支持，這就催生了算法平臺(tái)。

先說(shuō)產(chǎn)品形態(tài)

算法平臺(tái)面臨的需求包括幾類不同的用戶：

（A）資深算法工程師

這些算法專家，對(duì)算法非常熟悉，工作重點(diǎn)在于理解業(yè)務(wù)和優(yōu)化迭代，對(duì)算法平臺(tái)的需求重點(diǎn)在于上述數(shù)據(jù)量、計(jì)算量和服務(wù)能力。

平臺(tái)的挑戰(zhàn)，在于將這些用戶從單機(jī)的開(kāi)發(fā)環(huán)境，例如python、sas、R，轉(zhuǎn)化為對(duì)平臺(tái)的使用。設(shè)計(jì)的關(guān)注點(diǎn)應(yīng)該在遷移成本，通過(guò)元語(yǔ)、操作的設(shè)計(jì)，讓系統(tǒng)行為與單機(jī)在邏輯上相通，便于理解。

典型的產(chǎn)品形態(tài)是jupyter notebook ? pyspark，與單機(jī)的python非常相似。

（B）初級(jí)算法學(xué)習(xí)者

算法學(xué)習(xí)者，需要發(fā)現(xiàn)和探索算法的表現(xiàn)，以及實(shí)驗(yàn)算法在業(yè)務(wù)問(wèn)題上的適用性。算法平臺(tái)需要支持常見(jiàn)的學(xué)習(xí)路徑，對(duì)相關(guān)組件進(jìn)行封裝，避免增加學(xué)習(xí)負(fù)擔(dān)。

典型的產(chǎn)品形態(tài)是拖拽式的算法pipeline設(shè)計(jì)頁(yè)面，將數(shù)據(jù)處理、特征變換、算法訓(xùn)練和評(píng)估都封裝成組件，提供默認(rèn)參數(shù)并且可以調(diào)整，適合初級(jí)和中級(jí)的算法工程師。

（C）業(yè)務(wù)、分析人員和業(yè)務(wù)系統(tǒng)工程師

這些用戶對(duì)數(shù)據(jù)有基本的認(rèn)知，對(duì)業(yè)務(wù)非常熟悉，了解業(yè)務(wù)目標(biāo)、業(yè)務(wù)手段和評(píng)估方法（包括ABTest）。

對(duì)于他們，算法平臺(tái)的目標(biāo)應(yīng)該是支持端到端的優(yōu)化，從業(yè)務(wù)目標(biāo)到業(yè)務(wù)結(jié)果。

典型的產(chǎn)品形態(tài)是AutoML，給定數(shù)據(jù)和目標(biāo)自動(dòng)訓(xùn)練、調(diào)優(yōu)和評(píng)估，并且支持ABtest方式上線。

FBLearner

有了對(duì)產(chǎn)品形態(tài)的認(rèn)知，系統(tǒng)設(shè)計(jì)就有了目標(biāo)，下次繼續(xù)討論。