什么是中臺
最近一段時間，"中臺"這個概念火起來。感覺過去幾年沒人提的東西，一下子成為了眾人口中的"我們公司已經(jīng)做好多年"的產(chǎn)品。當(dāng)然，很簡單就能查到阿里在15年就提出過"大中臺，小前臺"的定義，大力發(fā)展中臺，但是，很多公司還走在平臺化的路上，中臺，還只是概念。
在公開的資料里，對中臺沒有什么明確的定義(一如"云"的定義一樣，籠統(tǒng)概括)，按照我的理解，就是前臺(具體業(yè)務(wù))與后臺(基礎(chǔ)服務(wù))之間的，既貼近業(yè)務(wù)，又能抽取共性的部分組成的。核心詞是通，把公司各個產(chǎn)品從孤舟鏈接起來，鐵鎖連舟，互通有無。
中臺包括業(yè)務(wù)中臺，移動中臺和數(shù)據(jù)中臺
- 業(yè)務(wù)中臺
公司中各個產(chǎn)品的用戶信息/訂單/支付等信息打通，更利于子產(chǎn)品的發(fā)展。 - 移動中臺
一如開發(fā)游戲的unity引擎，移動中臺的重點是平臺無關(guān)，包括客戶端開發(fā)框架/網(wǎng)絡(luò)/測試/運維/消息推送等內(nèi)容。能做到快速適應(yīng)各種平臺。 - 數(shù)據(jù)中臺
對數(shù)據(jù)比較熟悉，數(shù)據(jù)中臺重點說一下。
數(shù)據(jù)中臺
如果說業(yè)務(wù)是按產(chǎn)品獨立的，那數(shù)據(jù)就有可能是按照功能獨立的。數(shù)據(jù)孤島現(xiàn)象非常明顯，使用數(shù)據(jù)難度很大。在此基礎(chǔ)上，數(shù)據(jù)中臺應(yīng)運而生。
一言以蔽之，數(shù)據(jù)中臺，就是和數(shù)據(jù)相關(guān)的內(nèi)容整合到一起，對外提供一站式的數(shù)據(jù)服務(wù)。
數(shù)據(jù)相關(guān)的內(nèi)容，包括
- 基礎(chǔ)服務(wù)
基本的大數(shù)據(jù)框架，Hadoop，spark，hbase，等的安裝優(yōu)化維護。
作為服務(wù)器的硬件，依然可以由基礎(chǔ)架構(gòu)部門負責(zé)。
- 日志規(guī)范
對公司各個產(chǎn)品的日志制定唯一規(guī)范，包括共用日志統(tǒng)一名稱，非共有日志命名規(guī)則等。 -
數(shù)據(jù)倉庫
數(shù)據(jù)接入，ETL，數(shù)據(jù)倉庫，數(shù)據(jù)主題。 -
數(shù)據(jù)分析/數(shù)據(jù)挖掘/用戶畫像
全局分析/產(chǎn)品分析/公共畫像/產(chǎn)品畫像。 -
數(shù)據(jù)工具
報表系統(tǒng)/多維查詢系統(tǒng)/元數(shù)據(jù)/調(diào)度/質(zhì)量監(jiān)控。
數(shù)據(jù)流程以及工具平臺架構(gòu)圖:
雖然這就是一個標(biāo)準(zhǔn)的數(shù)據(jù)流圖，但是對于不同時間段，不同數(shù)據(jù)量級，不同需求緊急度的公司，當(dāng)然有不同的處理架構(gòu)方法。
想象一下下面幾個公司，應(yīng)該怎么辦。
- 初創(chuàng)公司，產(chǎn)品上線只有需要看到數(shù)據(jù)
- 拿到融資，產(chǎn)品穩(wěn)定，用戶量上來了，基于更方便以及更安全的角度考慮，需要自建數(shù)據(jù)中心。
- 已經(jīng)有數(shù)據(jù)團隊，和比較成熟的大數(shù)據(jù)平臺。
我的建議
- 接入第三方統(tǒng)計平臺，比如GA，百度統(tǒng)計，友盟等，根據(jù)規(guī)則發(fā)送數(shù)據(jù)，查看統(tǒng)計結(jié)果。
- 從無到有，需要一個時間，直接給一個完整的數(shù)據(jù)架構(gòu)圖，因為東西太多，讓人有無從下手之感，可能一個季度過去了，還沒有什么產(chǎn)出，期間業(yè)務(wù)團隊怎們辦。這種情況下，要雙管齊下，按部就班搭建數(shù)據(jù)中心平臺工具的時候，另外建立數(shù)據(jù)流，沒有flume+kafka收集數(shù)據(jù)，就定時在業(yè)務(wù)服務(wù)器scp/rsync數(shù)據(jù)到數(shù)據(jù)服務(wù)器，沒有mr/spark來做解析，就手寫java/python甚至shell來解析，聚合數(shù)據(jù)，沒有olap平臺，就把數(shù)據(jù)寫到mysql里，進行展示。數(shù)據(jù)建設(shè)的過程，不應(yīng)該影響業(yè)務(wù)團隊的數(shù)據(jù)使用。(自從16年開源的clickhouse問世之后，這個過程變得簡單太多了)。
- 沒說的，根據(jù)需求，缺什么模塊就加什么模塊吧。
總之，數(shù)據(jù)工作不是一成不變的，因地制宜才能更好的建設(shè)。
小結(jié)
這些所有的事情，都不是新的工作內(nèi)容。數(shù)據(jù)從產(chǎn)生到使用，線路很長，不同部門的人都參與其中的不同模塊，每個人只關(guān)注自己負責(zé)這一小塊，知其然不知其所以然，想了解更多，橫跨多個部門的結(jié)構(gòu)也讓人望而卻步，對個公司以及個人發(fā)展都不友好。如果大家在一個架構(gòu)里面，獨立于業(yè)務(wù)來對數(shù)據(jù)進行處理，才真是一站式的數(shù)據(jù)服務(wù)。
