?我是來自于XX部的XX,有XX年從業(yè)經(jīng)驗(yàn),目前在XXX任XXX職位,當(dāng)前崗位職責(zé)為?①、通過流程、制度、規(guī)范和工具來維持?jǐn)?shù)據(jù)傳輸、共享、應(yīng)用的秩序;②、從時(shí)效性、準(zhǔn)確性及易用性等方面綜合評(píng)估,構(gòu)建場(chǎng)景化數(shù)據(jù)服務(wù)體系。
? ? ? ?當(dāng)前職級(jí)是XX,在崗XX年,現(xiàn)申請(qǐng)晉升XX。
? ? ? 在崗期間的核心成果,主要表現(xiàn)在兩大領(lǐng)域的三個(gè)方面。
? ? ? 特征領(lǐng)域的個(gè)人特征方面:
? ? ? 一是重構(gòu)了人行特征的數(shù)據(jù)加工鏈路,人行特征的準(zhǔn)確率提升至XX%,衍生效率提升了XX倍。
? ? ? 二是優(yōu)化了特征生產(chǎn)的流程,特征生產(chǎn)耗時(shí)由需XX下將至僅需XX。
? ? ? 特征領(lǐng)域的企業(yè)特征方面:
? ? ? 從0到1引入了企業(yè)數(shù)據(jù)加工平臺(tái),在一年內(nèi),將企業(yè)域的特征數(shù)量由XX個(gè)提升至XXXX個(gè)。
? ? ? 資源治理領(lǐng)域,主動(dòng)承擔(dān)資源治理工作,構(gòu)建資源治理的體系,搭建虛擬組織,推動(dòng)XX個(gè)大類XXX個(gè)小項(xiàng)的工作落地。XXX年,存儲(chǔ)資源壓降了XXPB,轉(zhuǎn)化成金額,約節(jié)省了XXX萬元。
? ? ? 下面我將就核心成果展開敘述,作為能力自評(píng)的佐證。
? ? ? 個(gè)人特征:
? ? ? ?一、在特征投產(chǎn)效率提升上,一開始接觸的時(shí)候,就覺得比較詭異,在特征已經(jīng)開發(fā)驗(yàn)證完的情況下,配置上線竟然還需要一周多。深入了解后,發(fā)現(xiàn)特征配置上線的操作非常技術(shù),需要相關(guān)人員了解json技術(shù)術(shù)語(yǔ),相關(guān)配置參數(shù)約有XX個(gè)。
? ? ? ?從產(chǎn)品的角度來講,直接將技術(shù)過程不經(jīng)組織的直接暴露給用戶確實(shí)不是一個(gè)好的設(shè)計(jì)。特征上線,本質(zhì)上就是將一個(gè)服務(wù)的出入?yún)⑦M(jìn)行映射,映射后的出參即是變量。基于此,我重新梳理了下特征需求模板,將出入?yún)⒌亩x在需求提出的時(shí)候就確定好,入?yún)⑿枰诂F(xiàn)有特征池里存在,出參不能在現(xiàn)有特征池里存在。提出方基于這些簡(jiǎn)單的判斷就可以準(zhǔn)確填寫。然后協(xié)同海納的產(chǎn)研進(jìn)行服務(wù)聲明的升級(jí),風(fēng)控系統(tǒng)這邊根據(jù)服務(wù)的聲明,進(jìn)行變量一鍵同步注冊(cè),點(diǎn)個(gè)按鈕就能夠完成特征的配置上線。功能上線后,特征開發(fā)團(tuán)隊(duì)在開發(fā)完后,會(huì)順便完成特征的配置工作。不再需要特征配置及測(cè)試團(tuán)隊(duì)的介入,釋放了XX資源。
? ? ? ?在人行特征衍生上,歷史使用的是JAVA語(yǔ)言進(jìn)行人行特征開發(fā),每提一批變量均需要JAVA團(tuán)隊(duì)的排期,整體開發(fā)時(shí)間很長(zhǎng),XX年到XX年N年時(shí)間,在線服役的人行特征僅XX個(gè)。XX年初開始ALL? IN SQL,SQL的開發(fā)效率和驗(yàn)證難度均要優(yōu)于。但在一開始落地的SQL版方案里,忽略了數(shù)據(jù)同步與數(shù)據(jù)加工的順序性,導(dǎo)致人行報(bào)文過大時(shí),計(jì)算的準(zhǔn)確率就出現(xiàn)了問題。XX年初分析時(shí),發(fā)現(xiàn)了特征計(jì)算準(zhǔn)確率的問題;后續(xù)在SQL版的數(shù)據(jù)鏈路上進(jìn)行了修復(fù)。方案升級(jí)后特征的準(zhǔn)確率達(dá)到了XX%。
? ? ? 企業(yè)特征:
? ? ? 企業(yè)數(shù)據(jù)具有“多,厚,臟”的特性。老的企業(yè)數(shù)據(jù)加工鏈路非常不穩(wěn)定,以銀稅數(shù)據(jù)加工鏈路為例,特征加工全過程分散在三個(gè)系統(tǒng)里,三個(gè)系統(tǒng)的管理規(guī)則是獨(dú)立的,沒辦法做統(tǒng)籌。同時(shí)特征加工環(huán)節(jié)控制不了取什么數(shù)據(jù),只能推什么數(shù)據(jù)就用什么數(shù)據(jù)。經(jīng)常出問題的都是數(shù)據(jù)拉取那個(gè)環(huán)節(jié),第一種情況,沒推數(shù)據(jù)就來調(diào)特征加工結(jié)果,第二種情況,同一廠商或者不同廠商的數(shù)據(jù)重復(fù)推送,加工使用的數(shù)據(jù)就亂了,計(jì)算結(jié)果就出現(xiàn)了偏差。
? ? ? ?基于以上現(xiàn)狀,引入了企業(yè)域數(shù)據(jù)加工平臺(tái),這個(gè)平臺(tái)在設(shè)計(jì)上將數(shù)據(jù)拉取的主動(dòng)權(quán)掌握到了自己手上,風(fēng)控僅需調(diào)用想使用的特征,企業(yè)域準(zhǔn)入校驗(yàn)通過后,就會(huì)去獲取數(shù)據(jù),清洗數(shù)據(jù),構(gòu)建標(biāo)準(zhǔn)表,加工特征,返回給風(fēng)控。因?yàn)樽隽藬?shù)據(jù)分層的設(shè)計(jì),基于標(biāo)準(zhǔn)層的數(shù)據(jù)分析及特征衍生的效率也極大的提升了。
? ? ? 特征管理的規(guī)劃上:
? ? ? 目前特征的數(shù)據(jù)加工鏈路已基本穩(wěn)定。將進(jìn)入特征資產(chǎn)運(yùn)營(yíng)管理階段。XXX年底盤點(diǎn)過一次在線特征,目前特征數(shù)量只增不減,整體有XX個(gè)的特征。目前哪些特征價(jià)值高,哪些特征加工慢,哪些特征要下線均是處于一個(gè)混沌狀態(tài)。今年我做了特征資產(chǎn)管理的規(guī)劃,在特征資產(chǎn)的屬性上,主要會(huì)收集特征基礎(chǔ)屬性、特征應(yīng)用約束等X個(gè)方面的XX個(gè)資產(chǎn)屬性。對(duì)存量特征資產(chǎn)屬性進(jìn)行盤點(diǎn),新增特征資產(chǎn)時(shí)需要補(bǔ)充。
? ? ? 探索對(duì)特征數(shù)據(jù)資產(chǎn)的運(yùn)營(yíng),主要分為六個(gè)環(huán)節(jié),從挖掘到生產(chǎn)到應(yīng)用到監(jiān)控到評(píng)價(jià)迭代到下線。每一個(gè)環(huán)節(jié)均有其相對(duì)應(yīng)的規(guī)范,與信管就規(guī)范拉齊后,推動(dòng)工具落地,進(jìn)行過程管理。
? ? ? 營(yíng)銷標(biāo)簽:
? ? ?標(biāo)簽加工最大的問題,一個(gè)是標(biāo)簽延遲,一個(gè)是標(biāo)簽數(shù)據(jù)存在不一致性。其核心問題是技術(shù)架構(gòu)設(shè)計(jì)不合理,數(shù)據(jù)會(huì)在多種組件間建。同時(shí)缺少必要的監(jiān)控預(yù)警手段。
? ? ? 在歷史建設(shè)過程,是基于滿足業(yè)務(wù)需求為主,整體的建設(shè)是搭積木式的,缺少頂層設(shè)計(jì)。當(dāng)前階段適宜進(jìn)行技術(shù)架構(gòu)重構(gòu)。
? ? ? 資源治理:
? ? ? 資源治理緣起于大家總問為什么跑數(shù)這么慢?一開始做了調(diào)研,發(fā)現(xiàn)大家普遍用的表和邏輯均沒有那么復(fù)雜,懷疑是資源問題導(dǎo)致的,之后聯(lián)合我們集群管理的工程師,進(jìn)行了資源使用埋點(diǎn)采集發(fā)現(xiàn)集群絕大部分時(shí)段的資源占用都在XX以上。
? ? ? 我這邊主動(dòng)承擔(dān)了資源治理的工作,開始著手梳理。首先就是了解資源使用的原理,資源分為存儲(chǔ)和計(jì)算,存儲(chǔ)是表在占用,計(jì)算是任務(wù)在占用。治理的重點(diǎn)就在表和任務(wù)。調(diào)研了目前表及任務(wù)使用的現(xiàn)狀,涉及到的平臺(tái),其建設(shè)均有一個(gè)共同點(diǎn),建設(shè)的過于技術(shù)而缺乏管理?;谝呀?jīng)既成事實(shí)的現(xiàn)狀,無法拿一個(gè)成熟的管理體系照搬。故建議通過專項(xiàng)治理積攢經(jīng)驗(yàn),形成規(guī)范,然后再促進(jìn)工具升級(jí)迭代,最終進(jìn)入常態(tài)化運(yùn)營(yíng)的階段。
? ? ? ? 資源治理工作開展需要資源支持,提報(bào)審批通過了資源治理專項(xiàng)項(xiàng)目,正式以虛擬組織的方式推進(jìn)資源治理相關(guān)事項(xiàng)。
? ? ? ? ?由于是虛擬組織,大家或多或少有些抵觸情緒。為了拉齊共識(shí),邀請(qǐng)了行業(yè)專家給大家培訓(xùn),會(huì)后有人問我,數(shù)據(jù)領(lǐng)域需要這么多規(guī)范呀,我就知道這次培訓(xùn)的效果還是很明顯的。確實(shí)第三方權(quán)威對(duì)于虛擬組織拉齊共識(shí)來講作用巨大。
? ? ? ?XXX年資源治理除了節(jié)省XX萬元外,其他方面均有顯著成果,尤其在能力建設(shè)的長(zhǎng)治久安上,我們上線了任務(wù)分類審批、腳本規(guī)范化檢測(cè)工具等多項(xiàng)功能。
? ? ? ? XXX年大數(shù)據(jù)部同樣部署了相關(guān)的治理專項(xiàng),至此治理的體系和思路得以延續(xù),今年我作為咨詢顧問參與各個(gè)治理項(xiàng)目。
? ? ? ? 期望XXX年可以啟動(dòng)自動(dòng)化治理的建設(shè)。