一、背景

公司業(yè)務(wù)系統(tǒng)的賬戶資金對(duì)接了第三方存管業(yè)務(wù)，第三方存管指的是銀行與證券公司根據(jù)相關(guān)的法律法規(guī)，為投資者提供的客戶交易結(jié)算資金管理服務(wù)。根據(jù)銀行要求，在每個(gè)交易日閉市后業(yè)務(wù)系統(tǒng)都要將客戶的資金變動(dòng)情況生成清算文件發(fā)送給銀行進(jìn)行資金的清結(jié)算。

在微服務(wù)架構(gòu)下，系統(tǒng)存在多個(gè)業(yè)務(wù)子系統(tǒng)（同一套賬戶體系），那么每個(gè)業(yè)務(wù)子系統(tǒng)發(fā)生的資金變動(dòng)都要進(jìn)行結(jié)算，我們獨(dú)立了一個(gè)結(jié)算子系統(tǒng)，結(jié)算子系統(tǒng)要做的事情就是按照銀行給的資金數(shù)據(jù)統(tǒng)計(jì)規(guī)則統(tǒng)計(jì)各個(gè)業(yè)務(wù)子系統(tǒng)客戶發(fā)生的資金變化情況并生成清算文件，然后與銀行進(jìn)行清結(jié)算。

二、問(wèn)題與挑戰(zhàn)

2.1 數(shù)據(jù)同步并保證數(shù)據(jù)的準(zhǔn)確性

由于各個(gè)業(yè)務(wù)子系統(tǒng)和結(jié)算子系統(tǒng)不在同一個(gè)數(shù)據(jù)庫(kù)，那么我們面臨的第一個(gè)問(wèn)題就是要將各個(gè)業(yè)務(wù)子系統(tǒng)的資金變化數(shù)據(jù)同步至結(jié)算子系統(tǒng)中，由于是每日結(jié)算一次，所以對(duì)數(shù)據(jù)的實(shí)時(shí)性要求并不高，只要在結(jié)算之前能同步完變動(dòng)數(shù)據(jù)即可。數(shù)據(jù)的準(zhǔn)確性指的是結(jié)算子系統(tǒng)的數(shù)據(jù)必須要與業(yè)務(wù)子系統(tǒng)實(shí)際的數(shù)據(jù)一致，不能多一條也不能少一條，否則會(huì)清算失敗。

2.2 滿足靈活應(yīng)對(duì)多變的業(yè)務(wù)場(chǎng)景

業(yè)務(wù)的發(fā)展是多變的，如果系統(tǒng)后續(xù)多增加了幾個(gè)業(yè)務(wù)子系統(tǒng)或者砍掉了幾個(gè)業(yè)務(wù)子系統(tǒng)，結(jié)算子系統(tǒng)最好是不用任何改動(dòng)即可滿足新業(yè)務(wù)的接入或剔除。

2.3 業(yè)務(wù)子系統(tǒng)能快速接入

對(duì)于業(yè)務(wù)子系統(tǒng)來(lái)說(shuō)，想要接入結(jié)算子系統(tǒng)肯定是越簡(jiǎn)單越好，最好是幾行代碼就能搞定。

三、解決方案

3.1 數(shù)據(jù)同步方案

常見(jiàn)的數(shù)據(jù)同步方案包括數(shù)據(jù)庫(kù)同步、數(shù)據(jù)文件同步、遠(yuǎn)程接口獲取、MQ數(shù)據(jù)同步、手工同步。下面就針對(duì)這五種同步方式做簡(jiǎn)單的優(yōu)缺點(diǎn)分析。

image

1）數(shù)據(jù)庫(kù)同步

數(shù)據(jù)庫(kù)同步指的是通過(guò)某種工具將A庫(kù)的數(shù)據(jù)同步到B庫(kù)中，比如ETL工具，MySQL的話，可以考慮canal，canal是阿里巴巴開(kāi)源的MySQL binlog 增量訂閱&消費(fèi)組件。

• 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性較高

• 缺點(diǎn)：實(shí)施起來(lái)較為復(fù)雜；擴(kuò)展性差

2）數(shù)據(jù)文件同步

文件同步指的是業(yè)務(wù)子系統(tǒng)將資金數(shù)據(jù)生成文件放在某個(gè)位置上，比如FTP，而后結(jié)算子系統(tǒng)上FTP取文件解析入庫(kù)。

• 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性高
• 缺點(diǎn)：靈活性不足

3）遠(yuǎn)程接口獲取

各業(yè)務(wù)子系統(tǒng)提供資金數(shù)據(jù)查詢的接口，結(jié)算子系統(tǒng)通過(guò)接口調(diào)用的方式來(lái)獲取數(shù)據(jù)

• 優(yōu)點(diǎn)：比較適合數(shù)據(jù)量較小情況下的數(shù)據(jù)傳輸同步
• 缺點(diǎn)：效率低；靈活性和擴(kuò)展性較差

4）MQ數(shù)據(jù)同步

業(yè)務(wù)子系統(tǒng)在資金數(shù)據(jù)發(fā)生變化時(shí)，通過(guò)MQ準(zhǔn)實(shí)時(shí)地將變化數(shù)據(jù)發(fā)送至結(jié)算子系統(tǒng)，結(jié)算子系統(tǒng)消費(fèi)消息并入庫(kù)。

• 優(yōu)點(diǎn)：靈活可擴(kuò)展，且滿足業(yè)務(wù)子系統(tǒng)快速接入的要求，只需要發(fā)送一條消息即可，結(jié)算子系統(tǒng)只需要關(guān)注消費(fèi)消息并入庫(kù)即可，就算后續(xù)有新增的業(yè)務(wù)子系統(tǒng)接入，結(jié)算子系統(tǒng)也無(wú)需改動(dòng)或少量的改動(dòng)
• 缺點(diǎn)：強(qiáng)依賴于MQ中間件，當(dāng)MQ出現(xiàn)消息阻塞或者宕掉時(shí)，數(shù)據(jù)準(zhǔn)確性無(wú)法保證

5）手工同步

依賴于人工的導(dǎo)出&&導(dǎo)入數(shù)據(jù)，其實(shí)在定義好相關(guān)腳本后，工作量不算太大

• 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性高，可以核對(duì)數(shù)據(jù)
• 缺點(diǎn)：不自動(dòng)化，增加了人工工作量

四、實(shí)施方案

數(shù)據(jù)同步方案

數(shù)據(jù)同步方案可以采用：MQ數(shù)據(jù)同步+手工同步的方式。主要依賴于MQ做數(shù)據(jù)同步，在MQ同步發(fā)生問(wèn)題的情況下，再用手工同步做災(zāi)備方案，一般情況下MQ是沒(méi)有問(wèn)題的。當(dāng)然這種方案主要是考慮到它的靈活性與擴(kuò)展性，再加上實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單。考慮到數(shù)據(jù)的準(zhǔn)確性，其實(shí)數(shù)據(jù)文件同步也是一個(gè)很好的方式。

整體思路

實(shí)現(xiàn)的整體思路為：結(jié)算子系統(tǒng)定義好統(tǒng)一的消息字段，比如用戶編號(hào)、變動(dòng)金額、變動(dòng)時(shí)間、變動(dòng)類型（盈利/虧損/凍結(jié)/解凍）、業(yè)務(wù)來(lái)源等相關(guān)字段。各業(yè)務(wù)子系統(tǒng)按照統(tǒng)一的消息格式發(fā)送消息，結(jié)算子系統(tǒng)統(tǒng)一消費(fèi)入庫(kù)。在發(fā)起結(jié)算前，系統(tǒng)先生成結(jié)算數(shù)據(jù)供運(yùn)營(yíng)核對(duì)，核對(duì)無(wú)誤后，再與銀行發(fā)起結(jié)算。

可能存在的問(wèn)題以及解決方案

因?yàn)榭赡艽嬖谙⑾M(fèi)阻塞的情況，所以在生成結(jié)算文件前，為保證數(shù)據(jù)的準(zhǔn)確性，各業(yè)務(wù)子系統(tǒng)要提供一個(gè)查詢數(shù)據(jù)總條數(shù)與總金額的接口作為數(shù)據(jù)核查的依據(jù)，結(jié)算子系統(tǒng)根據(jù)業(yè)務(wù)來(lái)源調(diào)用對(duì)應(yīng)的業(yè)務(wù)子系統(tǒng)的接口獲取核查數(shù)據(jù)，再與結(jié)算子系統(tǒng)中的數(shù)據(jù)做對(duì)比，如果一致則說(shuō)明業(yè)務(wù)子系統(tǒng)的數(shù)據(jù)全部同步過(guò)來(lái)了，如果不一致，那么則告警需要手工同步。

如果文章對(duì)你有幫助的話，給文章點(diǎn)個(gè)贊吧。

如果有寫(xiě)得不正確的地方，歡迎指出。

文章首發(fā)公眾號(hào)：會(huì)跳舞的機(jī)器人，歡迎掃碼關(guān)注。