基于Spring Batch的大數(shù)據(jù)處理

Step1:使用spring batch批量從mysql業(yè)務(wù)數(shù)據(jù)庫抓取資料并存儲到本地文件,如計算知識點得分率,每一行可以是一個學(xué)生的一次考試的得分情況。

Step2:將步驟一產(chǎn)生的大文件(內(nèi)存無法裝下)切割成N個小文件,適合一次性裝入內(nèi)存。

Step3:依次對這N個小文件進(jìn)行排序(如計算知識點得分率,則按照用戶唯一標(biāo)識的hash值排序),推薦使用快速排序算法。

Step4:使用外歸并排序算法將這N個排序后的小文件合并成一個有序的大文件。

Step5:按順序讀取步驟四產(chǎn)生的大文件,進(jìn)行業(yè)務(wù)計算。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容