9月底，由 Kyligence 主辦的金融科技沙龍在北京順利召開。這次沙龍的主題是“新一代大數(shù)據(jù)架構(gòu)升級”，Kyligence 特別邀請了企業(yè)代表中國建設(shè)銀行、大地保險的技術(shù)負責(zé)人到場分享大數(shù)據(jù)建設(shè)之路。三十多家銀行、保險、券商的技術(shù)和管理人員出席了此次會議。

Kyligence 自2016年成立以來，有幸服務(wù)國內(nèi)多個領(lǐng)先金融機構(gòu)，招商銀行、建設(shè)銀行、銀聯(lián)、國泰君安、華泰證券、太平洋保險、大地保險等行業(yè)標(biāo)桿。作為業(yè)內(nèi)的廠商，在服務(wù)這些標(biāo)桿企業(yè)的過程中，我們觀察到的未來架構(gòu)將是什么？

以下內(nèi)容節(jié)選自 Kyligence 北區(qū)及交付中心負責(zé)人周濤的現(xiàn)場演講。

企業(yè)數(shù)據(jù)分析架構(gòu)進化

早期，各行業(yè)的數(shù)據(jù)分析架構(gòu)普遍以數(shù)據(jù)集市為主。從2000年初，國內(nèi)開始興起數(shù)倉的建設(shè)，尤其是金融行業(yè)。

到了2010年，大數(shù)據(jù)潮流開始風(fēng)靡，數(shù)據(jù)湖的概念逐漸興起。國內(nèi)的絕大部分行業(yè)特別是金融行業(yè)，都走到了混搭平臺的階段：既有基于傳統(tǒng)數(shù)據(jù)庫或者 MPP 做的數(shù)倉，同時也搭建了基于 Hadoop 技術(shù)框架的大數(shù)據(jù)平臺。但各個金融企業(yè)由于歷史背景、技術(shù)路線不一樣，數(shù)倉和大數(shù)據(jù)兩個平臺分別的定位以及它們之間的差別和關(guān)系也都不一樣。

企業(yè)數(shù)據(jù)分析下一代架構(gòu)是什么？

雖然數(shù)據(jù)驅(qū)動、數(shù)字化轉(zhuǎn)型、數(shù)據(jù)中臺等概念甚囂塵上，但業(yè)內(nèi)對于下一代數(shù)據(jù)架構(gòu)還沒有形成一個標(biāo)準(zhǔn)答案。Kyligence 作為國內(nèi)大數(shù)據(jù)領(lǐng)導(dǎo)廠商，在持續(xù)服務(wù)重量級金融客戶的同時，也在和我們客戶一起，結(jié)合他們的現(xiàn)狀和不同需求，探索下一代企業(yè)數(shù)據(jù)分析架構(gòu)的各種形態(tài)和解決方案。

比如國內(nèi)券商領(lǐng)導(dǎo)者國泰君安，一直以來都沒有建設(shè)集中的數(shù)據(jù)倉庫，數(shù)據(jù)也分散在各種類型的數(shù)據(jù)庫中，但各類數(shù)據(jù)分析需求卻層出不窮、非常旺盛，什么樣的加工能夠快速、標(biāo)準(zhǔn)化、服務(wù)化的滿足業(yè)務(wù)部門的各類數(shù)據(jù)查詢和分析需求，如何能夠?qū)鹘y(tǒng)交易數(shù)據(jù)和用戶行為數(shù)據(jù)相結(jié)合提供融合的數(shù)據(jù)查詢能力，挖掘客戶價值、賦能精準(zhǔn)營銷？

比如作為國內(nèi)零售銀行的標(biāo)桿，招商銀行無論是在傳統(tǒng)數(shù)倉平臺，還是在大數(shù)據(jù)平臺，都進行了巨大的技術(shù)投入和海量的數(shù)據(jù)存儲，但以報表為主的數(shù)據(jù)分析方式，斷然是難以快速響應(yīng)和滿足各業(yè)務(wù)部門、分支行機構(gòu)多樣化、碎片化的數(shù)據(jù)分析需求的，什么樣的架構(gòu)才能調(diào)和多年遺留的各類系統(tǒng)、混搭的技術(shù)架構(gòu)，以一種更優(yōu)雅的方式滿足打通數(shù)據(jù)煙囪、統(tǒng)一數(shù)據(jù)服務(wù)、保護歷史投資等需求？

又比如以開放的科技服務(wù)公司為目標(biāo)進行戰(zhàn)略轉(zhuǎn)型的中國銀聯(lián)，以往的數(shù)據(jù)架構(gòu)和技術(shù)平臺都以某外商傳統(tǒng)的數(shù)倉/BI產(chǎn)品為主，技術(shù)架構(gòu)過時，技術(shù)能力不可控，如何才能在實現(xiàn)自主可控的基礎(chǔ)上，既能保障原有的分析應(yīng)用平滑過渡，保持業(yè)務(wù)的連貫性，又能同時支持戰(zhàn)略轉(zhuǎn)型過程中的業(yè)務(wù)創(chuàng)新和科技輸出需求？

下一代架構(gòu)趨勢

Kyligence 通過和眾多重量級金融客戶一起探索和實踐，認為下一代大數(shù)據(jù)架構(gòu)及解決方案雖然形態(tài)可能各不相同，但都至少需要具備以下三大能力：

第一“數(shù)據(jù)分析民主化”。所謂民主化就是能夠把數(shù)據(jù)分析的能力釋放給一線業(yè)務(wù)人員，甚至是釋放給企業(yè)的外部合作伙伴和客戶。大數(shù)據(jù)時代的顯著特征（相對于數(shù)倉時代），除了以Hadoop為代表的分布式架構(gòu)和技術(shù)組件的快速發(fā)展，還有一個很重要的特征，就是所有人，從企業(yè)到個人，從管理層到一線員工，都開始重視數(shù)據(jù)，渴望數(shù)據(jù)，期望能夠通過數(shù)據(jù)來輔助自己的日常工作和生活。

但數(shù)據(jù)民主化并不是IT 部門簡單粗暴的把數(shù)據(jù)給到業(yè)務(wù)用戶就算實現(xiàn)民主了，這里需要考慮什么樣的數(shù)據(jù)使用方式是這些用戶能夠接受的，系統(tǒng)能不能支撐數(shù)據(jù)用戶暴漲后帶來的高并發(fā)壓力，怎么在不同類型的用戶之間做到合理的數(shù)據(jù)安全管理等多方面問題。

第二，數(shù)據(jù)服務(wù)自助化。目前金融企業(yè)的數(shù)據(jù)服務(wù)主要都是依靠堆人來實現(xiàn)的，但隨著民主化趨勢的深化和數(shù)據(jù)需求的爆發(fā)，必然導(dǎo)致人手緊缺、工作負荷激增，Kyligence認為當(dāng)前大數(shù)據(jù)的主要矛盾是指數(shù)級的數(shù)據(jù)需求和極其緊缺的數(shù)據(jù)人才之間的矛盾，也一直以實現(xiàn)大數(shù)據(jù)分析的自助化、智能化，釋放大數(shù)據(jù)生產(chǎn)力為己任。

第三，數(shù)據(jù)資產(chǎn)的融合化。這跟原本做數(shù)倉的驅(qū)動有點類似，做數(shù)倉是為了實現(xiàn)企業(yè)內(nèi)部業(yè)務(wù)數(shù)據(jù)的集成和融合，形成運營管理、客戶營銷的全局視圖，但隨著移動互聯(lián)網(wǎng)、IoT、5G技術(shù)的快速發(fā)展，企業(yè)面對的局面是數(shù)據(jù)來源越來越多，把所有數(shù)據(jù)集成到一個平臺的思路越來越難以實現(xiàn)，需要我們從數(shù)據(jù)架構(gòu)、從服務(wù)定位的角度去進行思考和探索。

在這樣的數(shù)字化轉(zhuǎn)型趨勢下，Kyligence 能為企業(yè)客戶帶來怎樣的解決方案呢？

1）一站式數(shù)據(jù)賦能

數(shù)據(jù)分析經(jīng)過多年的發(fā)展，各種應(yīng)用方式已經(jīng)有著非常成熟的定義和場景，但多年以來BI最后都成了做報表，很多所謂的大數(shù)據(jù)分析最后也僅僅是做個大屏（更漂亮的報表）。多維分析、自助分析、靈活查詢這些需求受制于數(shù)據(jù)量、算力、分析粒度等因素，最后都被扼殺在需求討論階段。比如說某金融企業(yè)的業(yè)務(wù)部門，一直希望能夠?qū)ψ约旱纳虘暨M行自助分析以進行深度的商戶洞察和業(yè)務(wù)創(chuàng)新。當(dāng)需求提交給 IT 后，面對千萬級的商戶分析粒度和上百個分析維度，IT 一籌莫展，幾經(jīng)交涉后最后提交的方案是“Top100的商戶指標(biāo)報表”。

Kyligence 一直在“數(shù)據(jù)民主化”這個方向上不遺余力的進行創(chuàng)新，通過一站式平臺提供固定報表/儀表盤、聚合分析、明細查詢、靈活查詢等各種分析場景，以滿足各類分析用戶的訴求。同時，為了更好的應(yīng)對金融企業(yè)的內(nèi)部IT環(huán)境，降低數(shù)據(jù)分析的技術(shù)門檻，Kyligence產(chǎn)品不但打通了跟業(yè)內(nèi)各種主流BI工具的連通性和兼容性，更是和目前使用最廣、眾多表哥表姐最喜歡的分析工具——Excel進行了連通和對接，業(yè)務(wù)人員通過Excel就可以直接進行大數(shù)據(jù)分析，不用任何的學(xué)習(xí)成本。

另外，Kyligence 產(chǎn)品從開始設(shè)計的第一天起，就把 API 作為標(biāo)準(zhǔn)的對外接口，不僅僅是數(shù)據(jù)查詢、數(shù)據(jù)導(dǎo)出，所有的功能（設(shè)計、開發(fā)、調(diào)度、管理）都可以通過API接口來進行調(diào)用，可以很容易的集成到企業(yè)的整體IT架構(gòu)里，也可以很順暢的融入到目前以微服務(wù)為主流的數(shù)據(jù)共享方式，配合金融企業(yè)進行“開放銀行”、“API 經(jīng)濟”等業(yè)務(wù)創(chuàng)新和戰(zhàn)略轉(zhuǎn)型。

2）智能建模及優(yōu)化

有了數(shù)據(jù)民主化的能力，再結(jié)合大家熟知的Kyligence產(chǎn)品最核心的高性能（亞秒級）交互式分析能力，是不是就可以做好數(shù)據(jù)服務(wù)了？如果只是一次性工作，也許是可以的。

但大家都知道，數(shù)據(jù)服務(wù)不是個一蹴而就的事，相反，這是個持續(xù)周期很長的工作。就好比想要賽車跑的快，各種配置優(yōu)化和參數(shù)調(diào)校必不可少，但隨著賽道路況、車手習(xí)慣的改變，并沒有包打天下的配置模式，需要持續(xù)不斷的進行調(diào)整和優(yōu)化，并且需要具備專業(yè)技術(shù)和豐富經(jīng)驗的專家才能做好。這種自然規(guī)律同樣在Kyligence早期產(chǎn)品上得到了印證，上手和使用很容易，但要持續(xù)用好卻又有一定的技術(shù)門檻。

增強分析近年來成為大數(shù)據(jù)分析的主流發(fā)展方向，期望通過AI技術(shù)和算法來降低數(shù)據(jù)分析復(fù)雜度。

Kyligence 依托客戶群體的不斷擴大和各種應(yīng)用場景的深度使用，我們得以不斷積累客戶的使用場景和優(yōu)化經(jīng)驗。在 Kyligence 最新發(fā)布的 4.0 版本里，我們把這種經(jīng)驗積累轉(zhuǎn)換為算法并結(jié)合AI技術(shù)內(nèi)置在產(chǎn)品里，通過把分析人員作為產(chǎn)品的用戶，在他們使用產(chǎn)品的過程中不斷積累他們的使用場景（SQL）、使用習(xí)慣（頻次）、用戶體驗（響應(yīng)時間）并且結(jié)合產(chǎn)品特征（數(shù)據(jù)），支持智能的建模和優(yōu)化，達到透明的分析加速和運維優(yōu)化，可以極大的降低數(shù)據(jù)服務(wù)人員在開發(fā)過程中的技術(shù)門檻和工作量，從而實現(xiàn)數(shù)據(jù)服務(wù)自主化和智能化的目標(biāo)。這就好比智能汽車，能夠通過傳感器數(shù)據(jù)采集、用戶行為收集等方式來實現(xiàn)自動駕駛。

3）融合新舊數(shù)據(jù)資產(chǎn)

前面已經(jīng)提到過，隨著數(shù)據(jù)源的快速增加，用戶行為、日志等流式數(shù)據(jù)的價值凸顯，期望通過傳統(tǒng)數(shù)據(jù)集成方式在存儲端來打通數(shù)據(jù)、融合數(shù)據(jù)的難度越來越大，并且實現(xiàn)周期也越來越長。而 Kyligence 一直致力于通過對接不同數(shù)據(jù)源，同時支持流式數(shù)據(jù)和批量數(shù)據(jù)等技術(shù)創(chuàng)新，在分析端進行數(shù)據(jù)融合，以更為敏捷、成本更低、見效更快的方式支持金融企業(yè)對新老數(shù)據(jù)資產(chǎn)進行融合分析的需求。

結(jié)語

前面我們談到了數(shù)據(jù)架構(gòu)的演變歷史，以及不同類型金融企業(yè)的數(shù)據(jù)分析架構(gòu)發(fā)展趨勢。Kyligence 公司作為技術(shù)立身的大數(shù)據(jù)廠商，經(jīng)過這幾年的快速發(fā)展和迭代，并且有幸在眾多大型金融企業(yè)接受了惡劣環(huán)境、復(fù)雜生態(tài)的錘煉和鍛造，已經(jīng)打造出適應(yīng)市場需要的成熟產(chǎn)品和解決方案。

但水無常勢，我們不愿去斷言下一代大數(shù)據(jù)架構(gòu)一定是什么樣的。在業(yè)務(wù)轉(zhuǎn)型不斷深化、新技術(shù)層出不窮的今天，無論是大數(shù)據(jù)架構(gòu)、產(chǎn)品以及解決方案都是需要不斷適應(yīng)趨勢進行迭代和演化的。并且，產(chǎn)品和方案難免都會有缺陷，重要的不是完美，而是快速響應(yīng)、修復(fù)問題、靠近完美的速度和能力。

Kyligence 作為國內(nèi)大數(shù)據(jù)領(lǐng)導(dǎo)廠商，在和客戶一起實踐和成長的過程中，除了產(chǎn)品本身，更重要的是形成了高效、完善的產(chǎn)品研發(fā)和管理體系，積累了強大的研發(fā)實力、快速響應(yīng)能力和眾多最佳實踐。使我們能夠、也有信心賦能金融企業(yè)做好數(shù)據(jù)驅(qū)動、科技賦能的戰(zhàn)略轉(zhuǎn)型，在大數(shù)據(jù)時代的每一天都能用專業(yè)的產(chǎn)品和服務(wù)幫助企業(yè)走好數(shù)字化轉(zhuǎn)型的每一小步。