前言

數(shù)據(jù)時(shí)代，數(shù)據(jù)的多源集成和快速檢索查詢是第一步，配上數(shù)據(jù)分析及可視化才能算窺得大數(shù)據(jù)一角。

創(chuàng)建這個(gè)項(xiàng)目的主要目的一是對(duì)前期工作的一些總結(jié)，二是提升自己。

這里簡(jiǎn)單介紹一下sqlpro這個(gè)項(xiàng)目的核心功能。

本項(xiàng)目基于python的flask web框架。提供簡(jiǎn)單的頁面（起初準(zhǔn)備用vue寫前端，奈何自身能力所限，遂放棄。依然基于flask+jinja2的mvt模式）。

對(duì)于數(shù)據(jù)查詢引擎部分，因?yàn)樾枰С侄鄶?shù)據(jù)源，所以選用了presto。presto是一個(gè)優(yōu)秀的支持多種數(shù)據(jù)源聯(lián)合查詢的數(shù)據(jù)查詢引擎。

可視化部分選用了pyecharts進(jìn)行集成。方便完成多種數(shù)據(jù)圖表的展示，由于前端能力薄弱，只開放了一些通用設(shè)置，還需繼續(xù)完善。

功能特性

1. 動(dòng)態(tài)添加數(shù)據(jù)源，支持多數(shù)據(jù)源聯(lián)合查詢
2. 數(shù)據(jù)處理統(tǒng)一使用pandas庫，方便二次開發(fā)
3. 基于pyecharts的可視化模塊，圖表類型齊全
4. dashboard構(gòu)建及鏈接分享
5. data wrangling功能（后續(xù)支持）
6. 在線數(shù)據(jù)錄入及數(shù)據(jù)下載（后續(xù)支持）

當(dāng)前版本主要實(shí)現(xiàn)了基本的數(shù)據(jù)源管理，數(shù)據(jù)查詢，數(shù)據(jù)可視化及數(shù)據(jù)儀表板等功能。在后面的迭代過程中會(huì)以data wrangling作為主要功能，方便數(shù)據(jù)的清洗和預(yù)處理。

項(xiàng)目展示

先上圖，沒圖說個(gè)雞兒。
數(shù)據(jù)源管理及查詢

home.png

數(shù)據(jù)可視化-添加圖例

chart.png

數(shù)據(jù)可視化-圖例列表

chartlist.png

數(shù)據(jù)儀表盤及鏈接分享

dashboard.png

git倉庫地址：https://github.com/Ji3jin/sqlpro

總結(jié)

本文沒有過多的討論該項(xiàng)目的實(shí)現(xiàn)原理，感興趣的可以看看源碼，比較簡(jiǎn)單。有興趣的話可以參與進(jìn)來一起哦。
同時(shí)，該項(xiàng)目也會(huì)持續(xù)更新，希望未來可以加入更多實(shí)用的功能。

我就是個(gè)菜雞～歡迎關(guān)注微信公眾號(hào)： 叁金大數(shù)據(jù)