在第一章節(jié)系列結(jié)構(gòu)化流的博客文章中,我們展示了怎樣用簡單的方式用結(jié)構(gòu)化流實現(xiàn)端到端的流式ETL程序,將json日志數(shù)據(jù)轉(zhuǎn)換成Parquet格式表。該文強調(diào)構(gòu)建從各種復雜格式數(shù)...
Actor 是 Scala 基于消息傳遞的并發(fā)模型,雖然自 Scala-2.10 其默認并發(fā)模型的地位已被 Akka 取代,但這種與傳統(tǒng) Java、C++完全不一樣的并發(fā)模型...
Star 雖好,可不要貪杯哦。兩年前在做 Annual Review 訂下一年的目標時,想著寫一個開源框架。去年訂下今年的目標時,仍然繼續(xù)著這樣的想法。今年又要制定下一年的目...
為什么Golang需要單獨開發(fā)一個Goroutine? 開銷問題:POSIX的thread API雖然能夠提供豐富的API,例如配置自己的CPU親和性,申請資源等等,線程在得...
前言 都說【同化】是一種很神奇的力量,看著大家都發(fā)新年感悟,大致就是回顧2016展望2017,我也沒把持住自己的【清高】,發(fā)了一段話: 2016年工作上還是有不少進步的 開...
需求背景: 我們需要實現(xiàn)對存儲在HDFS中的Parquet文件執(zhí)行數(shù)據(jù)查詢,并通過REST API暴露給前端以供調(diào)用。由于查詢的結(jié)果可能數(shù)量較大,要求API接口能夠提供分頁查...