加油哦!
KStream和KTable是Kafka Streams里內(nèi)建的兩個(gè)最重要的抽象,分別對應(yīng)數(shù)據(jù)流和數(shù)據(jù)庫。Kafka Streams作為流處理技術(shù)的一大賣點(diǎn),即是很好地將存儲...
同為流處理技術(shù),Kafka Streams的API和更為人所熟知的Spark Streaming在很多方面有不少相似之處,比如大量類似的算子。因此,對于一個(gè)有Spark經(jīng)驗(yàn)的...
僅僅是一段代碼 Kafka Streams作為集成在Kafka系統(tǒng)中的一個(gè)API,在配合Kafka來進(jìn)行流處理時(shí)有著得天獨(dú)厚的優(yōu)勢。不同于Spark Streaming和Fl...
Docker在很多時(shí)候都可以幫助我們快速搭建想要的開發(fā)環(huán)境,免去了很多安裝配置上的麻煩。在涉及到Apache Kafka的快速demo時(shí),使用Docker Hub上提供的鏡像...
WordCount WordCount 堪稱大數(shù)據(jù)界的HelloWorld,相信不管是Hadoop還是Spark等大數(shù)據(jù)工具的上手實(shí)例,第一個(gè)十有八九是WordCount。 ...
現(xiàn)在開源流處理框架越來越多,大家都熟知的有 Spark Streaming, NiFi, Flink等等。Kafka Streams 也是其中一員。 那么在眾多的流處理框架中...
在搭建數(shù)據(jù)通道(data pipeline)時(shí),由于涉及到:數(shù)據(jù)讀取,數(shù)據(jù)分析,數(shù)據(jù)存儲等等,如果將各個(gè)部分分別容器化,獨(dú)立設(shè)計(jì)各個(gè)模塊,將有助于縮短開發(fā)時(shí)間。 這里以一個(gè)基...
Scala中,使用 to*方法 在很多情況下可以方便地進(jìn)行類型轉(zhuǎn)換。 toString toInt toDouble toFloat toLong Int 到 String ...
Kafka Connect 作為service提供了 REST API 服務(wù),用來: 獲取 Kafka Connect 狀態(tài) 管理 Kafka Connect 配置 Kafk...
文本分析在Spark開發(fā)中非常常見,而正則表達(dá)式又是文本分析中的重要工具,因此對一些常用正則表達(dá)式進(jìn)行總結(jié): \\s Whitespace 空格\\s+ Whit...
Flask是一個(gè)輕便的Web開發(fā)庫,但隨著API開發(fā)但進(jìn)行,越來越多的部分被加入到項(xiàng)目中,為了結(jié)構(gòu)的簡明和日后的可維護(hù)性,更好地組織項(xiàng)目結(jié)構(gòu)勢在必行。 RESTful API...
Model的由來 在 Model與Resource(上) 中,models文件夾下那些對應(yīng)Resource的類,它們的主要任務(wù)是:提供并管理 Resource類下CRUD操作...
REST API設(shè)計(jì)的核心是資源(Resource),圍繞著資源才有了URI和各種各樣的HTTP操作。因此,如何對資源建模就顯得十分重要,這關(guān)系到API能否為使用者提供他們想...
什么是類方法(class method)? Python開發(fā)中,我們更多使用的是實(shí)例方法(instance methods): 如這里的__init__(self),需要se...
資源 Resource 的擺放 在使用Flask-RESTful的Resource類簡化API開發(fā)步驟時(shí),所有的資源都可以通過繼承Resource類來構(gòu)建一個(gè)單獨(dú)的class...