大數(shù)據(jù)從業(yè)者<br>更多精彩內(nèi)容請(qǐng)關(guān)注<a href="http://www.itdecent.cn/c/8ce85a28ed54" rel="nofollow" target="_blank">http://www.itdecent.cn/c/8ce85a28ed54</a>
IP屬地：廣東
-
Flink kafka端到端Exactly-Once源碼分析FlinkKafkaProducer實(shí)現(xiàn)了TwoPhaseCommitSinkFunction，也就是兩階段提交。關(guān)于兩階段提交的原理，可以參見(jiàn)《An Overview of...
-
Flink kafka sink源碼解析
初始化 通常添加一個(gè)kafka sink的代碼如下： 初始化執(zhí)行env.addSink的時(shí)候會(huì)創(chuàng)建StreamSink對(duì)象，即StreamSink<T> sinkOperat...
-
Flink StreamTask OperatorChain分析
Flink的作業(yè)StreamTask是任務(wù)執(zhí)行的核心，其執(zhí)行的本質(zhì)即為各個(gè)operator的執(zhí)行，而operator之間又有前后依賴關(guān)系，各operator構(gòu)成一條鏈條（Ch...
-
Flink使用GCS作為state backend
由于項(xiàng)目的原因，需要將Flink運(yùn)行在GCP上，因此File System自然是想使用GCS. 在網(wǎng)上搜了很多，由于眾所周知的原因，國(guó)內(nèi)使用Google Cloud非常少，資...
-
Flink on Yarn模式下的TaskManager個(gè)數(shù)
本文探討Flink on YARN 單一作業(yè)提交模式下的并發(fā)以及Task Manager等特性。 Flink on YARN支持兩種模式，一種是預(yù)先在YARN上啟動(dòng)一個(gè)lon...
-
Flink DataSet和DataStream Print方法的區(qū)別
在Flink example中，有兩個(gè)Wordcount的example特別類似，一個(gè)是batch下的WordCount一個(gè)是streaming下的WordCount，從用法...
-
Flink Checkpoint機(jī)制解析-代碼走讀Flink的Checkpoint機(jī)制是Flink容錯(cuò)能力的基本保證，能夠?qū)α魈幚磉\(yùn)行時(shí)的狀態(tài)進(jìn)行保存，當(dāng)故障發(fā)生時(shí)，能夠備份的狀態(tài)中還原。例如，當(dāng)Flink讀取kafka時(shí)，...
-
Openshift 3.11部署容器化mysqlOKD 3.11 提供了mysql數(shù)據(jù)庫(kù)的catalog，以下為使用okd311從web console拉起mysql的步驟。 創(chuàng)建storage class 如果OKD集群...
-
CentOS7.4離線安裝OpenShift Origin3.11本文參考o(jì)penshift 3.11離線安裝，遇到了一些環(huán)境相關(guān)的問(wèn)題，所以梳理了以下，如果遇到類似問(wèn)題，可以參考。 環(huán)境準(zhǔn)備 硬件環(huán)境公司內(nèi)部虛擬機(jī)3臺(tái) host-10-...
-
K8s service catalog
Service catalog Service catalog: https://github.com/kubernetes-incubator/service-catalo...
-
今天也遇到相同的問(wèn)題 多謝博主的經(jīng)驗(yàn)總結(jié)
Kafka-client 0.10.0 API問(wèn)題
注：本文涉及到的環(huán)境版本為kafka 0.10.0在使用kafka 0.10.0 API獲取consumer offset的時(shí)候，遇到卡住的問(wèn)題，類似KAFKA-3296-A...
-
Kafka-client 0.10.0 API問(wèn)題
注：本文涉及到的環(huán)境版本為kafka 0.10.0在使用kafka 0.10.0 API獲取consumer offset的時(shí)候，遇到卡住的問(wèn)題，類似KAFKA-3296-A...
-
-
TensorFlow模型服務(wù)之Estimator.predict預(yù)測(cè)在使用TensorFlow進(jìn)行建模、訓(xùn)練和預(yù)測(cè)時(shí)，可以使用estimator這樣的高階函數(shù)方便使用?；镜奶茁肥牵?訓(xùn)練 fit 初始化classifer 配置monitor...
-
Learning Apache Flink(BASIC)本文是參考Apache Flink v1.3官方文檔 1. Dataflows Flink的程序包括兩部分，streams和transformations。stream指的就...
-
Numpy在云虛擬機(jī)上crash問(wèn)題在python中使用Pandas和Numpy庫(kù)創(chuàng)建一個(gè)Pandas DataFrame是一個(gè)常見(jiàn)的操作，但就是這一個(gè)常見(jiàn)的操作也會(huì)在特定的場(chǎng)景下遇到問(wèn)題。 筆者在使用Pand...
