抄別人的都抄不明白
Spark Streaming使用Kafka保證數(shù)據(jù)零丟失spark streaming從1.2開(kāi)始提供了數(shù)據(jù)的零丟失，想享受這個(gè)特性，需要滿足如下條件：數(shù)據(jù)輸入需要可靠的sources和可靠的receivers應(yīng)用metadata...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
-
還有你存的時(shí)候是kafka_offset:$groupId 取的時(shí)候是kafka_offset:groupId，這是一張表嗎？能取到數(shù)據(jù)？
sparkstreaming將offset存到hbase
之前一直將offset存到zookeeper，由于streaming程序會(huì)對(duì)zk有大量的讀取操作，故將offset存到zk不太好，現(xiàn)已將offset都改到hbase中 kaf...
-
AnalysisParam這個(gè)類是啥
sparkstreaming將offset存到hbase
之前一直將offset存到zookeeper，由于streaming程序會(huì)對(duì)zk有大量的讀取操作，故將offset存到zk不太好，現(xiàn)已將offset都改到hbase中 kaf...