遇到一個很奇怪的異常，通過 JDBC batch insert 時，會報 Unknown command(27) 的異常。 而且這個問題很容易復(fù)現(xiàn)，復(fù)現(xiàn)例子： 建表語句 寫入...
發(fā)簡信
IP屬地：云南
-
奇妙的 JDBC batch insert 到 Doris 異常的問題 -
Kafka GetOffsetShellparseOffsetSpec 根據(jù) time 配置解析出獲取 offset 的方式，earliest、lastest或者指定的時間戳 然后通過 KafkaAdminClie...
-
人家說的哪兒不對你倒是說啊，上來就這個不對那個不對的，你也不說個對的
深入理解 Scala 中的閉包（Closures）
摘要 本文通過 Scala 語言來實現(xiàn)一個簡單的閉包，并且通過 Opcode 來深入理解 Scala 中閉包的實現(xiàn)原理。 一個簡單的例子 閉包，簡單的理解就是：函數(shù)內(nèi)部的變量...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
-
線程池使用及優(yōu)勢
線程池使用及優(yōu)勢 線程池的主要工作是控制運行的線程數(shù)量，處理過程中將任務(wù)放入隊列，然后在線程創(chuàng)建后啟動這些任務(wù)，如果線程數(shù)超過了最大數(shù)量，超出數(shù)量的線程就需要排隊等候，等待其...
-
volatile關(guān)鍵字volatile是Java虛擬機提供的輕量級的同步機制 具有三大特性： 保證可見性 不保證原子性 禁止指令重排 要想講清楚這三大特性，首先要了解JMM JMM JMM(Jav...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException一個異常，該異常為已檢查異常（Checked Exception），可以在編譯期檢查...
-
Spark-task執(zhí)行過程中的序列化
先看一個例子： 運行后結(jié)果： Exception in thread "main" org.apache.spark.SparkException: Task not ser...
-
Spark-通信架構(gòu)
Spark 2.x版本使用Netty通訊框架作為內(nèi)部通訊組間。Spark基于Netty新的RPC框架借鑒了Akka中的設(shè)計，基于Actor模型。 Spark通訊框架中各個組件...
-
Spark-DStream數(shù)據(jù)轉(zhuǎn)換
DStream的原語與RDD類似，分文轉(zhuǎn)換（Transformation）和輸出（Output）兩種，此外還有一些特殊的原語，如：updateStateByKey，trans...
-
Spark-從Kafka讀取數(shù)據(jù)
在工程中引用spark-streaming-kafka-0-10_2.11來使用它。通過包中提供的KafkaUtils可以在StreamingContext和JavaStre...
-
Spark-用戶定義函數(shù)
用戶可以調(diào)用SparkSession的udf功能自定義函數(shù) 用戶定義函數(shù) 加載json數(shù)據(jù)val df = spark.read.json("files\\test.json...
-
Spark-DataFrame的基本操作
在SparkSQL中SparkSession是創(chuàng)建DataFrame和執(zhí)行SQL的入口，創(chuàng)建DataFrame有三種方式：通過Spark的數(shù)據(jù)源進行創(chuàng)建，從一個存在的RDD進...
-
Spark-DataSet的基本操作
DataSet是具有強類型的數(shù)據(jù)集合，需要提供對應(yīng)的類型信息。 創(chuàng)建 創(chuàng)建一個樣例類case class Person(name: String, age: Long) 創(chuàng)建...
-
static關(guān)鍵字
由static關(guān)鍵字修飾的成員稱為靜態(tài)成員，該關(guān)鍵字可以用來修飾： 變量 方法 代碼塊 內(nèi)部類 靜態(tài)成員屬于它所在的類，不同于類的實例成員，每一個對象實例都有一份自己的拷貝，...
-
Spark-SparkSQL介紹SparkSQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊，它提供了2個編程抽象：DataFrame和DataSet，并且作為分布式SQL查詢引擎使用。 不同于Hive將Hiv...
-
Spark-自定義Receiver
可以繼承Receiver類來實現(xiàn)自定義采集器，需要實現(xiàn)方法如下： onStart：接收器啟動方法 onStop：接收器停止方法 同時還要指定Receiver的緩存等級 代碼實...
