發(fā)簡(jiǎn)信
IP屬地：陜西
-
正則表達(dá)式解析包含中英文的unicode字符串
在抽取oracle等數(shù)據(jù)庫(kù)時(shí)，由于編碼問(wèn)題需要處理unicode字符串，將字符串中的特殊符號(hào)和中文還原。例如：如下UNISTR字符串 UNIST...
-
本地用spark訪問(wèn)開(kāi)啟Kerberos認(rèn)證的華為云端hive本地IDEA搭建開(kāi)發(fā)環(huán)境，實(shí)現(xiàn)local模式spark對(duì)開(kāi)啟Kerberos認(rèn)證的云端hive數(shù)據(jù)進(jìn)行讀寫(xiě)操作。 一、環(huán)境版本：本地PC: wi...
-
CDH-hdfs配置HA后，hive查詢報(bào)錯(cuò)在CDH平臺(tái)上配置HA后，hdfs服務(wù)正常運(yùn)行，hive服務(wù)可以正常連接，但是進(jìn)行查詢時(shí)報(bào)錯(cuò)?，F(xiàn)象：查詢時(shí)卡主不動(dòng)，然后報(bào)錯(cuò)顯示舊的那么name...
-
CDH平臺(tái)-Hue集成Oracle報(bào)錯(cuò):no oracle client library found on host:…
在Hue的編輯器中可以集成Oralce進(jìn)行查詢，集成過(guò)程中報(bào)錯(cuò)：no oracle client library found on host:…...
-
Spark SQL UDF函數(shù)的兩種注冊(cè)方式
SparkSQL中可以創(chuàng)建自定義函數(shù)UDF對(duì)dataframe進(jìn)行操作，UDF是一對(duì)一的關(guān)系，用于給dataframe增加一列數(shù)據(jù)的場(chǎng)景。 每次...
-
Spark中Rdd轉(zhuǎn)換為DataFrame的兩種方式
1. Spark SQL中，將已存在的RDD轉(zhuǎn)換為DataFrame的兩種方式。 Inferring the Schema Using Refl...
-
Spark中Rdd、Dataframe、Dataset的區(qū)別1. 概述 本文章將從多個(gè)角度介紹Spark中RDD，DataFrame和Dataset的概念以及它們之間的區(qū)別。例如，數(shù)據(jù)表示，不變性和互操作...
-
SparkSQL DataFrame新增一列的四種方法
SparkSQL中，有時(shí)需要根據(jù)需求基于原數(shù)據(jù)新增一些列，下面介紹一下dataframe新增列的四種方法，根據(jù)情況可采用不同的方法實(shí)現(xiàn)需求。
-
Spark通過(guò)jdbc采用分區(qū)的方式從oracle讀數(shù)據(jù)
spark通過(guò)jdbc可以從oracle中直接讀取數(shù)據(jù)，返回dataframe。有時(shí)由于數(shù)據(jù)量較大，我們可以采用分區(qū)方式通過(guò)jdbc多線程并行從...