發(fā)簡(jiǎn)信
IP屬地：江西
-
SparkSQL讀取Hive數(shù)據(jù)插入Redis
（1）背景目前使用Python讀取Hive表，解析轉(zhuǎn)換之后并發(fā)插入Redis，使用fetchone方法讀取速度較慢，Python轉(zhuǎn)換處理的速度也...
-
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersis...
-
Spark Yarn-cluster與Yarn-client在Spark中，有Yarn-Client和Yarn-Cluster兩種模式可以運(yùn)行在Yarn上，通常Yarn-cluster適用于生產(chǎn)環(huán)境，而Y...
-
Caused by: java.nio.channels.ClosedChannelException
多個(gè)分區(qū)表報(bào)錯(cuò)：Caused by: java.nio.channels.ClosedChannelExceptionat org.apache...
-
Unable to close OrcFileMergeOperator
報(bào)錯(cuò)：Caused by: java.io.IOException: org.apache.hadoop.hive.ql.metadata.Hi...
-
Hive插入多個(gè)分區(qū)時(shí)OOM故障解決記錄
一、故障情景 基于Hive的數(shù)據(jù)倉(cāng)庫(kù)中需要做一張累積快照表，記錄了客戶(hù)發(fā)生各個(gè)行為的具體日期，比如激活日期、注冊(cè)日期、申請(qǐng)日期、創(chuàng)建訂單日期等等...
-
數(shù)據(jù)倉(cāng)庫(kù)中如何做增量處理
為什么做增量數(shù)據(jù)量大，只需要增量最新被更改的數(shù)據(jù)。 如何做增量（1）insert into比如行為數(shù)據(jù)，發(fā)生一條記錄就插入一條，數(shù)據(jù)不會(huì)被upd...
-
在數(shù)據(jù)倉(cāng)庫(kù)中如何做分桶
為什么分桶 （1）獲得更高的查詢(xún)處理效率。桶為表加上了額外的結(jié)構(gòu)，Hive在處理有些查詢(xún)時(shí)能利用這個(gè)結(jié)構(gòu)。具體而言，連接兩個(gè)在（包含連接列的）相...
-
在數(shù)據(jù)倉(cāng)庫(kù)中如何做分區(qū)表
為什么做分區(qū) 分區(qū)表將數(shù)據(jù)組織成分區(qū)，主要可以提高數(shù)據(jù)的查詢(xún)速度。 如果把一年或者一個(gè)月的日志文件存放在一個(gè)表下，那么數(shù)據(jù)量會(huì)非常的大，當(dāng)查詢(xún)這...