發(fā)簡信
IP屬地：遼寧
-
-
spark-shuffle原理&調(diào)優(yōu)spark-shuffle Shuffle就是對數(shù)據(jù)進(jìn)行重組，由于分布式計(jì)算的特性和要求，在實(shí)現(xiàn)細(xì)節(jié)上更加繁瑣和復(fù)雜在MapReduce框架，Shuffle是連接Map和Re...
-
-
-
【ES】ElasticSearch 深入分片
@[toc] 一、分片介紹 分片是 Elasticsearch 在集群中分發(fā)數(shù)據(jù)的關(guān)鍵。 把分片想象成數(shù)據(jù)的容器。文檔存儲在分片中，然后分片分配到集群中的節(jié)點(diǎn)上。當(dāng)集群擴(kuò)容或...
-
hbase Cannot get replica 0 location for {"cacheBlocks":true,"totalColum
項(xiàng)目中有2個(gè)定時(shí)任務(wù)要執(zhí)行，并且調(diào)用相同的公共類查詢hbase 公共類的代碼如下： 上線后，報(bào)錯(cuò)：error日志：2021-02-07 15:27:18 [task-2] E...
-
##探求ETL本質(zhì)
【福利】探求ETL本質(zhì)http://mp.weixin.qq.com/s?__biz=MjM5MTYwMjI3Mw==&mid=2652093433&idx=1&sn=bd5...
-
我是簡詩評論員葡萄，我用打油詩寫評論<br><br>--------<br>【我正在發(fā)起《簡友百分百》活動，每期100人愛心傳遞簡書貝??】<br><a href="http://www.itdecent.cn/p/ac18f0c18027" rel="nofollow" target="_blank">http://www.itdecent.cn/p/ac18f0c18027</a><br><br>--------<br>【坐標(biāo)上海，程序員一枚，已婚/已育/已生白頭發(fā)，賺鉆/攢錢/買簡書合伙人嘍......】
-
使用mapreduce批量導(dǎo)入數(shù)據(jù)到hbase異常匯總
由于項(xiàng)目中的hadoop、hbase版本升級，將原來的代碼中的maven替換為springboot，方便后續(xù)基于springboot做一些連接、整合等操作上線報(bào)錯(cuò)：java....
-
maven-shade-plugin 入門指南
1. Why? 通過 maven-shade-plugin 生成一個(gè) uber-jar，它包含所有的依賴 jar 包。 2. Goals GoalDescriptionsha...
-
hbase異常:java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot acce...
項(xiàng)目中需要將hdfs數(shù)據(jù)導(dǎo)入hbase其中：hbase 版本 2.0.2hadoop 版本3.1.1 使用springboot整合hadoop、hbase的maven如下： ...
-
“高深莫測”的Kafka時(shí)間輪原理，原來也就這么回事【摘要】 Kafka時(shí)間輪是Kafka實(shí)現(xiàn)高效的延時(shí)任務(wù)的基礎(chǔ)，它模擬了現(xiàn)實(shí)生活中的鐘表對時(shí)間的表示方式，同時(shí)，時(shí)間輪的方式并不僅限于Kafka，它是一種通用的時(shí)間表示方式，...
-
ambari新增hbase遇到Cannot create /var/run/ambari-server/stack-recommendations
ambari頁面新增hbase服務(wù)，出現(xiàn)Cannot create /var/run/ambari-server/stack-recommendations原因是當(dāng)前用戶在/...
-
HBase原理深入解析（一）----HBase架構(gòu)總覽前言：掌握Hbase的重要性不言而喻，掌握Hbase的設(shè)計(jì)原理更是重中之重。本文是對HBase原理進(jìn)行講解系列文章的開篇，本文盡量詳細(xì)的從整體上介紹HBase的架構(gòu)，并對每個(gè)...
-
hadoop報(bào)錯(cuò)：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.Secret...
使用hive時(shí)，報(bào)錯(cuò)Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.t...
