1. 控制reduce端緩沖大小以避免OOM 在Shuffle過程，reduce端task并不是等到map端task將其數據全部寫入磁盤后再去拉取，而是map端寫一點數據，r...
發(fā)簡信
IP屬地：四川
-
Spark故障排除
-
Spark 數據傾斜解決方案
Spark中的數據傾斜問題主要指shuffle過程中出現(xiàn)的數據傾斜問題，是由于不同的key對應的數據量不同導致的不同task所處理的數據量不同的問題。 例如，reduce點一...
-
Spark調優(yōu)常規(guī)性能調優(yōu) 1. 最優(yōu)資源配置 Spark性能調優(yōu)的第一步，就是為任務分配更多的資源，在一定范圍內，增加資源的分配與性能的提升是成正比的，實現(xiàn)了最優(yōu)的資源配置后，在此基礎上...
-
Hive調優(yōu)Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM employees; 在這種情況下，Hiv...
-
SpringCloud Eureka Server配置優(yōu)化
1. Eureka的自我保護 默認情況下，如果EurekaServer在一定時間內（默認90秒）沒有接收到某個微服務實例的心跳，Eureka Server將會移除該實例。但是...
-
Hbase數據模型及其架構原理HBase數據模型 邏輯上，HBase的數據模型同關系型數據庫很類似，數據存儲在一張表中，有行有列。但從HBase的底層物理存儲結構（K-V）來看，HBase更像是一個mul...
-
HDFS架構及其工作原理HDFS架構 NameNode: 就是Master，它就是一個主管，管理者（1）管理hdfs的名稱空間（2）配置副本策略（3）管理數據塊（Block）映射信息（4）處理客戶端...
-
Kafka介紹及其工作原理Kafka是一個分布式，基于發(fā)布/訂閱模式的消息隊列，主要應用于大數據實時處理領域。 基礎架構 為了方便擴展，并提高吞吐量，一個topic分為多個partition 配合分區(qū)...
-
RocketMQ介紹及其工作原理RocketMQ是一個開源的分布式消息中間件。 集群架構與角色 Producer先去NameServer請求，NameServer分配一個Broker給Producer，Pr...
-
Spring源碼剖析（二） - Bean對象的三級緩存前面講到Spring在創(chuàng)建Bean的過程中使用了三級緩存來對Bean對象進行緩存。這個三級緩存是用來解決對象的循環(huán)依賴問題。 什么是對象的循環(huán)依賴？ 舉個例子： class ...
-
Spring源碼分析（一） - 概述以及Bean的創(chuàng)建應用上下文創(chuàng)建流程概覽 源碼剖析 創(chuàng)建Spring應用程序上下文 進入ClassPathXmlApplicationContext構造函數 （1）調用父類構造方法，創(chuàng)建Res...
-
FastDFS工作原理淺析什么是FastDFS FastDFS 是一個 C 語言實現(xiàn)的開源輕量級分布式文件系統(tǒng),作者余慶(happyfish100),支持 Linux、FreeBSD、AID 等 Un...
-
ElasticSearch相關性算分
搜索的相關性算分，描述了一個文檔和查詢語句匹配的程度。ES會對每個匹配查詢條件結果進行算分_score. 打分的本質是排序，需要把最符合用戶需求的文檔排在前面。ES5之前，算...
-
ElasticSearch倒排索引及其原理正排索引：文檔ID到文檔內容和單詞的關聯(lián) 倒排索引：單詞到文檔ID的關系備注：ES對文檔每個字段都有自己的倒排索引，可以指定某些字段不做索引，這樣可以節(jié)省存儲空間，缺點是這個...
-
Redis-Cluster淺析簡述 redis cluster是Redis的分布式解決方案，在3.0版本推出后有效地解決了redis分布式方面的需求. 自動將數據進行分片，每個master上放一部分數據，...
-
Redis內存淘汰策略
當Redis內存超過最大允許的內存之后，Redis就會觸發(fā)內存淘汰策略(閾值可配置) 早期Redis版本：allkeys-random：在所有的緩存中隨機刪除（不推薦）all...
-
Redis緩存穿透，擊穿，雪崩緩存穿透 緩存穿透是指緩存和數據庫中都沒有的數據，而用戶不斷發(fā)起請求。由于緩存是不命中時被動寫的，并且出于容錯考慮，如果從存儲層查不到數據則不寫入緩存，這將導致這個不存在的數...
-
Redis跳表，壓縮表，quicklist跳表(skiplist) 跳表由多層鏈表組成，通過先比較上一層的大小，就可以很快找到該值在下一層的區(qū)間范圍。時間復雜度為log(n). Redis的zset，有序集合，是字典...
-
Redis持久化機制一，RDB 每隔一段時間，把內存中的數據寫入磁盤的臨時文件，作為快照，恢復的時候把快照文件讀進內存。 優(yōu)勢 每隔一段時間備份，全量備份 災備簡單，可以遠程傳輸 子進程備份的時...
-
Redis線程模型在Redis啟動及初始化的時候,Redis會(預先)將連接應答處理器跟"AE_READABLE"事件關聯(lián)起來,接著如果一個客戶端向Redis發(fā)起連接,此時就會產生一個"AE_...