在中等規(guī)模以上公司中，跨團隊協(xié)作是非常常見的事情，這種協(xié)作中，總會需要一個owner來全局把控，推動事情不斷取得進展。 一般情況下，這個角色會由團隊leader(或者職級最高...
發(fā)簡信
IP屬地：北京
-
Ownership與事情推動的能力模型 -
這次答應我，一舉拿下 I/O 多路復用這次，我們以最簡單的方式 socket 網絡模型，一步一步地過渡到 I/O 多路復用。 但我不會具體說到每個系統(tǒng)調用的參數(shù)，這方面書上肯定比我說得詳細。 最基本的 Socke...
-
關注Java編程專題更多干貨等你發(fā)現(xiàn)<br>B站更多學習視頻：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fspace.bilibili.com%2F601601671%2F" target="_blank">https://space.bilibili.com/601601671/</a>
-
Spark Join優(yōu)化-BucketJoin實現(xiàn)偶然讀取到了字節(jié)跳動關于Spark做的一些優(yōu)化，發(fā)現(xiàn)其中一項被稱為BuckedtJoin的優(yōu)化項 傳送門:Spark SQL 在字節(jié)跳動數(shù)據(jù)倉庫領域的優(yōu)化實踐 [https:...
-
ES:reindex中的坑
吐槽一個ES-reindex遷移的大坑 在做ES跨集群遷移的時候，用到了ES的reindex進行數(shù)據(jù)遷移，查了很多資料，包括官方文檔，比如： https://www.elas...
-
Kafka-百萬級吞吐量的秘密？Kafka作為一款分布式的消息隊列，是如何做到百萬級TPS呢？，用了哪些黑科技才能做到如此這般獨孤求敗呢？ 1 頁緩存 將磁盤的數(shù)據(jù)緩存到內存中，把對磁盤的訪問變?yōu)閷却娴脑L...
-
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序，總會出現(xiàn)部分Executor上請求broadcast不成功的錯誤，鑒于此，我專門走讀了一下broadcast的相關代碼...
-
Spark-窗口函數(shù)實現(xiàn)原理及各種寫法
平時使用窗口函數(shù)最多的情況就是-根據(jù)某個字段分組，取組內的TopN(也可能是隨機取N條)，在沒接觸窗口函數(shù)之前，使用的是groupByKey+flatMap的操作，數(shù)據(jù)稍微一...
-
Spark3-AQE-數(shù)據(jù)傾斜Join優(yōu)化
Adaptive Query Exection(自適應查詢計劃)簡稱AQE，在最早在spark 1.6版本就已經有了AQE;到了spark 2.x版本，intel大數(shù)據(jù)團隊進...
-
Pands導出excel
本文介紹使用Pandas導出Excel，并添加一些簡單的格式 1 dataframe.to_excel導出Excel 在一個excel中寫入多個sheet頁，必須使用Exce...
-
PG的Upsert語法多種實現(xiàn)
本文使用以下表做測試例子 1 版本9.5 之后 insert on conflict do）。當插入遇到約束錯誤時，直接返回或者改為執(zhí)行UPDATE。 如果希望在插入沖突之后...
-
Spark源碼[7]-Task結構1 Task抽象類 org.apache.spark.scheduler.Task提供的抽象方法有： Task中有一個重要的已實現(xiàn)方法Run，會先調用BlockManager...
-
Spark源碼[6]-Task內存位于spark-core模塊的org.apache.spark.memory.TaskMemoryManager 1 簡介 TaskMemoryManager用于管理單個任務...
-
Spark源碼[5]-BlockManager
在Spark中，只要涉及到非Partition級別的數(shù)據(jù)，都會有一個Block的概念，而這里的Block并不是HDFS的Block，而是Spark內部為了數(shù)據(jù)存儲而設立的一個...
-
Flink檢查點（checkpoint）、保存點（savepoint）的區(qū)別與聯(lián)系今天聽同事做關于Docker的技術分享，結束時已經有點晚了，沒法仔細選題，所以就寫一個所有人都知道的小知識點吧。 checkpoint（檢查點）和savepoint（保存點）...
-
你怎么不去知乎洗？
38歲謝娜曬美照，十八姑娘一枝花，和張杰夫妻相十足
4月6日，謝娜曬出自己十八歲的美照，發(fā)文感嘆：“哇！十八滴菇涼一朵花，她們說有點像，是么？”謝娜表達了與杰哥結婚這些年來，兩人恩愛甜蜜，越來越有夫妻相了。 謝娜在2007年，...
-
Elasticsearch數(shù)據(jù)類型及其屬性
Elasticsearch數(shù)據(jù)類型及其屬性 一、數(shù)據(jù)類型 字段類型概述 核心類型 1、字符串類型string類型: 在ElasticSearch 舊版本中使用較多，從Elas...
-
這什么水文？？？？？
當微信變成操作系統(tǒng)的那一天,?蘋果和谷歌才知道,?騰訊有多可怕?
一旦沒有天敵，人們就會變得松懈。澳洲的兔子之所以泛濫成災，或許就是因為澳洲沒有翱翔天際的雄鷹。而在操作系統(tǒng)領域，蘋果公司和谷歌公司二分天下，井水不犯河水，日子過得倒也瀟灑。 ...
