發(fā)簡信
IP屬地：北京
-
Ownership與事情推動的能力模型在中等規(guī)模以上公司中，跨團隊協(xié)作是非常常見的事情，這種協(xié)作中，總會需要一個owner來全局把控，推動事情不斷取得進展。 一般情況下，這個角色會由...
-
Spark Join優(yōu)化-BucketJoin實現(xiàn)偶然讀取到了字節(jié)跳動關(guān)于Spark做的一些優(yōu)化，發(fā)現(xiàn)其中一項被稱為BuckedtJoin的優(yōu)化項 傳送門:Spark SQL 在字節(jié)跳動數(shù)據(jù)倉庫...
-
ES:reindex中的坑
吐槽一個ES-reindex遷移的大坑 在做ES跨集群遷移的時候，用到了ES的reindex進行數(shù)據(jù)遷移，查了很多資料，包括官方文檔，比如： h...
-
金融筆記-美元潮汐
最近老比登不顧他國的死活，給自己整了個1.9萬億救助計劃及4萬億的基建激勵計劃。相當于變相贏錢，可能會帶來通貨膨脹。 而我完全看不懂，也不知道對...
-
Kafka-百萬級吞吐量的秘密？Kafka作為一款分布式的消息隊列，是如何做到百萬級TPS呢？，用了哪些黑科技才能做到如此這般獨孤求敗呢？ 1 頁緩存 將磁盤的數(shù)據(jù)緩存到內(nèi)存中...
-
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序，總會出現(xiàn)部分Executor上請求broadcast不成功的錯誤，鑒于此，我專門走讀了一...
-
Spark-窗口函數(shù)實現(xiàn)原理及各種寫法
平時使用窗口函數(shù)最多的情況就是-根據(jù)某個字段分組，取組內(nèi)的TopN(也可能是隨機取N條)，在沒接觸窗口函數(shù)之前，使用的是groupByKey+f...
-
Spark3-AQE-數(shù)據(jù)傾斜Join優(yōu)化
Adaptive Query Exection(自適應(yīng)查詢計劃)簡稱AQE，在最早在spark 1.6版本就已經(jīng)有了AQE;到了spark 2....
-
Pands導(dǎo)出excel
本文介紹使用Pandas導(dǎo)出Excel，并添加一些簡單的格式 1 dataframe.to_excel導(dǎo)出Excel 在一個excel中寫入多個...