在中等規(guī)模以上公司中,跨團隊協(xié)作是非常常見的事情,這種協(xié)作中,總會需要一個owner來全局把控,推動事情不斷取得進展。 一般情況下,這個角色會由團隊leader(或者職級最高...
在中等規(guī)模以上公司中,跨團隊協(xié)作是非常常見的事情,這種協(xié)作中,總會需要一個owner來全局把控,推動事情不斷取得進展。 一般情況下,這個角色會由團隊leader(或者職級最高...
這次,我們以最簡單的方式 socket 網絡模型,一步一步地過渡到 I/O 多路復用。 但我不會具體說到每個系統(tǒng)調用的參數(shù),這方面書上肯定比我說得詳細。 最基本的 Socke...
偶然讀取到了字節(jié)跳動關于Spark做的一些優(yōu)化,發(fā)現(xiàn)其中一項被稱為BuckedtJoin的優(yōu)化項 傳送門:Spark SQL 在字節(jié)跳動數(shù)據(jù)倉庫領域的優(yōu)化實踐 [https:...
吐槽一個ES-reindex遷移的大坑 在做ES跨集群遷移的時候,用到了ES的reindex進行數(shù)據(jù)遷移,查了很多資料,包括官方文檔,比如: https://www.elas...
Kafka作為一款分布式的消息隊列,是如何做到百萬級TPS呢?,用了哪些黑科技才能做到如此這般獨孤求敗呢? 1 頁緩存 將磁盤的數(shù)據(jù)緩存到內存中,把對磁盤的訪問變?yōu)閷却娴脑L...
事情起因是一位同事寫的SparkStreaming程序,總會出現(xiàn)部分Executor上請求broadcast不成功的錯誤,鑒于此,我專門走讀了一下broadcast的相關代碼...
平時使用窗口函數(shù)最多的情況就是-根據(jù)某個字段分組,取組內的TopN(也可能是隨機取N條),在沒接觸窗口函數(shù)之前,使用的是groupByKey+flatMap的操作,數(shù)據(jù)稍微一...
Adaptive Query Exection(自適應查詢計劃)簡稱AQE,在最早在spark 1.6版本就已經有了AQE;到了spark 2.x版本,intel大數(shù)據(jù)團隊進...
本文介紹使用Pandas導出Excel,并添加一些簡單的格式 1 dataframe.to_excel導出Excel 在一個excel中寫入多個sheet頁,必須使用Exce...
本文使用以下表做測試例子 1 版本9.5 之后 insert on conflict do)。當插入遇到約束錯誤時,直接返回或者改為執(zhí)行UPDATE。 如果希望在插入沖突之后...
1 Task抽象類 org.apache.spark.scheduler.Task提供的抽象方法有: Task中有一個重要的已實現(xiàn)方法Run,會先調用BlockManager...
位于spark-core模塊的org.apache.spark.memory.TaskMemoryManager 1 簡介 TaskMemoryManager用于管理單個任務...
在Spark中,只要涉及到非Partition級別的數(shù)據(jù),都會有一個Block的概念,而這里的Block并不是HDFS的Block,而是Spark內部為了數(shù)據(jù)存儲而設立的一個...
今天聽同事做關于Docker的技術分享,結束時已經有點晚了,沒法仔細選題,所以就寫一個所有人都知道的小知識點吧。 checkpoint(檢查點)和savepoint(保存點)...
你怎么不去知乎洗?
38歲謝娜曬美照,十八姑娘一枝花,和張杰夫妻相十足4月6日,謝娜曬出自己十八歲的美照,發(fā)文感嘆:“哇!十八滴菇涼一朵花,她們說有點像,是么?”謝娜表達了與杰哥結婚這些年來,兩人恩愛甜蜜,越來越有夫妻相了。 謝娜在2007年,...
Elasticsearch數(shù)據(jù)類型及其屬性 一、數(shù)據(jù)類型 字段類型概述 核心類型 1、字符串類型string類型: 在ElasticSearch 舊版本中使用較多,從Elas...
這什么水文?????
當微信變成操作系統(tǒng)的那一天,?蘋果和谷歌才知道,?騰訊有多可怕?一旦沒有天敵,人們就會變得松懈。澳洲的兔子之所以泛濫成災,或許就是因為澳洲沒有翱翔天際的雄鷹。而在操作系統(tǒng)領域,蘋果公司和谷歌公司二分天下,井水不犯河水,日子過得倒也瀟灑。 ...