Executor內(nèi)存使用 因此Executor的內(nèi)存主要分為三塊： 第一塊是讓task執(zhí)行我們自己編寫的代碼時使用，默認(rèn)是占Executor總內(nèi)存的20%； 第二塊是讓tas...
發(fā)簡信
IP屬地：上海
-
Spark 資源調(diào)優(yōu) -
Spark Repartition 使用
看到一些同學(xué)的Spark代碼中包含了很多repartition的操作，有一些不是很合理，非但沒有增加處理的效率，反而降低了性能。這里做一個介紹。 repartition 從字...
-
因用了Insert into select語句，同事被開除了！
來自：掘金（作者：不一樣的科技宅）原文鏈接：https://juejin.im/post/5e670f0151882549274a65ef 前言 Insert into se...
-
使用marven實現(xiàn)java和scala的互相調(diào)用
1. Java調(diào)用Scala類 整個工程的目錄結(jié)構(gòu)如下： App.java為主程序，由Java語言實現(xiàn)，MyScala.scala為被調(diào)用的類，由Scala語言實現(xiàn)。 App...
-
Eclipse中使用gitEclipse從LUNA版本開始默認(rèn)支持了GIT客戶端，可以在導(dǎo)航菜單中windows --> preferences搜索git查看git相關(guān)配置。Eclipse中對于git...
-
Java漢字轉(zhuǎn)拼音pinyin4j用法
一、工具介紹 pinyin4j 是一個支持將簡體和繁體中文轉(zhuǎn)換到成拼音的Java開源類庫； 1. 功能 支持同一漢字有多個發(fā)音 還支持拼音的格式化輸出，比如第幾聲之類的， 同...
-
斯坦福 CS224d 自然語言處理中文筆記
-
-
Python優(yōu)雅的操作Exchange郵箱——exchangelib模塊使用介紹
最近想把公司郵箱的附件給下載下來，附件好多都是我整理的報告和文檔，一個個去下載明顯太傻，碰到這種問題第一個想到的就是Python啦 需求很簡單，只需要登錄自己的Exchang...
-
關(guān)于Dashboard設(shè)計的總結(jié)作為一個TOB產(chǎn)品的設(shè)計師，一定設(shè)計過儀表盤（Dashboard）無論是哪一種數(shù)據(jù)產(chǎn)品，儀表盤（Dashboard）都是最核心的功能。他是用戶接觸數(shù)據(jù)的第一個頁面，相當(dāng)于數(shù)據(jù)...
-
幾種常用數(shù)據(jù)標(biāo)準(zhǔn)化方法
引入 評價是現(xiàn)代社會各領(lǐng)域的一項經(jīng)常性的工作，是科學(xué)做出管理決策的重要依據(jù)。隨著人們研究領(lǐng)域的不斷擴大，所面臨的評價對象日趨復(fù)雜，如果僅依據(jù)單一指標(biāo)對事物進行評價往往不盡合理...
