666 收藏了
Python時(shí)間處理之datetime類datetime類是Python處理日期和時(shí)間的標(biāo)準(zhǔn)庫。datetime是date與time的結(jié)合體，包括date與time的所有信息。 它的構(gòu)造函數(shù)如下： 1 dat...
發(fā)簡(jiǎn)信
IP屬地：北京
-
-
Python時(shí)間處理之datetime類
datetime類是Python處理日期和時(shí)間的標(biāo)準(zhǔn)庫。datetime是date與time的結(jié)合體，包括date與time的所有信息。 它的構(gòu)造函數(shù)如下： 1 dat...
-
-
數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算，時(shí)間
其實(shí)沒有SCT定律，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢，從大數(shù)據(jù)這個(gè)行業(yè)來說，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡，博弈以及突破。某種程度上來說，當(dāng)擁有其中兩者，可...
-
判斷文件邏輯那塊，樓主判斷首字母是否為"Q" ，是不是不太妥當(dāng)？
此外有沒有辦法 不通過排除法 來直接判斷是文本類型？java 判斷hdfs文件的文件類型
??因?yàn)閖ava讀取不同的文件類型（text，sequence，orc等）會(huì)使用不用的api去讀取數(shù)據(jù)，所以還做了文件類型的判斷，這里只做了text和sequence的判斷，...
-
Presto技術(shù)源碼解析總結(jié)-一個(gè)SQL的奇幻之旅 上
Presto技術(shù)總結(jié) 因?yàn)閮?nèi)容過長(zhǎng)分為了上下兩集 1.環(huán)境準(zhǔn)備 Hadoop環(huán)境，Hive環(huán)境，mysql環(huán)境，ssh環(huán)境，presto本機(jī)debug環(huán)境 推薦hadoop...
-
億級(jí)日志log4j2接入Kafka方案
億級(jí)日志log4j2接入Kafka方案 背景描述 一個(gè)高訪問量高并發(fā)高響應(yīng)的系統(tǒng)，每天大概5~6億的請(qǐng)求日志量，日志接入大數(shù)據(jù)平臺(tái)，第一版使用的是Flume方式，后來因?yàn)樾枰?..
-
presto和hive適用場(chǎng)景
經(jīng)過評(píng)測(cè)：presto的平均性能是hive的10倍 presto優(yōu)點(diǎn)：數(shù)據(jù)源具有完全解耦，高性能，以及對(duì)ansi sql的支持特性，使得presto在etl，實(shí)時(shí)數(shù)據(jù)計(jì)算、a...
-
presto(九)——restful api之execute
1、看狀態(tài) 2、看執(zhí)行方法 ExecuteResource.java(@Path("/v1/execute")) 有沒有發(fā)現(xiàn)跟上一節(jié)的很相似： QueryResource.j...
-
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問題場(chǎng)景 有時(shí)我們通過sparkSQL來分析數(shù)據(jù)，當(dāng)使用Join操作時(shí)，最讓人頭疼的莫過于數(shù)據(jù)傾斜了，如果你是大表關(guān)聯(lián)小表的情況，那情況還不是很糟糕，可以使用MAPJOIN來破解...
-
666
java Runtime.exec()執(zhí)行shell/cmd命令：常見的幾種陷阱與一種完善實(shí)現(xiàn)
Runtime.getRuntime().exec()執(zhí)行JVM之外的程序：常見的幾種陷阱 前言 日常java開發(fā)中，有時(shí)需要通過java運(yùn)行其它應(yīng)用功程序，比如shell命...
-
-
Presto首次Summit 「讀后感」最近 Presto 社區(qū)在它的發(fā)源地 Facebook 公司舉行了它歷史上的第一次 Summit, 目前 PPT 已經(jīng)都放出來了，看了一遍，還是有不少收獲的，這里介紹一下 F...
-
[Presto]實(shí)現(xiàn)原理和美團(tuán)的使用實(shí)踐Presto實(shí)現(xiàn)原理和美團(tuán)的使用實(shí)踐 -http://tech.meituan.com/presto.html Presto執(zhí)行查詢過程簡(jiǎn)介既然Presto是一個(gè)交互式的查詢...
-
對(duì)Spark的那些【魔改】
前言 這兩年做streamingpro時(shí)，不可避免的需要對(duì)Spark做大量的增強(qiáng)。就如同我之前吐槽的，Spark大量使用了new進(jìn)行對(duì)象的創(chuàng)建，導(dǎo)致里面的實(shí)現(xiàn)基本沒有辦法進(jìn)行...
-
spark源碼調(diào)試Debug環(huán)境搭建運(yùn)行環(huán)境 java 1.8 scala 2.11.0 maven 3.3.9 idea 2016 spark 2.0.2 1完成以下配置 java環(huán)境變量 scala環(huán)境變量...
-
Spark性能優(yōu)化總結(jié)總結(jié)一下個(gè)人看了一些Spark性能調(diào)優(yōu)文章之后的理解，主要框架來自于meituantech，會(huì)在此框架上加入個(gè)人關(guān)注點(diǎn)，目錄如下， Overview Spark的瓶頸一般來自...
-
spark range join 優(yōu)化
背景 一張ip表，一張ip地理信息表，地理信息表每條數(shù)據(jù)包含了ip地址的起點(diǎn)和終點(diǎn)以及一些地理信息, 需要用 ip 去關(guān)聯(lián) gep_ip 中匹配相應(yīng)的信息 。 例如：數(shù)據(jù)條...
-
spark任務(wù)之Task失敗監(jiān)控
需求 spark應(yīng)用程序中，只要task失敗就發(fā)送郵件，并攜帶錯(cuò)誤原因。 背景 在spark程序中，task有失敗重試機(jī)制（根據(jù) spark.task.maxFailures...
-
提高spark任務(wù)穩(wěn)定性1 - Blacklist 機(jī)制
場(chǎng)景 一個(gè) spark 應(yīng)用的產(chǎn)生過程： 獲取需求 -> 編寫spark代碼 -> 測(cè)試通過 -> 扔上平臺(tái)調(diào)度。往往應(yīng)用會(huì)正常運(yùn)行一段時(shí)間，突然有一天運(yùn)行失敗，或是失敗了一...
