666 收藏了
Python時間處理之datetime類datetime類是Python處理日期和時間的標準庫。datetime是date與time的結合體，包括date與time的所有信息。 它的構造函數如下： 1 dat...
發(fā)簡信
IP屬地：北京
-
-
Python時間處理之datetime類
datetime類是Python處理日期和時間的標準庫。datetime是date與time的結合體，包括date與time的所有信息。 它的構造函數如下： 1 dat...
-
-
數據SCT定律：存儲，計算，時間
其實沒有SCT定律，這個是我根據分布式CAP定律瞎造的。不過呢，從大數據這個行業(yè)來說，我們始終都是在存儲，計算和時間進行權衡，博弈以及突破。某種程度上來說，當擁有其中兩者，可...
-
判斷文件邏輯那塊，樓主判斷首字母是否為"Q" ，是不是不太妥當？
此外有沒有辦法 不通過排除法 來直接判斷是文本類型？java 判斷hdfs文件的文件類型
??因為java讀取不同的文件類型（text，sequence，orc等）會使用不用的api去讀取數據，所以還做了文件類型的判斷，這里只做了text和sequence的判斷，...
-
Presto技術源碼解析總結-一個SQL的奇幻之旅 上
Presto技術總結 因為內容過長分為了上下兩集 1.環(huán)境準備 Hadoop環(huán)境，Hive環(huán)境，mysql環(huán)境，ssh環(huán)境，presto本機debug環(huán)境 推薦hadoop...
-
億級日志log4j2接入Kafka方案
億級日志log4j2接入Kafka方案 背景描述 一個高訪問量高并發(fā)高響應的系統，每天大概5~6億的請求日志量，日志接入大數據平臺，第一版使用的是Flume方式，后來因為需要...
-
presto和hive適用場景
經過評測：presto的平均性能是hive的10倍 presto優(yōu)點：數據源具有完全解耦，高性能，以及對ansi sql的支持特性，使得presto在etl，實時數據計算、a...
-
presto(九)——restful api之execute
1、看狀態(tài) 2、看執(zhí)行方法 ExecuteResource.java(@Path("/v1/execute")) 有沒有發(fā)現跟上一節(jié)的很相似： QueryResource.j...
-
SparkSQL自定義Hint優(yōu)化器解決熱點數據導致JOIN數據傾斜問題場景 有時我們通過sparkSQL來分析數據，當使用Join操作時，最讓人頭疼的莫過于數據傾斜了，如果你是大表關聯小表的情況，那情況還不是很糟糕，可以使用MAPJOIN來破解...
-
666
java Runtime.exec()執(zhí)行shell/cmd命令：常見的幾種陷阱與一種完善實現
Runtime.getRuntime().exec()執(zhí)行JVM之外的程序：常見的幾種陷阱 前言 日常java開發(fā)中，有時需要通過java運行其它應用功程序，比如shell命...
-
-
Presto首次Summit 「讀后感」最近 Presto 社區(qū)在它的發(fā)源地 Facebook 公司舉行了它歷史上的第一次 Summit, 目前 PPT 已經都放出來了，看了一遍，還是有不少收獲的，這里介紹一下 F...
-
[Presto]實現原理和美團的使用實踐Presto實現原理和美團的使用實踐 -http://tech.meituan.com/presto.html Presto執(zhí)行查詢過程簡介既然Presto是一個交互式的查詢...
-
對Spark的那些【魔改】
前言 這兩年做streamingpro時，不可避免的需要對Spark做大量的增強。就如同我之前吐槽的，Spark大量使用了new進行對象的創(chuàng)建，導致里面的實現基本沒有辦法進行...
-
spark源碼調試Debug環(huán)境搭建運行環(huán)境 java 1.8 scala 2.11.0 maven 3.3.9 idea 2016 spark 2.0.2 1完成以下配置 java環(huán)境變量 scala環(huán)境變量...
-
Spark性能優(yōu)化總結總結一下個人看了一些Spark性能調優(yōu)文章之后的理解，主要框架來自于meituantech，會在此框架上加入個人關注點，目錄如下， Overview Spark的瓶頸一般來自...
-
spark range join 優(yōu)化
背景 一張ip表，一張ip地理信息表，地理信息表每條數據包含了ip地址的起點和終點以及一些地理信息, 需要用 ip 去關聯 gep_ip 中匹配相應的信息 。 例如：數據條...
-
spark任務之Task失敗監(jiān)控
需求 spark應用程序中，只要task失敗就發(fā)送郵件，并攜帶錯誤原因。 背景 在spark程序中，task有失敗重試機制（根據 spark.task.maxFailures...
-
提高spark任務穩(wěn)定性1 - Blacklist 機制
場景 一個 spark 應用的產生過程： 獲取需求 -> 編寫spark代碼 -> 測試通過 -> 扔上平臺調度。往往應用會正常運行一段時間，突然有一天運行失敗，或是失敗了一...
