datetime類是Python處理日期和時(shí)間的標(biāo)準(zhǔn)庫。datetime是date與time的結(jié)合體，包括date與time的所有信息。 它的構(gòu)造函數(shù)如下： 1 dat...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Python時(shí)間處理之datetime類
-
數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算，時(shí)間
其實(shí)沒有SCT定律，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢，從大數(shù)據(jù)這個(gè)行業(yè)來說，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡，博弈以及突破。某種程度上來說，當(dāng)擁有其中兩者，可...
-
Presto技術(shù)源碼解析總結(jié)-一個(gè)SQL的奇幻之旅 上
Presto技術(shù)總結(jié) 因?yàn)閮?nèi)容過長(zhǎng)分為了上下兩集 1.環(huán)境準(zhǔn)備 Hadoop環(huán)境，Hive環(huán)境，mysql環(huán)境，ssh環(huán)境，presto本機(jī)debug環(huán)境 推薦hadoop...
-
億級(jí)日志log4j2接入Kafka方案
億級(jí)日志log4j2接入Kafka方案 背景描述 一個(gè)高訪問量高并發(fā)高響應(yīng)的系統(tǒng)，每天大概5~6億的請(qǐng)求日志量，日志接入大數(shù)據(jù)平臺(tái)，第一版使用的是Flume方式，后來因?yàn)樾枰?..
-
presto和hive適用場(chǎng)景
經(jīng)過評(píng)測(cè)：presto的平均性能是hive的10倍 presto優(yōu)點(diǎn)：數(shù)據(jù)源具有完全解耦，高性能，以及對(duì)ansi sql的支持特性，使得presto在etl，實(shí)時(shí)數(shù)據(jù)計(jì)算、a...
-
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問題場(chǎng)景 有時(shí)我們通過sparkSQL來分析數(shù)據(jù)，當(dāng)使用Join操作時(shí)，最讓人頭疼的莫過于數(shù)據(jù)傾斜了，如果你是大表關(guān)聯(lián)小表的情況，那情況還不是很糟糕，可以使用MAPJOIN來破解...
-
Presto首次Summit 「讀后感」最近 Presto 社區(qū)在它的發(fā)源地 Facebook 公司舉行了它歷史上的第一次 Summit, 目前 PPT 已經(jīng)都放出來了，看了一遍，還是有不少收獲的，這里介紹一下 F...
-
[Presto]實(shí)現(xiàn)原理和美團(tuán)的使用實(shí)踐Presto實(shí)現(xiàn)原理和美團(tuán)的使用實(shí)踐 -http://tech.meituan.com/presto.html Presto執(zhí)行查詢過程簡(jiǎn)介既然Presto是一個(gè)交互式的查詢...
-
對(duì)Spark的那些【魔改】
前言 這兩年做streamingpro時(shí)，不可避免的需要對(duì)Spark做大量的增強(qiáng)。就如同我之前吐槽的，Spark大量使用了new進(jìn)行對(duì)象的創(chuàng)建，導(dǎo)致里面的實(shí)現(xiàn)基本沒有辦法進(jìn)行...
