1. object ExtractEquiJoinKeys 一個模式匹配，官方注釋是： A pattern that finds joins w...
投稿
收錄了12篇文章 · 3人關(guān)注
-
Spark2.1和2.2 SQL物理執(zhí)行策略之Join源碼分析以及不同類型Join區(qū)分
-
Spark2.1和2.2 SQL物理執(zhí)行策略關(guān)鍵源碼分析
1. 文章開始之前 先附上一句SQL，使用tpc-ds的表結(jié)構(gòu)，我們圍繞這句SQL講。 SQL： SQL> selectavg(cs_ext_d...
-
Storm的可靠性與ack機(jī)制
無論是實時處理還是離線處理，都會遇到一個不可避免的問題是，失敗任務(wù)如何重做？Storm提供了一個ack機(jī)制。首先來看一下ISpout接口的方法。...
-
Python爬蟲簡單筆記之BeautifulSoup4的簡單用法
本文首發(fā)：http://blog.orisonchan.cc/2018/08/16/44 記錄一下Python爬蟲常用庫BeautifulSou...
-
Spark聚合下推思路以及demo
Spark原本預(yù)計在2.3版本實現(xiàn)聚合下推，雖然不知道是何原因最終沒有能夠在2.3版本最終實現(xiàn)，但是因為工作需要，必須要從聚合函數(shù)下手優(yōu)化Spa...
-
Kafka 架構(gòu)與分布式使用名詞解釋 Broker Kafka集群包含一個或多個服務(wù)器，這種服務(wù)器被稱為broker。 Topic 每條發(fā)布到Kafka集群的消息都有一個類...
-
Hive查詢HBase調(diào)用MapReduce性能優(yōu)化
折騰了很久，被領(lǐng)導(dǎo)天天督促&指點，算是有個最基本的性能優(yōu)化。 1. 背景介紹： Hive使用hive-hbase-handler建立HBase ...
-
記一次Redis漏洞導(dǎo)致服務(wù)器被入侵以及解決的過程
其實這個問題在網(wǎng)上都有說明。然而因為本人是開發(fā)出身，運維方面比較欠缺，所以才會遇到此問題，遂記錄下來，以此為戒。 被入侵現(xiàn)象 服務(wù)器多了很多莫名...
-
關(guān)于Kafka遠(yuǎn)程生產(chǎn)和消費的額外說明
網(wǎng)上有太多此類帖子，然而本帖比他們?nèi)妗?背景 有一臺阿里云服務(wù)器A，用作測試服務(wù)器，一臺華為服務(wù)器B，用作生產(chǎn)服務(wù)器。均搭建相同配置和版本Ap...
-
Hadoop 集中式的緩存管理demo
參考文獻(xiàn)： http://www.infoq.com/cn/articles/hdfs-centralized-cache https://bl...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1651563/1533882111.jpg', '推薦專題《大數(shù)據(jù)點滴》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/a412e2cc5951?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}