背景 業(yè)務(wù)系統(tǒng)庫(kù)數(shù)據(jù)遷移到Hadoop平臺(tái)做分析要涉及到所有遷入的表結(jié)構(gòu)要類型和表結(jié)構(gòu)語(yǔ)句的更改，部分表字段可能兩三百個(gè)字段，對(duì)程序員來(lái)說(shuō)捉行手...
投稿
收錄了7篇文章 · 18人關(guān)注
-
基于Mysql表結(jié)構(gòu)生成Hive表結(jié)構(gòu)
-
Spark整合ElasticSearchspark整合elasticsearch兩種方式 1.自己生成_id等元數(shù)據(jù)2.使用ES默認(rèn)生成 引入對(duì)應(yīng)依賴 生成元數(shù)據(jù)方式 ES-UI界面 ...
-
SparkSQL操作RDD兩種方式對(duì)比案例
前言 GitHub地址：https://github.com/guofei1219 背景 統(tǒng)計(jì)新渠道進(jìn)件數(shù)量 SparkSQL操作RDD兩種方式...
-
Spark實(shí)時(shí)統(tǒng)計(jì)訂單量前言 本人GitHub地址：https://github.com/guofei1219QQ : 86608625咨詢項(xiàng)目相關(guān)問(wèn)題的請(qǐng)直接說(shuō)明問(wèn)題...
-
Spark-Streaming Windows開(kāi)發(fā)環(huán)境案例搭建運(yùn)行（圖文）前言 最近在專注Spark開(kāi)發(fā)，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長(zhǎng)具體代碼可參考本人GitHub地址：https://gith...
-
Spark RDD數(shù)據(jù)關(guān)聯(lián)過(guò)濾案例
前言 最近在專注Spark開(kāi)發(fā)，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長(zhǎng)QQ:86608625 微信:guofei1990123 ...
-
基于Kafka+SparkStreaming+HBase實(shí)時(shí)點(diǎn)擊流案例
前言 最近在專注Spark開(kāi)發(fā)，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長(zhǎng)本文章更傾向于實(shí)戰(zhàn)案例，涉及框架原理及基本應(yīng)用還請(qǐng)讀者自行閱...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/258047/u_4226346663_2629258205_fm_116_gp_0.jpg', '推薦專題《Spark案例》（ 分享自 @簡(jiǎn)書 ）','http://www.itdecent.cn/c/658ca7b6891d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}