發(fā)簡信
IP屬地：北京
-
spark讀取parquet文件優(yōu)化
業(yè)務(wù)背景 Spark讀取文件時(shí)，對(duì)于可切分的文件，會(huì)將文件切分為一系列 Split ，每個(gè)Split對(duì)應(yīng)一個(gè)Task。一般而言，Split的大小...
-
SQL函數(shù)之GROUPING_ID的使用
前言 今日翻看項(xiàng)目之前某模塊的代碼時(shí)，看到grouping_id的sql語句。一時(shí)忘記了這個(gè)函數(shù)的用法，遂趕緊寫下這篇以防日后在用到時(shí)能快速想起...
-
使用scalikejdbc操作數(shù)據(jù)庫（三）實(shí)例代碼
前言 前兩章我們已經(jīng)了解了scalikejdbc操作數(shù)據(jù)庫的基礎(chǔ)和項(xiàng)目中實(shí)際需要的一些注意點(diǎn)，本章我們就直接搞上完整的實(shí)例代碼，實(shí)例是以操作my...
-
使用scalikejdbc操作數(shù)據(jù)庫（二）使用連接池增刪改查
前言 在（一）我們已經(jīng)能通過配置文件來創(chuàng)建了數(shù)據(jù)庫的連接池，本章我們將來接著通過連接池來進(jìn)行數(shù)據(jù)庫的增刪改查。 只操作一個(gè)數(shù)據(jù)庫的curd 對(duì)于...
-
使用scalikejdbc操作數(shù)據(jù)庫（一）加載配置參數(shù)并創(chuàng)建連接池
JDBC簡介 JDBC是由SUN公司開發(fā)的一套開放標(biāo)準(zhǔn)的跨編程語言、跨數(shù)據(jù)庫類型編程API。各數(shù)據(jù)庫廠商根據(jù)這套規(guī)范開發(fā)自己數(shù)據(jù)庫的驅(qū)動(dòng)，通過驅(qū)...
-
程序中hbase過濾查詢
hbase是我們大數(shù)據(jù)經(jīng)常使用的一個(gè)數(shù)據(jù)庫，我們經(jīng)常需要根據(jù)某些條件去hbase獲取需要的數(shù)據(jù)，本文主要聊一下我在項(xiàng)目中用到的過濾查詢(基于sc...
-
sparkStreaming優(yōu)化（一）我們?cè)趫?zhí)行sparkStreaming程序時(shí)，可能有shuffle的情況，shuffle除了常見的會(huì)出現(xiàn)數(shù)據(jù)不均衡的情況，還有可能會(huì)出現(xiàn)shuf...
-
spark直接讀取Hfile
如果spark在讀取hbase的時(shí)候感覺速度達(dá)不到需求，可以直接讀取hfile進(jìn)行操作，看代碼 為了保證讀取的hfile在處理期間不會(huì)變化，需要...
-
sparkStreaming寫入kafka優(yōu)化（一）
sparkstreaming寫入kafka優(yōu)化 項(xiàng)目中我們實(shí)時(shí)程序?qū)懭雓afka可能是這樣寫 這樣的方式是是每一個(gè)分區(qū)都拿一個(gè)KafkaProd...