parquet(2)讀寫

1、大多數(shù)情況下,我們會(huì)使用高級(jí)工具來(lái)處理parquet文件,比如hive spark impala,不過(guò)有時(shí)候我們也需要進(jìn)行低級(jí)順序訪問(wèn)

2、parquet具有一個(gè)可插入式的內(nèi)存數(shù)據(jù)模型,其作用是要讓parquet文件格式更好地與類型廣泛的各種工具集成,在java中,這種集成體現(xiàn)在readSupport 和 WriteSupport上

3、parquet寫入

3.1、創(chuàng)建(MessageType)schema

3.2、創(chuàng)建parquet message實(shí)例 Group group

3.3、創(chuàng)建Groupwritersupport

3.4、創(chuàng)建parquetWriter

3.5、調(diào)用parquetwriter的write方法,最后closewriter


4、parquet讀文件,更簡(jiǎn)單,不需要設(shè)置文件屬性

4.1、創(chuàng)建groupreadsupport

4.2、創(chuàng)建parquetreader

4.3、調(diào)用read方法


5、大多數(shù)程序更傾向于使用avro、protocol buffers 或者thrift這樣的框架來(lái)定義數(shù)據(jù)模型,parquet則迎合了這些需求

6、如avroparquetwriter protoparquetwriter thriftparquetwriter以及其分別對(duì)應(yīng)的writer



上回話周朝東遷洛陽(yáng),此回話春秋時(shí)代

周王朝所屬的每一個(gè)封國(guó),都有自己完整的本國(guó)史,但是只有魯國(guó)的留傳下來(lái),魯國(guó)史稱為“春秋”,所以史學(xué)家把公元前722年到公元前481年稱為春秋時(shí)代。

衛(wèi)國(guó)首先于719年政變,政變失敗,接下來(lái)魯國(guó)政變,宋國(guó)政變

宋國(guó)國(guó)君子與夷跟他的國(guó)防總司令孔父嘉是好朋友,孔父嘉的妻子十分美麗,大臣華督見(jiàn)了,立刻神魂顛倒,但是她的身份高貴,華督不能直接搶奪。那時(shí),子與夷堂弟子馮流亡鄭國(guó),華督派人跟他聯(lián)絡(luò),恰好孔父嘉積極訓(xùn)練軍隊(duì)準(zhǔn)備出獵,華督散步謠言,“孔父嘉每次都被鄭國(guó)打敗”,煽動(dòng)士兵,士兵祈求華督伸手援救,華督就率領(lǐng)他們攻殺孔父嘉,順便把子與夷也殺了,子馮到了國(guó)君位置,華督得到了孔父嘉的妻子。

因?yàn)槠拮舆^(guò)于漂亮引來(lái)殺身之禍的,孔父嘉是歷史上第一人,但是因?yàn)槊琅鹫?quán)轉(zhuǎn)移,王朝瓦解國(guó)家覆滅的卻在以后經(jīng)常出現(xiàn)。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 文/一只蒹葭 “您好,請(qǐng)問(wèn)您是哪位?曹經(jīng)理這會(huì)有事出去了?!壁w警官回應(yīng)了她。 風(fēng)清膽怯又疑惑的愣了愣神,背部肌肉被...
    一只蒹葭閱讀 554評(píng)論 6 11
  • 不是些高深知識(shí),但是第一次做,確實(shí)費(fèi)了很多的時(shí)間.終于一點(diǎn)一點(diǎn)的扣了出來(lái). 目前已經(jīng)使用中. 解決這個(gè)問(wèn)題,總共碰...
    九分野性閱讀 881評(píng)論 0 0
  • 不需要用軟件,只需找到廢紙簍的路徑,默認(rèn)是/Users/username/.Trash, 將這個(gè)文件夾拖入side...
    AIM外星人閱讀 797評(píng)論 0 0
  • 由于參加公司的萬(wàn)人年會(huì),這次的公益活動(dòng)也沒(méi)時(shí)間參與,看到同修們的辛苦付出與參與,看到他們也在活動(dòng)中拿到了一些結(jié)果,...
    鄢瑜含閱讀 225評(píng)論 1 3

友情鏈接更多精彩內(nèi)容