問題回顧 在hive中執(zhí)行自定義函數(shù)udf解析解密的時(shí)候,遇到一長(zhǎng)串報(bào)錯(cuò) cold not initialize class 無論怎么替換jar包,這個(gè)錯(cuò)誤始終頑固存在,導(dǎo)致...
發(fā)簡(jiǎn)信
IP屬地：江蘇
-
一個(gè)hiveudf開發(fā)的踩坑總結(jié)-幽靈緩存的問題
-
percentile函數(shù)的使用注意事項(xiàng)
給出倆個(gè)值88.726 44.648 計(jì)算p5值使用percentile,得到的結(jié)果是46.852 百分位數(shù)計(jì)算結(jié)果解釋 一、為什么只有兩個(gè)數(shù)，還能算出 p5？不同軟件里的 ...
-
實(shí)時(shí)標(biāo)簽開發(fā)的一個(gè)簡(jiǎn)單總結(jié)簡(jiǎn)單的數(shù)據(jù)流程圖就是如上,簡(jiǎn)單描述一下,就是將上游的kafka數(shù)據(jù)解密,對(duì)符合條件的數(shù)據(jù)解析轉(zhuǎn)換過濾封裝 將這部分?jǐn)?shù)據(jù)推到下游kafka數(shù)據(jù)源,同時(shí)為了保證實(shí)時(shí)的可靠性,同時(shí)...
-
maxRecordsPerFile 使用maxRecordsPerFile 使用 在實(shí)現(xiàn)一個(gè)需求的時(shí)候發(fā)現(xiàn)的問題;要求是將數(shù)據(jù)寫入到cos中,要求每個(gè)文件的固定條數(shù)是5千萬條且文件名字后綴以數(shù)字遞增例如001,00...
-
order by 壓縮大表的探索
0. 成果 5T數(shù)據(jù)成功壓縮至1.4T壓縮率大概維持在68%-76% ,200億左右的數(shù)據(jù) 1. 為什么不采用sort by/distribute by而是采用 order ...
-
2024人生主線混亂
人生主線混亂 最近一年真的是啥也沒搞….一直是一個(gè)半途而廢的糕手…一直想搞搞計(jì)算機(jī)其他方向的東西 之前花了倆三周學(xué)前端技術(shù),后面到css和布局直接搞懵了,直接沒啥搞的欲望了,...
-
0.4.SQLboy近期優(yōu)化案例
1. row_number 數(shù)據(jù)傾斜 partition的字段,可能是傾斜的,單獨(dú)領(lǐng)出來,union all倆部分 2. group by數(shù)據(jù)傾斜 group by 的一些...
-
2024一個(gè)短期的生活片段
自對(duì)大環(huán)境下的職場(chǎng)環(huán)境沒有信心后,我就開始琢磨著其他的方向了,計(jì)算機(jī)&互聯(lián)網(wǎng)這行,看去了投入所帶來的收益很低了,雖說數(shù)倉(cāng)&數(shù)據(jù)行業(yè)門檻低得很,但是不至于一個(gè)城市幾乎沒什么崗位...
-
idea中構(gòu)建react
直接使用idea的react會(huì)報(bào)錯(cuò) 想要下載node.js查看安裝npm和node.js的版本使用淘寶鏡像npm install -g cnpm --registry=htt...
-
Push基礎(chǔ)知識(shí)(更新)參考:https://zhuanlan.zhihu.com/p/642949547[https://zhuanlan.zhihu.com/p/642949547]https:...
-
2023年度總結(jié)
游戲 玩游戲確實(shí)有點(diǎn)多了, 1月份的steam版本的女神異聞錄5, 2月份的switch版本的最新的火焰紋章系列50小時(shí)＋,古墓麗影3部曲系列,10玩了30個(gè)小時(shí)非常棒,前面...
-
So-vits-SVC(AI音色轉(zhuǎn)換)
https://github.com/svc-develop-team/so-vits-svc[https://github.com/svc-develop-team/so-...
-
Remotion(可編程的方式制作視頻)
remotion.dev 一個(gè)視頻可以表達(dá)為一個(gè)隨著時(shí)間變動(dòng)的圖像函數(shù)，根據(jù)每一幀改變內(nèi)容，最終就能產(chǎn)生動(dòng)畫效果Video = image(time)
-
2023-10-17方向
繼上次寫的現(xiàn)狀篇 1. 數(shù)據(jù)分析能力: python爬蟲在數(shù)據(jù)分析可視化和直播數(shù)據(jù)拉取做分析的事項(xiàng),做這個(gè)的話是不荒廢代碼能力的,但是創(chuàng)意很難,找數(shù)據(jù)也難,比如我想做個(gè)過期網(wǎng)...
-
@務(wù)源 老哥base哪啊，帶我混一個(gè)不??
2023-09-10現(xiàn)狀,期待與計(jì)劃
周期性總結(jié)是我喜歡做的事情 回南京啦,真的是工作太難找了,堅(jiān)持學(xué)習(xí)的我還算認(rèn)真吧,可是工作還是難找 可能是我看城市不準(zhǔn),一直是投杭州的簡(jiǎn)歷,雖然面試機(jī)會(huì)和offer也有但是很...
-
Davinci(二)快速上手和一些目標(biāo)https://www.bilibili.com/video/BV1SV4y187Rm?p=9&vd_source=4947513124c92502d52a...
-
Davinci(一)【干貨】一小時(shí)上手達(dá)芬奇剪輯！嗶哩嗶哩[https://www.bilibili.com/video/BV1dE411x79b/?spm_id_from=pageDriver...
-
2023-10-02 推薦幾個(gè)好用的工具
1. everything 是一個(gè)強(qiáng)大的文件搜索工具，幫助您快速定位計(jì)算機(jī)上的文件和文件夾下載 - voidtools[https://www.voidtools.com/z...
-
2023-09-10現(xiàn)狀,期待與計(jì)劃
周期性總結(jié)是我喜歡做的事情 回南京啦,真的是工作太難找了,堅(jiān)持學(xué)習(xí)的我還算認(rèn)真吧,可是工作還是難找 可能是我看城市不準(zhǔn),一直是投杭州的簡(jiǎn)歷,雖然面試機(jī)會(huì)和offer也有但是很...