發(fā)簡信
IP屬地：上海
-
AI 產(chǎn)業(yè)鏈
deepseek 算力支持 中科曙光 浪潮信息 潤澤科技 每日互動（與deepseek關(guān)系最深） 技術(shù)合作 航錦科技 拓爾思 科大訊飛 參股投資...
-
hive map數(shù)的控制
背景：最近執(zhí)行一個 select count(*)，發(fā)現(xiàn)mapreduce計算分片數(shù)很慢，且分片數(shù)的大小對不上 確定 hive 默認(rèn)開啟 map...
-
計算機核數(shù)查看背景：對計算機核數(shù)比較模糊，整理了解 查看方法 我的電腦->屬性->設(shè)備管理器->處理器，有多少個，就代表多少核image.png如圖，即為12...
-
hive 外部表映射 es
背景：公司有需求將hive數(shù)據(jù)導(dǎo)入es，之前是通過datax進(jìn)行導(dǎo)數(shù)的；但是datax多線程很耗內(nèi)存，并且經(jīng)常性會出現(xiàn)一些程序上的問題。故想要使...
-
Linux完全卸載某應(yīng)用
背景：這兩天安裝cdh，重新溫習(xí)了下linux的使用，關(guān)于卸載應(yīng)用，特記錄 強制刪除已安裝程序及其關(guān)聯(lián)：rpm -qa|grep python|...
-
centos6 啟動cloudera-scm-agent失敗
背景：最近準(zhǔn)備在自己的虛擬機上搭一個cdh的集群，在啟動cloudera-scm-agent失敗排查思路： 進(jìn)去log日志查看報錯信息：/usr...
-
windows10/windows11 簡繁體切換
背景： 最近電腦突然不知怎么的，輸入法由簡體轉(zhuǎn)為繁體，并且不知如何更改 使用 ctrl+shift+f可進(jìn)行簡繁體切換 在使用idea時ctrl...
-
datax從hive往es中導(dǎo)數(shù)報錯：One or more of the items in the Bulk request failed, check BulkResult.getItems...
背景：公司數(shù)據(jù)涉及到從hive往es中導(dǎo)數(shù)，使用datax來進(jìn)行抽取 報錯：One or more of the items in the Bu...
-
對于hql中拼接字符串的函數(shù)使用
背景：在工作過程中，一直經(jīng)常性接觸到hql拼接字符串的工作內(nèi)容，但每次都是最常規(guī)的拼接，效率并不高。故調(diào)研發(fā)現(xiàn)hive早已提供相關(guān)函數(shù)進(jìn)行更簡便...