發(fā)簡(jiǎn)信
IP屬地：上海
-
AI 產(chǎn)業(yè)鏈
deepseek 算力支持 中科曙光 浪潮信息 潤(rùn)澤科技 每日互動(dòng)（與deepseek關(guān)系最深） 技術(shù)合作 航錦科技 拓爾思 科大訊飛 參股投資...
-
hive map數(shù)的控制
背景：最近執(zhí)行一個(gè) select count(*)，發(fā)現(xiàn)mapreduce計(jì)算分片數(shù)很慢，且分片數(shù)的大小對(duì)不上 確定 hive 默認(rèn)開(kāi)啟 map...
-
計(jì)算機(jī)核數(shù)查看背景：對(duì)計(jì)算機(jī)核數(shù)比較模糊，整理了解 查看方法 我的電腦->屬性->設(shè)備管理器->處理器，有多少個(gè)，就代表多少核image.png如圖，即為12...
-
hive 外部表映射 es
背景：公司有需求將hive數(shù)據(jù)導(dǎo)入es，之前是通過(guò)datax進(jìn)行導(dǎo)數(shù)的；但是datax多線程很耗內(nèi)存，并且經(jīng)常性會(huì)出現(xiàn)一些程序上的問(wèn)題。故想要使...
-
Linux完全卸載某應(yīng)用
背景：這兩天安裝cdh，重新溫習(xí)了下linux的使用，關(guān)于卸載應(yīng)用，特記錄 強(qiáng)制刪除已安裝程序及其關(guān)聯(lián)：rpm -qa|grep python|...
-
centos6 啟動(dòng)cloudera-scm-agent失敗
背景：最近準(zhǔn)備在自己的虛擬機(jī)上搭一個(gè)cdh的集群，在啟動(dòng)cloudera-scm-agent失敗排查思路： 進(jìn)去log日志查看報(bào)錯(cuò)信息：/usr...
-
windows10/windows11 簡(jiǎn)繁體切換
背景： 最近電腦突然不知怎么的，輸入法由簡(jiǎn)體轉(zhuǎn)為繁體，并且不知如何更改 使用 ctrl+shift+f可進(jìn)行簡(jiǎn)繁體切換 在使用idea時(shí)ctrl...
-
datax從hive往es中導(dǎo)數(shù)報(bào)錯(cuò)：One or more of the items in the Bulk request failed, check BulkResult.getItems...
背景：公司數(shù)據(jù)涉及到從hive往es中導(dǎo)數(shù)，使用datax來(lái)進(jìn)行抽取 報(bào)錯(cuò)：One or more of the items in the Bu...
-
對(duì)于hql中拼接字符串的函數(shù)使用
背景：在工作過(guò)程中，一直經(jīng)常性接觸到hql拼接字符串的工作內(nèi)容，但每次都是最常規(guī)的拼接，效率并不高。故調(diào)研發(fā)現(xiàn)hive早已提供相關(guān)函數(shù)進(jìn)行更簡(jiǎn)便...