在CSDN、簡(jiǎn)書(shū)看了很多解答,并沒(méi)有解決問(wèn)題,浪費(fèi)了寶貴的學(xué)習(xí)時(shí)間。 本著知其然,也要知其所以然的精神,研究了各位前輩們的方法,終于找到了問(wèn)題所在,下面開(kāi)始復(fù)盤(pán)。 一、問(wèn)題發(fā)...
在CSDN、簡(jiǎn)書(shū)看了很多解答,并沒(méi)有解決問(wèn)題,浪費(fèi)了寶貴的學(xué)習(xí)時(shí)間。 本著知其然,也要知其所以然的精神,研究了各位前輩們的方法,終于找到了問(wèn)題所在,下面開(kāi)始復(fù)盤(pán)。 一、問(wèn)題發(fā)...
背景 Kafka原本集群磁盤(pán)擴(kuò)容后,新建topic的業(yè)務(wù)量較大,存在數(shù)據(jù)積壓。一段時(shí)間后收到集群節(jié)點(diǎn)報(bào)警,部分磁盤(pán)使用率到達(dá)90%警戒值。經(jīng)過(guò)檢查發(fā)現(xiàn)問(wèn)題節(jié)點(diǎn)各磁盤(pán)使用率不均...
最近在看一些在學(xué)習(xí)一些源碼,在源碼中經(jīng)常會(huì)看到一些位移運(yùn)算符的使用,比如在看HashMap源碼的時(shí)候,在計(jì)算hashMap容量的閾值的時(shí)候,就使用到了位移運(yùn)算符,代碼如下: ...
本篇主要介紹使用linux自帶的相關(guān)配置方法限制sftp用戶的用戶權(quán)限與限制某特定端口的上傳下載速度。 參考文檔: 限制ssh用戶只能用于SFTP登錄且只能訪問(wèn)指定目錄, 只...
白天沒(méi)事兒刷微博,偶然看到了這個(gè)消息 會(huì)SQL就能搞AI?這么溜嗎前幾年一窩蜂的到處都是大數(shù)據(jù),然后大家都去搞大數(shù)據(jù);這幾年一窩蜂的到處都是數(shù)據(jù)分析,然后大家都去搞數(shù)據(jù)分析,...
前言 遇到開(kāi)發(fā)環(huán)境是內(nèi)網(wǎng),項(xiàng)目第一次搭建的時(shí)候需要安裝許多的python三方模塊除了手動(dòng)一個(gè)個(gè)安裝,有時(shí)候還要處理相互依賴(lài)的模塊,費(fèi)時(shí)費(fèi)力能不能像在 外網(wǎng) 環(huán)境一樣,在 內(nèi)網(wǎng)...
前言 這是一篇科普性質(zhì)的文章,希望能過(guò)用一個(gè)通俗易懂的例子給非計(jì)算機(jī)專(zhuān)業(yè)背景的朋友講清楚大數(shù)據(jù)分布式計(jì)算技術(shù)。大數(shù)據(jù)技術(shù)雖然包含存儲(chǔ)、計(jì)算和分析等一系列龐雜的技術(shù),但分布式計(jì)...
我發(fā)現(xiàn)TBLPROPERTIES ("EXTERNAL"="TRUE")里面true要大寫(xiě)
Hive的內(nèi)部表和外部表之間相互轉(zhuǎn)換1,內(nèi)部表轉(zhuǎn)換為外部表,EXTERNAL大寫(xiě) ALTER TABLE tablename SET TBLPROPERTIES ('EXTERNAL' = 'true');修...
什么是JMM內(nèi)存模型 內(nèi)存模型可以理解為在特定的操作協(xié)議下,對(duì)特定的內(nèi)存或高速緩存進(jìn)行讀寫(xiě)訪問(wèn)的過(guò)程抽象描述,不同架構(gòu)下的物理機(jī)擁有不一樣的內(nèi)存模型。 JMM(Java內(nèi)存模...
allowed_networks: ["172.0.0.0/8"] 后面的那個(gè)8代表什么意思?
clickhouse + chproxy 集群搭建集群規(guī)劃 集群架構(gòu) 其中 Distribute 是指創(chuàng)建分布式表的機(jī)器,在此文章中是將 Distribute 單獨(dú)部署的,也可以將 Distribute 角色劃分到每個(gè) Re...
數(shù)據(jù)類(lèi)型 基礎(chǔ)類(lèi)型 基礎(chǔ)類(lèi)型只有三種 數(shù)值、字符串、時(shí)間 數(shù)值1.1 數(shù)值類(lèi)型 int (用int8 int16 int32 int64 代表tinyint smallint...
背景 集群切換服務(wù)器IP地址,重啟網(wǎng)絡(luò)提示空間不足,經(jīng)排查發(fā)現(xiàn)Oracle數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)在系統(tǒng)路徑下,將空間占滿,應(yīng)是安裝時(shí)配置錯(cuò)誤導(dǎo)致,需修改路徑騰出空間。 1. 修改系統(tǒng)...
簡(jiǎn)介:公司實(shí)時(shí)項(xiàng)目組處理的業(yè)務(wù)數(shù)據(jù)以前是由業(yè)務(wù)團(tuán)隊(duì)把數(shù)據(jù)push到rabbit mq,然后我們通過(guò)flink轉(zhuǎn)運(yùn)到kafka,然后再做實(shí)時(shí)計(jì)算的,由于新業(yè)務(wù)邏輯變化會(huì)較大,導(dǎo)...
kafka部署的問(wèn)題 1. 連接zookeeper超時(shí) kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out ...
* 更新說(shuō)明 2015.11.14更新 在區(qū)段元素的強(qiáng)調(diào)欄增加刪除線和空格的標(biāo)記方法將表格、流程圖和時(shí)序圖等不常用的語(yǔ)法移至Markdown進(jìn)階語(yǔ)法整理 關(guān)于Markdown...
摘要 本文將介紹常用parquet文件讀寫(xiě)的幾種方式1.用spark的hadoopFile api讀取hive中的parquet格式2.用sparkSql讀寫(xiě)hive中的pa...
/boot/config.txt增加hdmi_force_hotplug=1后,開(kāi)機(jī)畫(huà)面一閃就黑屏了,還好vnc連接上去是正常的, 再增加hdmi_drive=2又正常顯示桌面了.
樹(shù)莓派 設(shè)置HDMI分辨率設(shè)置分辨率為 1920*1080 60Hz 修改如下: 之后重啟樹(shù)莓派 參考 CEA分辨率 以下是CEA規(guī)定的電視規(guī)格分辨率。這些分辨率的hdmi_group=1。 DMT分...
設(shè)置分辨率為 1920*1080 60Hz 修改如下: 之后重啟樹(shù)莓派 參考 CEA分辨率 以下是CEA規(guī)定的電視規(guī)格分辨率。這些分辨率的hdmi_group=1。 DMT分...