1.下載rpm包，下載地址： https://download.docker.com/linux/centos/7/x86_64/stable/Packages/ 需要下載三...
發(fā)簡信
IP屬地：湖南
-
并發(fā) kinit 導致 kerberos GSS initiate failed 定位與解決
線上任務(wù)調(diào)度工具執(zhí)行 Hadoop Hive 相關(guān)的任務(wù)會偶發(fā)任務(wù)執(zhí)行失敗的問題，日志報錯為 Kerberos 認證失敗。查看調(diào)度工具的運行邏輯：每次執(zhí)行任務(wù)前先 kinit...
-
Apache Pulsar 桌面端圖形化管理工具
Apache Pulsar 桌面端圖形化管理工具 Apache Pulsar 是 Apache 軟件基金會頂級項目，是下一代云原生分布式消息流平臺，集消息、存儲、輕量化函數(shù)式...
-
IMPALA常用命令COMPUTE STATS簡述前面介紹了HIVE的ANALYZE TABLE命令， IMPALA也提供了一個類似的命令叫COMPUTE STATS。這篇文章就是講講這個命令。 IMPALA的COMPUTE...
-
conda的安裝與使用 2.0版（2022-08-12更新）有很多的生信軟件都可以通過conda安裝，省去了很多的安裝、修bug的煩惱。經(jīng)常是安裝到崩潰的軟件，conda一行命令就搞定了。前兩天有個胖友問我gatk 3.8的版本在哪里...
-
Spring boot參考指南
Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgbook/spring-boot-reference-guid...
-
詳解 Serverless 架構(gòu)的 6 大應(yīng)用場景簡介： Serverless 架構(gòu)將成為未來云計算領(lǐng)域重要的技術(shù)架構(gòu)，將會被更多的業(yè)務(wù)所采納。進一步深究，Serverless 架構(gòu)在什么場景下有優(yōu)秀的表現(xiàn)，在什么場景下可能...
-
實際使用Elasticdump工具對Elasticsearch集群進行數(shù)據(jù)備份和數(shù)據(jù)還原
文/朱季謙 目錄一、Elasticdump工具介紹[https://www.cnblogs.com/zhujiqian/p/14641972.html#title1]二、El...
-
MySQL 8 雙主設(shè)置
前言 前面已經(jīng)講到了 MySQL 8 主從復制的設(shè)置，另一種 MySQL 高可用的架構(gòu)是主-主的架構(gòu)。這種結(jié)構(gòu)的幾個數(shù)據(jù)庫都是主數(shù)據(jù)庫，每個數(shù)據(jù)庫數(shù)據(jù)的更新都會同步到其他的數(shù)...
-
CentOS7下 RPM 方式安裝 mongoDB 4
前言 以前自己沒有用過 mongoDB ，這次有個遷移環(huán)境的工作，所以需要安裝 mongoDB ，在這個過程中有一些坑，所以記錄一下，已備后期查詢 下載文件 當前最新的版本是...
-
Docker版MongoDB的安裝一. 什么是MongoDB MongoDB是現(xiàn)在主流的分布式文檔數(shù)據(jù)庫。一些字段不固定的數(shù)據(jù)，使用傳統(tǒng)數(shù)據(jù)庫就不太好處理，要么要建很多表互相關(guān)聯(lián)，要么要建很多冗余字段。而Mo...
-
正確使用Impala的invalidate metadata與refresh語句在Impala中，invalidate metadata與refresh語句都可以用來刷新表，但它們本質(zhì)上還是不同的。本文簡要分析一下，并說明它們應(yīng)該在什么情況下使用。 Im...
-
Slurm作業(yè)調(diào)度系統(tǒng)運行一、Slurm常規(guī)運行操作在HPC上運行任務(wù)的主要方法是通過sbatch命令提交一個腳本。例如： sabtch MyJobScript.sh在MyJobScript.sh中的...
-
頻繁使用MySQL，磁盤IO高峰或爆滿，innodb_buffer_pool_size解決方案原因：最近項目優(yōu)化過程中，偶然發(fā)現(xiàn)本地服務(wù)器每過10s就會有一次磁盤爆滿的現(xiàn)象。在我們的項目中發(fā)現(xiàn)本地項目中存在一個用作“同步數(shù)據(jù)”的定時任務(wù)每過10s就查詢數(shù)據(jù)庫表，并把這...
-
分布式系統(tǒng)的緩存設(shè)計一、緩存簡介 1.1 什么是緩存 緩存就是數(shù)據(jù)交換的緩沖區(qū)。緩存的本質(zhì)是一個內(nèi)存 Hash。緩存是一種利用空間換時間的設(shè)計，其目標就是更快、更近。 將數(shù)據(jù)寫入/讀取速度更快的...
-
Linux SSL證書安裝1. 查找nginx 的安裝位置： 2. 上傳證書： 3. 移動證書到 cert 文件夾 4. 配置 5. 完整nginx.conf 配置 6. 前端可以了，但是后臺還不是h...
-
impala查詢作業(yè)超時分析
版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。http://www.itdecent.cn/p/979eca668755 生產(chǎn)在線集群impala查詢，多個作業(yè)超時 ...
-
hadoop 集群 rebalance 和磁盤 均衡在我們使用hadoop集群的時候 ，由于 日志 數(shù)據(jù)不斷流入寫入到hdfs上，而且 算法人員 不斷的清洗 數(shù)據(jù)做特征工程 又會產(chǎn)生 新的中間數(shù)據(jù) ，而且量一點都不小。這個時...