存儲(chǔ)快照主要解決數(shù)據(jù)丟失時(shí)的數(shù)據(jù)恢復(fù)，這種技術(shù)可以保存當(dāng)前存儲(chǔ)設(shè)備的狀態(tài)，比如電腦的文件被誤刪除了，可以通過存儲(chǔ)快照恢復(fù)到文件丟失之前的狀態(tài)。 快照：關(guān)于指定數(shù)據(jù)集合的一個(gè)完...
發(fā)簡信
IP屬地：浙江
-
存儲(chǔ)快照-COW和ROW -
Presto初體驗(yàn)0 - 前言 Facebook的數(shù)據(jù)倉庫存儲(chǔ)在少量大型Hadoop/HDFS集群。Hive是Facebook在幾年前專為Hadoop打造的一款數(shù)據(jù)倉庫工具。在以前，F(xiàn)aceb...
-
MySQL內(nèi)存分配優(yōu)化0 - 概述 系統(tǒng)的物理內(nèi)存是有限的，而對(duì)內(nèi)存的需求是變化的, 程序的動(dòng)態(tài)性越強(qiáng)，內(nèi)存管理就越重要，選擇合適的內(nèi)存管理算法會(huì)帶來明顯的性能提升。 MySQL作為常用的數(shù)據(jù)庫，...
-
記一次MySQL Crash處理
在MySQL 5.7的高并發(fā)場景下，有可能會(huì)觸發(fā)MySQL5.7的Bug，導(dǎo)致宕機(jī)，臨時(shí)的緊急修復(fù)方法可針對(duì)實(shí)例進(jìn)行參數(shù)的修改。Bug的詳細(xì)信息，請(qǐng)參考Bug#77588[h...
-
MySQL查看線程內(nèi)存占用情況
1.背景 內(nèi)存使用情況，決定著MySQL的性能，內(nèi)存使用率過高會(huì)使系統(tǒng)響應(yīng)時(shí)間變長，嚴(yán)重時(shí)內(nèi)存耗盡還會(huì)出現(xiàn)OOM的情況。 2.資源檢查 在操作系統(tǒng)層面，可以通過free命令查...
-
一次MySQL面試的故事（虛構(gòu)）本文純屬娛樂 面試官：談?wù)剬?duì)事務(wù)的理解吧。 我：數(shù)據(jù)庫的事務(wù)是指一組SQL語句組成的數(shù)據(jù)庫邏輯處理單元，在這組SQL的操作中，要么全部執(zhí)行成功，要么全部執(zhí)行失敗。 我：這里的...
-
記一次ES的索引遷移
由于公司需要統(tǒng)一整合ES服務(wù)，最近開始著手遷移。遷移方案主要分為物理遷移、本地升級(jí)、邏輯遷移三種。 物理遷移，就是冷拷ES數(shù)據(jù)到新集群，適合可以停機(jī)升級(jí)的業(yè)務(wù)； 本地升級(jí)，是...
-
Elasticsearch-sql使用實(shí)踐1 - 簡介 elasticsearch-sql以插件的形式運(yùn)行在ES中，攔截_sql開頭的請(qǐng)求，將請(qǐng)求中的sql語句解釋成es的DSL查詢語句，在ES內(nèi)部調(diào)用執(zhí)行后，將結(jié)果...
-
ElasticSearch基于snapshot和hdfs的備份和恢復(fù)
0 - 背景 任何一個(gè)存儲(chǔ)數(shù)據(jù)的軟件，都需要定期的備份數(shù)據(jù)。es replica提供了運(yùn)行時(shí)的高可用保障機(jī)制，可以容忍少數(shù)節(jié)點(diǎn)的故障和部分?jǐn)?shù)據(jù)的丟失，但是整體上卻不會(huì)丟失任何...
-
@心之所念丶 不會(huì)的，MySQL會(huì)逐步發(fā)送數(shù)據(jù)到客戶端，但是不建議這么設(shè)計(jì)。大數(shù)據(jù)量的查詢，可以分頁的。
淺談ES的優(yōu)勢和限制
ElasticSearch最廣泛的使用場景，是提供垂直搜索功能。什么是垂直搜索呢？抄一段百度百科： 垂直搜索引擎是針對(duì)某一個(gè)行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對(duì)網(wǎng)...
-
看索引情況
淺談ES的優(yōu)勢和限制
ElasticSearch最廣泛的使用場景，是提供垂直搜索功能。什么是垂直搜索呢？抄一段百度百科： 垂直搜索引擎是針對(duì)某一個(gè)行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對(duì)網(wǎng)...
-
ElasticSearch集群shard均衡策略
ES集群的rebalance和allocation功能，可以自動(dòng)均衡集群內(nèi)部數(shù)據(jù)、分配分片，保證各個(gè)節(jié)點(diǎn)間盡量均衡。但是，在高訪問量或者節(jié)點(diǎn)宕機(jī)的情況下，大范圍的rebala...
-
MySQL的MVCC究竟算不算？
0 - 前言 周末在家值班，看了一下MySQL的MVCC實(shí)現(xiàn)方式。之前我認(rèn)為的MVCC： 每行數(shù)據(jù)都存在一個(gè)版本，每次數(shù)據(jù)更新時(shí)都更新該版本； 修改時(shí)Copy出當(dāng)前版本隨意修...
-
08
MHA在啟用GTID的MySQL集群丟數(shù)據(jù)的問題
今天有朋友咨詢我MySQL高可用方案MHA的事情，恰好之前在公司改造過MHA，看過MHA的代碼，解答了朋友的問題，在這里也分享一下經(jīng)驗(yàn)。 MHA使用Perl語言編寫，本文盡量...
-
如何在MHA中添加配置參數(shù)
MHA的配置文件可以分為兩部分，global_configfile和configfile，分別是全局的配置文件和對(duì)應(yīng)MySQL集群的配置文件。 全局配置文件中，設(shè)置了通用配置...
-
MHA在啟用GTID的MySQL集群丟數(shù)據(jù)的問題
今天有朋友咨詢我MySQL高可用方案MHA的事情，恰好之前在公司改造過MHA，看過MHA的代碼，解答了朋友的問題，在這里也分享一下經(jīng)驗(yàn)。 MHA使用Perl語言編寫，本文盡量...
-
ClickHouse表引擎介紹
ClickHouse表引擎決定了： 數(shù)據(jù)的存儲(chǔ)方式和位置，寫到哪里以及從哪里讀取數(shù)據(jù)； 支持哪些查詢以及如何支持； 并發(fā)數(shù)據(jù)訪問； 索引的使用（如果存在）； 是否可以執(zhí)行多線...
-
近期崛起的OLAP數(shù)據(jù)庫--ClickHouse0 - 前言 ClickHouse是近期備受關(guān)注的開源列式存儲(chǔ)數(shù)據(jù)庫，主要用于數(shù)據(jù)分析（OLAP）領(lǐng)域。目前國內(nèi)社區(qū)火熱，各大廠紛紛跟進(jìn)大規(guī)模使用： 今日頭條內(nèi)部用來做用戶行...
-
ElasticSearch基本操作--Python篇
Elasticsearch 實(shí)際上提供了一系列 Restful API 來進(jìn)行存取和查詢操作，我們可以使用 curl 等命令來進(jìn)行操作，但畢竟命令行模式?jīng)]那么方便，所以這里我...