背景：有時(shí)候我們需要將一些千萬(wàn)級(jí)甚至億級(jí)的數(shù)據(jù)表進(jìn)行數(shù)據(jù)轉(zhuǎn)移，移動(dòng)到分表當(dāng)中。如果直接通過(guò)SELECT和INSERT結(jié)合會(huì)非常緩慢，本人用的是SELECTINTO OUTFI...
發(fā)簡(jiǎn)信
IP屬地：安徽
-
Mysql轉(zhuǎn)移大數(shù)據(jù)腳本（按月分表專用）
-
Mysql自動(dòng)分表分區(qū)腳本
背景：由于工作中接觸到幾個(gè)很大數(shù)據(jù)量的表，大約在幾千萬(wàn)到1億以上的數(shù)據(jù)量，個(gè)別表由于分表后的數(shù)據(jù)量仍在千萬(wàn)級(jí)，需要按天進(jìn)行分區(qū)，所以自己寫(xiě)了一個(gè)針對(duì)數(shù)據(jù)庫(kù)進(jìn)行分表和分庫(kù)的Sh...
-
Elasticsearch大數(shù)組搜索
一、出現(xiàn)問(wèn)題： 使用es時(shí)，我們習(xí)慣使用terms加數(shù)組作為查詢條件，類似于sql中的in語(yǔ)句，然而當(dāng)使用must+terms來(lái)篩選大容量的數(shù)組時(shí)，會(huì)出現(xiàn)問(wèn)題，以下代碼： $...
-
Elasticsearch 特殊字符搜索
1.首先把需要使用特殊字符搜索的索引配置成不分析索引： 'item_no'=>['type'=>'string','index'=>'not_analyzed'], 2.在搜...
-
Nginx連接Memcached
一、Nginx連接Memcached： 用法：nginx響應(yīng)請(qǐng)求時(shí)，通過(guò)key直接請(qǐng)求memcached，如果沒(méi)有相應(yīng)的內(nèi)容，再回調(diào)PHP頁(yè)面去查詢db，并寫(xiě)入memcach...
-
Sphinx實(shí)時(shí)索引
數(shù)據(jù)庫(kù)的數(shù)據(jù)很大，然后有些新的數(shù)據(jù)后來(lái)加入到數(shù)據(jù)庫(kù)中，也希望能夠檢索到，全部重新建立索引很消耗資源，這樣需要用到“主索引+增量索引”的思路來(lái)解決，這個(gè)模式實(shí)現(xiàn)的基本原理是設(shè)置...
-
Sphinx整合PHP
1.linux下網(wǎng)站開(kāi)發(fā) ： (1).acl權(quán)限設(shè)置 (2).修改apache進(jìn)程執(zhí)行者 (3).修改samba的訪問(wèn)用戶 (4).用samba對(duì)apache網(wǎng)站根目錄進(jìn)行共...
-
Coreseek安裝與測(cè)試
1.Coreseek介紹： Sphinx默認(rèn)不支持中文索引及檢索，基于Sphinx開(kāi)發(fā)了Coreseek全文檢索服務(wù)器，Coreseek應(yīng)該是現(xiàn)在用的最多的Sphinx中文全...
-
Sphinx安裝與測(cè)試1.Sphinx安裝： (1).安裝命令： #wgethttp://sphinxsearch.com/files/sphinx-2.3.1-beta.tar.gz #tar ...
-
Mysql表分區(qū)
一、表分區(qū)： 當(dāng)一張表的數(shù)據(jù)非常多的時(shí)候，比如單個(gè).myd文件都達(dá)到10G, 這時(shí)，必然讀取起來(lái)效率降低，可不可以把表的數(shù)據(jù)分開(kāi)在幾張表上？ 1.從業(yè)務(wù)角度可以解決（分表）：...
-
Mysql-proxy
一、SQL語(yǔ)句路由： 如何在客戶端應(yīng)用的時(shí)候,路由語(yǔ)句，一般用兩種方法： 1.直接在PHP的mysql類做判斷，最簡(jiǎn)單，不用額外加軟件 ，比如discuz論壇： //可以充當(dāng)...
-
MySQL主主集群配置
一、主主復(fù)制： Mysql主主集群中，2臺(tái)服務(wù)器之間沒(méi)有明顯的地位差距, 兩者都可以同步對(duì)方的內(nèi)容 一般的格局如下圖： 二、實(shí)現(xiàn)思路： 1.兩臺(tái)服務(wù)器都設(shè)置上二進(jìn)制日志和re...
-
MySQL主從集群配置
一、數(shù)據(jù)庫(kù)集群技術(shù)： 1.集群由3個(gè)概念： (1).sql節(jié)點(diǎn) sql node (2).數(shù)據(jù)節(jié)點(diǎn) data node (3).管理節(jié)點(diǎn) ndb managerment 注：...
-
Mysql的explain語(yǔ)句一、id： 代表select語(yǔ)句的編號(hào)，如果是連接查詢，表之間是平等關(guān)系，select 編號(hào)都是從1開(kāi)始，如果某select中有子查詢，則編號(hào)遞增； 二、select_typ...
-
Mysql聚簇索引和索引覆蓋
一、myisam與innodb引擎索引文件的異同： 1.myisam中, 主索引和次索引都指向物理行（磁盤(pán)位置）； 2.innodb的主索引文件上，直接存放該行數(shù)據(jù)，稱為聚簇...
-
Mysql主從復(fù)制
MySQL 復(fù)制基于主服務(wù)器在二進(jìn)制日志（binlog）中跟蹤所有對(duì)數(shù)據(jù)庫(kù)的更改（更新、刪除等等）。每個(gè)從服務(wù)器從主服務(wù)器接收主服務(wù)器已經(jīng)記錄到其二進(jìn)制日志的保存的更新，以便...
-
Mysql權(quán)限管理
Mysql對(duì)權(quán)限的控制，大致分為2個(gè)階段： 一、用戶有沒(méi)有連接權(quán)限： mysql如何判斷用戶有沒(méi)有權(quán)限連接，依據(jù)3個(gè)參數(shù)：host、user和password。用戶這3個(gè)信息...
-
Nginx設(shè)置expires緩存提升網(wǎng)站負(fù)載
一、緩存作用： 對(duì)于網(wǎng)站的圖片,尤其是新聞?wù)? 圖片一旦發(fā)布, 改動(dòng)的可能是非常小的.我們希望 能否在用戶訪問(wèn)一次后, 圖片緩存在用戶的瀏覽器端，且時(shí)間比較長(zhǎng)的緩存，可以使用...
