分庫分表的基本思想 Sharding的基本思想就要把一個數(shù)據(jù)庫切分成多個部分放到不同的數(shù)據(jù)庫(server)上，從而緩解單一數(shù)據(jù)庫的性能問題。不...
投稿
收錄了18篇文章 · 9人關(guān)注
-
分庫分表需要考慮的問題及方案 -
10億級別訂單的分庫分表方案
背景 隨著公司業(yè)務(wù)增長，如果每天1000多萬筆訂單的話，3個月將有約10億的訂單量，之前數(shù)據(jù)庫采用單庫單表的形式已經(jīng)不滿足于業(yè)務(wù)需求，數(shù)據(jù)庫改造...
-
Python之使用Pandas庫實現(xiàn)MySQL數(shù)據(jù)庫的讀寫??本次分享將介紹如何在Python中使用Pandas庫實現(xiàn)MySQL數(shù)據(jù)庫的讀寫。首先我們需要了解點ORM方面的知識。 ORM技術(shù) ??對象關(guān)...
-
記一次datax在ubuntu下cron出現(xiàn) /bin/sh: 1: java: not found
解決方式：創(chuàng)建shell腳本 /opt/datax/job/xxxx.sh crontab -e0 8 * * * sh /opt/datax/...
-
hdfs命令大全
hdfs常用命令： 第一部分：hdfs文件系統(tǒng)命令 第一類：文件路徑增刪改查系列： hdfs dfs -mkdir dir 創(chuàng)建文件夾 hdf...
-
sklearn的邏輯回歸Logistic Regression（LR）
1. 概述 在scikit-learn中，與邏輯回歸有關(guān)的主要是這3個類。LogisticRegression， LogisticRegress...
-
Pandas 中文API文檔
Pandas官方文檔 縮寫和包導(dǎo)入 在這個速查手冊中，我們使用如下縮寫： df：任意的Pandas DataFrame對象s：任意的Pandas...
-
景區(qū)評論文本處理與評價分值預(yù)測 - 競賽總結(jié)0.前言 二月份上旬參加了一個關(guān)于景區(qū)評分預(yù)測的競賽，即根據(jù)游客對某景區(qū)的評論，預(yù)測該游客給該景區(qū)打幾分。比賽還在繼續(xù)，感興趣的朋友點這里。 這...
-
Scikit-learn使用總結(jié)
在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的應(yīng)用中，scikit-learn是一個功能強(qiáng)大的python包。在數(shù)據(jù)量不是過大的情況下，可以解決大部分問題。學(xué)習(xí)使用sc...
-
Hive的性能優(yōu)化以及數(shù)據(jù)傾斜
hive性能優(yōu)化 一、Map階段的優(yōu)化： （控制hive任務(wù)中的map數(shù)，確定合適的map數(shù)，以及每個map處理合適的數(shù)據(jù)量）。 map個數(shù)影響...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/603887/bigdata.jpg', '推薦專題《數(shù)據(jù)與未來》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/922034fe80fc?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}