背景 數(shù)據(jù)入庫(kù)這塊有離線和實(shí)時(shí)兩套入庫(kù)系統(tǒng)，寫同一個(gè)db的同一批mysql表，兩邊用的都是insert into table on duplicate key update這...
IP屬地：四川
-
mysql insert duplicate key update 死鎖分析
-
mysql 索引加鎖分析本來想自己總結(jié)一番的，但是有更全面的博客，就不獻(xiàn)丑了...原文地址:http://hedengcheng.com/?p=771 背景 MySQL/InnoDB的加鎖分析，一直...
-
es節(jié)點(diǎn)恢復(fù)后就可以了
ES節(jié)點(diǎn)丟失導(dǎo)致實(shí)時(shí)數(shù)據(jù)導(dǎo)入速度特別慢
一個(gè)節(jié)點(diǎn)死機(jī)了，無法自動(dòng)重啟。通過logtash導(dǎo)數(shù)據(jù)，由于當(dāng)天入的數(shù)據(jù)是0備份，節(jié)點(diǎn)丟失后，某些shard丟失，導(dǎo)致集群一直處于red狀態(tài)。節(jié)點(diǎn)丟失后，該索引的導(dǎo)入速度直線...
-
@hell0_98a8 這里我的理解是我們指定的field會(huì)有索引，常見的int類型，date類型都會(huì)有索引，默認(rèn)應(yīng)該用的應(yīng)該是_id，字符串的索引沒有int和date快。
ES 深度分頁(yè)scroll使用方式
我們知道ES對(duì)于from+size的個(gè)數(shù)是有限制的，二者之和不能超過1w。當(dāng)所請(qǐng)求的數(shù)據(jù)總量大于1w時(shí)，可用scroll來代替from+size。 首次查詢使用方式如下： 接...
-
一種通用調(diào)度平臺(tái)的設(shè)計(jì)思路根據(jù)筆者的工作經(jīng)歷，這里總結(jié)一種通用調(diào)度平臺(tái)的設(shè)計(jì)思路。 這里會(huì)分三部分介紹： 1、相關(guān)概念。明確調(diào)度平臺(tái)中常用的術(shù)語(yǔ)，避免歧義。 2、設(shè)計(jì)思路。分模塊介紹各個(gè)模塊的設(shè)計(jì)思路...
-
世界本不應(yīng)該如此復(fù)雜。。。<br>emacs + nix + rust + haskell + lisp + typescript是我的手足<br>nixos + xmonad + alacritty是我的衣服<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fgithub.com%2Fclojurians-org" target="_blank">http://github.com/clojurians-org</a>
-
數(shù)據(jù)治理篇-元數(shù)據(jù): datahub概述
前言. 元數(shù)據(jù)是數(shù)據(jù)治理的靈魂 1. 元數(shù)據(jù)之于數(shù)據(jù)治理 數(shù)據(jù)治理是一個(gè)龐大的系統(tǒng)，其中主要包括數(shù)據(jù)管控，數(shù)據(jù)質(zhì)量，數(shù)據(jù)安全，數(shù)據(jù)標(biāo)準(zhǔn)。a) 數(shù)據(jù)管控：每一項(xiàng)數(shù)據(jù)變更都能得到...
-
邏輯回歸（LR）個(gè)人學(xué)習(xí)總結(jié)篇寫作計(jì)劃： 線性模型LR(沒有考慮特征間的關(guān)聯(lián))——>LR +多項(xiàng)式模型（特征組合，不適用于特征稀疏場(chǎng)景，泛化能力弱）——>FM（適用于稀疏特征場(chǎng)景*，泛化能力強(qiáng)）——>FF...
-
kafka 架構(gòu)設(shè)計(jì)簡(jiǎn)介(一)一、概述 kafka是一個(gè)分布式的消息系統(tǒng)，由LinkedIn開發(fā)，后成為Apache的一部分。它以水平擴(kuò)展和高吞吐率被廣泛使用。 最近開始深入學(xué)習(xí)kafka，然后打算寫一個(gè)...
-
@土豆片_cce9 spark會(huì)根據(jù)你配置的節(jié)點(diǎn)拿到集群所有的節(jié)點(diǎn)信息，然后只與data節(jié)點(diǎn)通信
ES-Spark連接ES后，ES Client節(jié)點(diǎn)流量打滿分析
問題描述 前段時(shí)間用es-spark讀取es數(shù)遇到了client節(jié)點(diǎn)流量打滿的現(xiàn)象。es-spark配置的es.nodes是es的域名。由于其中一個(gè)client是master...
-
【轉(zhuǎn)】架構(gòu)漫談（九）：理清技術(shù)、業(yè)務(wù)和架構(gòu)的關(guān)系原文鏈接架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)驗(yàn)為基礎(chǔ)，逐步討論什么是架構(gòu)、怎樣做好架構(gòu)、軟件架構(gòu)如何落地、如何寫好程序等...
-
【轉(zhuǎn)】架構(gòu)漫談（八）：從架構(gòu)的角度看如何寫好代碼原文鏈接本文首發(fā)于 InfoQ 旗下垂直社群聊聊架構(gòu)（微信號(hào) archtime）。 架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)...
-
【轉(zhuǎn)】架構(gòu)漫談（七）：不要空設(shè)架構(gòu)師這個(gè)職位，給他實(shí)權(quán)
原文鏈接架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)驗(yàn)為基礎(chǔ)，逐步討論什么是架構(gòu)、怎樣做好架構(gòu)、軟件架構(gòu)如何落地、如何寫好程序等...
-
【轉(zhuǎn)】架構(gòu)漫談（六）：軟件架構(gòu)到底是要解決什么問題？原文鏈接 架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)驗(yàn)為基礎(chǔ)，逐步討論什么是架構(gòu)、怎樣做好架構(gòu)、軟件架構(gòu)如何落地、如何寫好程序...
-
【轉(zhuǎn)】架構(gòu)漫談（五）：什么是軟件原文鏈接 架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)驗(yàn)為基礎(chǔ)，逐步討論什么是架構(gòu)、怎樣做好架構(gòu)、軟件架構(gòu)如何落地、如何寫好程序...
-
【轉(zhuǎn)】架構(gòu)漫談（四）：如何做好架構(gòu)之架構(gòu)切分
原文鏈接 架構(gòu)漫談是由資深架構(gòu)師王概凱 Kevin 執(zhí)筆的系列專欄，專欄將會(huì)以 Kevin 的架構(gòu)經(jīng)驗(yàn)為基礎(chǔ)，逐步討論什么是架構(gòu)、怎樣做好架構(gòu)、軟件架構(gòu)如何落地、如何寫好程序...
-
【轉(zhuǎn)】架構(gòu)漫談（三）：如何做好架構(gòu)之識(shí)別問題
原文鏈接 按照之前架構(gòu)的定義，做好架構(gòu)首先需要做的就是識(shí)別出需要解決的問題。一般來說，如果把真正的問題找到，那么問題就已經(jīng)解決80%了。這個(gè)能力基本上就決定了架構(gòu)師的水平。 ...
