前言 網(wǎng)絡爬蟲,是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。爬蟲可以通過模擬瀏覽器訪問網(wǎng)頁,從而獲取數(shù)據(jù),一般網(wǎng)頁里會有很多個URL,爬蟲可以訪問這些URL到達...
前言 網(wǎng)絡爬蟲,是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。爬蟲可以通過模擬瀏覽器訪問網(wǎng)頁,從而獲取數(shù)據(jù),一般網(wǎng)頁里會有很多個URL,爬蟲可以訪問這些URL到達...
本文參考自:《ZooKeeper: Distributed process coordination》 Zookeeper 簡介 Zookeeper 最初是由 Yahoo 公...
原文:InfoQ 作者 郭俊 簡介 Kafka是一種分布式的,基于發(fā)布/訂閱的消息系統(tǒng)。使用Scala編寫,它以可水平擴展和高吞吐率而被廣泛使用。 Kafka架構(gòu) T...
Redis-sentinel是Redis實例的監(jiān)控管理、通知和實例失效備援服務,是Redis集群的管理工具。在一般的分布式中心節(jié)點數(shù)據(jù)庫中,Redis-sentinel的作用...
一、持續(xù)集成(Continuous Integration) 要了解GitLab-CI與GitLab Runner,我們得先了解持續(xù)集成是什么。 持續(xù)集成是一種軟件開發(fā)實踐,...
由于業(yè)務的需要用到隊列,并保證隊列的高可用性,我們選擇了RabbitMQ的鏡像集群模式。這種集群模式在隊列節(jié)點宕機或故障時也能正常使用,因為它支持復制隊列內(nèi)容到集群里的每個節(jié)...
隨著業(yè)務的發(fā)展,口袋數(shù)據(jù)量越來越大,訪問量也在持續(xù)上升,數(shù)據(jù)庫的壓力也變大。經(jīng)過分析,口袋屬于讀多寫少的業(yè)務,數(shù)據(jù)庫層面,之前已經(jīng)存在一主一從,但讀寫都是走的主庫,沒有真正運...
口袋最近要開發(fā)一個新項目,由于沒有歷史債務,決定使用一些相對新的框架和特性來進行開發(fā):Spring boot & Gradle & YAML & MyBatis-spring...