前言 網(wǎng)絡爬蟲，是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。爬蟲可以通過模擬瀏覽器訪問網(wǎng)頁，從而獲取數(shù)據(jù)，一般網(wǎng)頁里會有很多個URL,爬蟲可以訪問這些URL到達...
發(fā)簡信
IP屬地：廣西
-
Java多線程爬蟲爬取京東商品信息 -
Zookeeper 分布式協(xié)同詳解本文參考自：《ZooKeeper: Distributed process coordination》 Zookeeper 簡介 Zookeeper 最初是由 Yahoo 公...
-
Kafka設計解析（一）- Kafka簡介及架構(gòu)介紹原文：InfoQ 作者 郭俊 簡介 Kafka是一種分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。使用Scala編寫，它以可水平擴展和高吞吐率而被廣泛使用。 Kafka架構(gòu) T...
-
Redis Sentinel（哨兵）部署
Redis-sentinel是Redis實例的監(jiān)控管理、通知和實例失效備援服務，是Redis集群的管理工具。在一般的分布式中心節(jié)點數(shù)據(jù)庫中，Redis-sentinel的作用...
-
GitLab-CI與GitLab-Runner一、持續(xù)集成（Continuous Integration） 要了解GitLab-CI與GitLab Runner，我們得先了解持續(xù)集成是什么。 持續(xù)集成是一種軟件開發(fā)實踐，...
-
RabbitMQ鏡像模式集群可用性測試總結(jié)由于業(yè)務的需要用到隊列，并保證隊列的高可用性，我們選擇了RabbitMQ的鏡像集群模式。這種集群模式在隊列節(jié)點宕機或故障時也能正常使用，因為它支持復制隊列內(nèi)容到集群里的每個節(jié)...
-
口袋數(shù)據(jù)庫讀寫分離及在過程中遇到的問題
隨著業(yè)務的發(fā)展，口袋數(shù)據(jù)量越來越大，訪問量也在持續(xù)上升，數(shù)據(jù)庫的壓力也變大。經(jīng)過分析，口袋屬于讀多寫少的業(yè)務，數(shù)據(jù)庫層面，之前已經(jīng)存在一主一從，但讀寫都是走的主庫，沒有真正運...
-
使用Spring boot開發(fā)新服務
口袋最近要開發(fā)一個新項目，由于沒有歷史債務，決定使用一些相對新的框架和特性來進行開發(fā)：Spring boot & Gradle & YAML & MyBatis-spring...
