發(fā)簡(jiǎn)信
IP屬地：吉林
-
redis學(xué)習(xí)[toc] redis 數(shù)據(jù)結(jié)構(gòu) 字符串 setnx可以作為分布式鎖的實(shí)現(xiàn)方法； 內(nèi)部編碼 哈希表 內(nèi)部編碼 ziplistimage.png ...
-
摘要
1、站在書脊之上，我可以飛躍眼前的圍墻，借文字之翼，我可以抵達(dá)世界之巔，這是自由，只有閱讀時(shí)的人生后無追兵，閱讀時(shí)，是我在追尋上帝的腳步。2、成...
-
hadoop生態(tài)搭建（包括hbase,hive,hue等）
重要tip 項(xiàng)目git地址 hadoop搭建部分，使用了kiwenlau的hadoop dockefile。 注意，hadoop的分布式是基于多...
-
搜索詞推薦
使用golang開發(fā)，借助字典樹結(jié)構(gòu)+堆的數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)了us級(jí)別的搜索前綴詞和熱門搜索詞的獲取。 相關(guān)鏈接demo相關(guān)github 返回樣例
-
數(shù)據(jù)平臺(tái)實(shí)踐②——Logstash+Elasticsearch+Kibana簡(jiǎn)介 在上一次的數(shù)據(jù)平臺(tái)實(shí)踐①中，對(duì)基于Flume，Kafka和Spark Streaming的數(shù)據(jù)平臺(tái)組合做了介紹，這一次對(duì)業(yè)界流行的ELK組...
-
Tip：Hadoop+Idea（本地測(cè)試+遠(yuǎn)程調(diào)試）
MapReduce調(diào)試常見情況 Idea是一款很贊的IDE，結(jié)合Hadoop可以做本地測(cè)試+遠(yuǎn)程調(diào)試。首先，我們知道針對(duì)MapReduce有以下...
-
數(shù)據(jù)平臺(tái)實(shí)踐①——Flume+Kafka+SparkStreaming(pyspark)蜻蜓點(diǎn)水 Flume——數(shù)據(jù)采集 如果說，爬蟲是采集外部數(shù)據(jù)的常用手段的話，那么，F(xiàn)lume就是采集內(nèi)部數(shù)據(jù)的常用手段之一（logstash也是...
-
爬蟲之scrapy-splash——scrapy+js渲染容器
簡(jiǎn)介 scrapy作為爬蟲利器，我就不多說了。常見的結(jié)合js的爬蟲，一般用來扒取網(wǎng)頁動(dòng)態(tài)內(nèi)容，就是通過操作js獲取渲染的內(nèi)容?，F(xiàn)在大部分網(wǎng)站都是...
-
keystonejs試手簡(jiǎn)介 keystonejs是一款數(shù)據(jù)庫驅(qū)動(dòng)的基于Express和MongoDB開發(fā)的node框架。keystonejs可以被理解成是一款cms。...