前言 今天 Review 了一下同事的代碼，發(fā)現(xiàn)其代碼中有非常多的 mapPartitions,問其原因，他說性能比 map 更好。我說為什么性能好呢？于是就有了這篇文章 網(wǎng)...
發(fā)簡(jiǎn)信
IP屬地：湖北
-
Spark系列——關(guān)于 mapPartitions的誤區(qū)
-
TCP協(xié)議詳解為什么會(huì)有TCP/IP協(xié)議 在世界上各地，各種各樣的電腦運(yùn)行著各自不同的操作系統(tǒng)為大家服務(wù)，這些電腦在表達(dá)同一種信息的時(shí)候所使用的方法是千差萬別。就好像圣經(jīng)中上帝打亂了各地人...
-
pythonFlask框架學(xué)習(xí)Flask是由python實(shí)現(xiàn)的一個(gè)web微框架，讓我們可以使用Python語言快速實(shí)現(xiàn)一個(gè)網(wǎng)站或Web服務(wù)。而且有對(duì)應(yīng)的python3及python2版本。首先這邊選擇的是...
-
-
一、Socket技術(shù)詳解Socket原理 １、什么是Socket 在計(jì)算機(jī)通信領(lǐng)域，socket 被翻譯為“套接字”，它是計(jì)算機(jī)之間進(jìn)行通信的一種約定或一種方式。通過 socket 這種約定，一臺(tái)計(jì)...
-
當(dāng)ES向logstash發(fā)出reject
背景：使用了自定義插件之后，出現(xiàn)了數(shù)據(jù)無法寫入es的問題。 查看日志后發(fā)現(xiàn)如下信息： 查閱相關(guān)資料，了解到出現(xiàn)"es_rejected_execution_exception...
-
logstash插件
背景：由于需要將探針數(shù)據(jù)中的服務(wù)器位置信息等數(shù)據(jù)可能是錯(cuò)誤的，而我們自己有相對(duì)準(zhǔn)確的數(shù)據(jù)，所以要自己來把這些信息附加到探針數(shù)據(jù)中。對(duì)于這個(gè)需求，最高效的做法應(yīng)該就是自己開發(fā)l...
-
es故障：‘index [xxx] blocked by :[FORBIDDEN/12/index read-only / allow delete (api)];’
故障描述：檢查es索引發(fā)現(xiàn)幾個(gè)大索引在半夜停了，查看redis發(fā)現(xiàn)已經(jīng)被撐爆內(nèi)存重啟過了。集群狀態(tài)為紅色，logstash日志顯示： 檢查各臺(tái)服務(wù)器，發(fā)現(xiàn)有幾臺(tái)服務(wù)器磁盤使用...
-
自定義logstash geoip filter使用的mmdb文件
自定義logstash geoip filter使用的mmdb文件 Python 源碼 logstash 配置 相關(guān)源碼 logstash的GeoIp過濾器源碼地址：http...
-
logstash filter 自定義插件開發(fā) 全步驟一.理論信息 1. 使用logstash自帶命令生成插件模版 bin/logstash-plugin generate --type filter --name tes...
-
學(xué)習(xí)ruby
背景：這兩天因?yàn)橐鰈ogstash插件，所以需要學(xué)習(xí)一下ruby才能看懂這些插件的源碼。 看了兩天ruby的語法文檔，ruby的語法很多地方都可以讓我聯(lián)想到其他的一些語言或...
-
ElasticSearch 5.X 最佳實(shí)踐
Author: 袁野Date: 2018.01.05Version: 1.0 注意事項(xiàng)：本文檔所述為通用情況，不可作為特定業(yè)務(wù)參照；本文檔所述適用于 ELK 棧中的 Elas...
-
前阿里大數(shù)據(jù)SRE資深運(yùn)維屌絲，熟悉分布式存儲(chǔ)及數(shù)據(jù)同步。喜歡手游、旅游、尬酒，以及各種重口味恐怖片。<br>微信：yaoyaminaco
