JMeter簡(jiǎn)介 JMeter基本概念 Apache JMeter是Apache組織開(kāi)發(fā)的基于Java的壓力測(cè)試工具。用于對(duì)軟件做壓力測(cè)試，它最初被設(shè)計(jì)用于Web應(yīng)用測(cè)試，但...
IP屬地：上海
-
JMeter（一） 入門(mén) -
[源碼分析]spark shuffle的讀操作
上一篇解讀了shuffle寫(xiě)操作的流程，相比較shuffle讀操作而言是比較簡(jiǎn)單的；shuffle讀取過(guò)程比較耗內(nèi)存，由于在最后會(huì)把所有的數(shù)據(jù)拉入到緩存中進(jìn)行聚合； shul...
-
Spark on Yarn之Executor內(nèi)存管理本文1、2、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識(shí)，第4節(jié)描述了常見(jiàn)錯(cuò)誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...
-
記一次Spark Yarn Shuffle Service升級(jí)引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進(jìn)程內(nèi)部，大家都知道可以通過(guò)這個(gè)外部服務(wù)來(lái)削減...
-
【開(kāi)源Spark實(shí)戰(zhàn)訓(xùn)練營(yíng)】基于spark快速構(gòu)建數(shù)倉(cāng)項(xiàng)目作者：螞蟻金服數(shù)據(jù)中臺(tái)技術(shù)專家－王飛（必武）整理:平凡的世界-zkx,轉(zhuǎn)載請(qǐng)注明出處。 第一節(jié)會(huì)介紹一下數(shù)據(jù)倉(cāng)庫(kù)的基本理論第二節(jié)給大家介紹一下基于spark多數(shù)據(jù)源的集成，第...
-
External Shuffle Service 引起的NodeManager OOM問(wèn)題分析1 現(xiàn)象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而掛掉的情況, 且發(fā)生OOM前存在大量的Spark Shuffle Services相關(guān)信...
-
大數(shù)據(jù)Structured Streaming教程1:概念及使用近年來(lái)，大數(shù)據(jù)的計(jì)算引擎越來(lái)越受到關(guān)注，spark作為最受歡迎的大數(shù)據(jù)計(jì)算框架，也在不斷的學(xué)習(xí)和完善中。在Spark2.x中，新開(kāi)放了一個(gè)基于DataFrame的無(wú)下限的流式...
-
很不舒服
剛才弟弟給我發(fā)了一條微信:姐，借我2000塊錢(qián)吧。 我感覺(jué)很憤怒:這家人是怎么了，都把我當(dāng)短期取款機(jī)了， 后來(lái)看到他又發(fā)了一條信息:月底前還給你，我得心情才好受了那么一點(diǎn)兒。...
-
blink udtf的實(shí)戰(zhàn)
實(shí)時(shí)計(jì)算支持三種自定義函數(shù)（UDX），分別是： 本文檔通過(guò)使用UDTF解析字節(jié)數(shù)組成多個(gè)字段如存儲(chǔ)的是{"name":"Alice", "age":13, "grade":...
