前言 說人話:其實(shí)就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講,坑則是從實(shí)際場(chǎng)景中遇到的一些小細(xì)節(jié)描述。 玫瑰篇 玫瑰篇主要是說Spark St...
前言 說人話:其實(shí)就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講,坑則是從實(shí)際場(chǎng)景中遇到的一些小細(xì)節(jié)描述。 玫瑰篇 玫瑰篇主要是說Spark St...
前言 從開始工作,我一直會(huì)問自己這么兩個(gè)問題: 我有足夠多的工具提升自己效率么? 我有足夠好的平臺(tái)去提升團(tuán)隊(duì)效率么? 效率在我看來是至關(guān)重要的。關(guān)于我對(duì)效率的理解,還可以看看...
1 前言 2 基于heapAnalyzer和arthas的線上性能分析 2.1 需求背景 之前在客戶現(xiàn)場(chǎng),公司的大數(shù)據(jù)平臺(tái)出現(xiàn)了頁(yè)面訪問卡頓的現(xiàn)象,經(jīng)過診斷發(fā)現(xiàn)有內(nèi)存泄漏問題...
1 遇到問題 flink實(shí)時(shí)程序在線上環(huán)境上運(yùn)行遇到一個(gè)很詭異的問題,flink使用eventtime讀取kafka數(shù)據(jù)發(fā)現(xiàn)無法觸發(fā)計(jì)算。經(jīng)過代碼打印查看后發(fā)現(xiàn)十個(gè)并行度執(zhí)行...
1 Arthas 介紹 1.1 Arthas是什么 Arthas 是Alibaba開源的Java診斷工具。它支持JDK 6+,支持Linux/Mac/Windows,采用命令...
1 insert...from的問題 insert … select 是很常見的在兩個(gè)表之間拷貝數(shù)據(jù)的方法。需要注意,在可重復(fù)讀隔離級(jí)別下,這個(gè)語(yǔ)句會(huì)給select的表里掃描...
背景 大數(shù)據(jù)平臺(tái)早期是野蠻生長(zhǎng)的,作業(yè)直接在終端提交運(yùn)行,處于一種完全無管理的自由狀態(tài)。在17年上線了內(nèi)部的大數(shù)據(jù)平臺(tái)后,用戶開始逐漸在平臺(tái)上進(jìn)行數(shù)據(jù)管理,代碼編寫,作業(yè)管理...
Kullback-Leibler Divergence,即K-L散度,是一種量化兩種概率分布P和Q之間差異的方式,又叫相對(duì)熵。在概率學(xué)和統(tǒng)計(jì)學(xué)上,我們經(jīng)常會(huì)使用一種更簡(jiǎn)單的、...
兩年前初來北京,乍到; 兩年后還在北京,久居。 時(shí)間是可怕的。 可怕之一在于,如果生活發(fā)生了重大的變故,會(huì)讓人覺得這時(shí)間不太真實(shí),恍若隔世; 可怕之二在于,如果生活沒有發(fā)生什...
關(guān)鍵詞:注意力機(jī)制;Attention機(jī)制;自然語(yǔ)言處理;NLP;原文鏈接地址近年來,深度學(xué)習(xí)的研究越來越深入,在各個(gè)領(lǐng)域也都獲得了不少突破性的進(jìn)展?;谧⒁饬Γ╝ttent...