給女朋友上鎖 有一天夢見女朋友跟一個陌生男人逛街,我很是著急,于是有很多志同道合的朋友開始為我出謀劃策。有說,讓那個男的指向null,讓垃圾回收他。 也有的說給個死循環(huán),讓他...
給女朋友上鎖 有一天夢見女朋友跟一個陌生男人逛街,我很是著急,于是有很多志同道合的朋友開始為我出謀劃策。有說,讓那個男的指向null,讓垃圾回收他。 也有的說給個死循環(huán),讓他...
最近的一個項目中使用了spark技術過程遇到的一些問題,下面就以問題來分析原因及解決過程。 問題 1、創(chuàng)建sparkView沒有加限制條件,導致創(chuàng)建幾十上百萬大數據量的vie...
著名的密碼學者Ron Rivest曾經說過:“密碼學是關于如何在敵人存在的環(huán)境中通訊”。 的確,從嚴謹的角度來講,不管是公網環(huán)境還是在企業(yè)內網,我們設計系統(tǒng)的時候都需要充分考...
前言 目前spark sql 主要應用在structure streaming、etl 和 machine learning 的場景上, 它能對結構化的數據進行存儲和操作,結...
java多線程里面volatile以及CAS都是比單純的鎖能提供更高性能的一種共享資源訪問機制,在這里進行對其原理的探究和解析 在前言這里先介紹一下并發(fā)編程的兩個概念: (1...
開發(fā)一個專門用于運維的接口,每次需要運維時,指定ip進行(若不指定ip,由于有多臺部署機器,請求路由到完全不可知的機器上) 采用公司分布式配置依賴最多的,功能也相對強大的zo...
最近負責的系統(tǒng)總是出現奇怪的緩存問題,在這里簡單記錄一下碰到的問題和踩到的坑。 問題:用戶反映使用不同賬號A,B登錄時,都出現賬號A的頁面信息(未郵寄賬單提示)。如下所示: ...
寫在最前 隨著互聯(lián)網日漸發(fā)展,開發(fā)人員需要處理的數據量愈來愈大,一些不起眼的小問題可能就會引發(fā)燎原之火,而其中一個例子就是海量數據的檢索。 由于歷史原因及業(yè)務因素,某些數據我...
前言 近期開發(fā)一個用于手機 WebView 的頁面,因為是簡單頁面,為了避免打包的麻煩,沒有用 webpack,直接用 require.js 加載資源文件了 ,頁面的具體功能...
前言 根據部門技術要求,同時提高系統(tǒng)的穩(wěn)定性和易維護性,需要對現有系統(tǒng)進行技術升級改造,在技術改造的過程中難免會遇到一些問題,令我印象比較深刻的就是文章標題所說的BeanCr...
背景介紹 截至編寫此文,A系統(tǒng)已經成功上線2年有多,作為國內主流電商公司核心的基礎公共服務系統(tǒng)之一,每天承載了數十億級別流量。自上線以來成功地經受住了雙十一,周年店慶等大促的...
異常處理是我們日常開發(fā)中關注比較少的一塊,雖然很多時候并不起眼,但是如果處理不當,很容易使精心設計的程序變得不堪一擊。通過學習軟件強健度等級劃分的概念及常用的異常處理方法,能...
前言 由于我司的系統(tǒng)已存在穩(wěn)定的Hive on Hadoop集群以及Spark集群,隨著業(yè)務發(fā)展,需要打通這兩者,并能方便大家在其上進行開放,于是有了本文。本文實際是關于"H...
最近工作中,老是遇到程序假死或者宕掉,最終原因都是full gc導致,剛好回過頭再學習一下JVM內存模式,以及GC垃圾回收機制,減少故障幾率。 一、JVM內存模型及垃圾收集算...
在日常中我們經常遇到這樣的錯誤:java.lang.OutOfMemoryError: Java heap space。但是除了heap space 的OutOfMemory...
1.前言 最近需要基于ES做一些統(tǒng)計分析的報表,所以對其聚合功能做了一些了解,發(fā)現功能挺強大,能夠從大量數據中對指標做一些復雜的統(tǒng)計分析,而且只需簡單的調用一個API就能實現...
1.前言 以編譯程序執(zhí)行本地代碼,比解釋執(zhí)行更快,除虛擬機解釋執(zhí)行字節(jié)碼額外消耗時間的原因之外,另一個很重要原因就是虛擬機設計團隊幾乎把對代碼的所有優(yōu)化措施都集中在即時編譯器...
1. 背景 由于業(yè)務需求驅動,財務系統(tǒng)需要定時從庫存事物數據庫,及訂單接口,價格接口等數據庫實例或接口系統(tǒng)獲取數據并按設定的動態(tài)邏輯規(guī)則生成賬單及明細.面對復雜,海量數據來源...