前言:自Google發(fā)表三大論文GFS、MapReduce、BigTable以來,衍生出的開源框架越來越多,其中Hadoop更是以高可用、高擴(kuò)展...
投稿
收錄了3篇文章 · 2人關(guān)注
前言:自Google發(fā)表三大論文GFS、MapReduce、BigTable以來,衍生出的開源框架越來越多,其中Hadoop更是以高可用、高擴(kuò)展...
啟動參數(shù) /bin/spark-submit --master yarn-cluster --num-executors 100 --execu...
前段時間學(xué)習(xí)了spark streaming采用kafka作為數(shù)據(jù)源時,數(shù)據(jù)接收并行度這一部分的源代碼。本文主要將學(xué)習(xí)的體會記錄一下,有理解不對...