【Spark】HistoryServer首頁加載頁面慢問題

【問題分析】
當刷新HistoryServer首頁時,頁面會發(fā)送一個REST請求( /api/v1/applications)到HistoryServer,獲取application列表信息(json response);默認是將history log存儲路徑下的所有application信息返回。目前history log的HDFS存儲路徑下的application數目基本維持在1萬以上,刷新首頁顯示“Loading History Summary”的耗時主要在解析返回的json數據及渲染頁面上。
【解決方案】
設置spark.history.ui.maxApplications=2000參數,限制首頁顯示的application數目。
參數設置后帶來的問題是沒有加載到首頁的application通過search框搜索不到,查找方法轉換成打開頁面已有app historylog 鏈接,替換appid字段后跳轉。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現,斷路器,智...
    卡卡羅2017閱讀 136,578評論 19 139
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,094評論 25 709
  • 發(fā)現 關注 消息 iOS 第三方庫、插件、知名博客總結 作者大灰狼的小綿羊哥哥關注 2017.06.26 09:4...
    肇東周閱讀 15,405評論 4 61
  • 不知道在南京,在中國,在世界,有多少背井離鄉(xiāng),孤身一人在外打拼的人…… 也不知道這些人中有多少人和我一樣,看似開心...
    雪后晴空閱讀 908評論 2 49
  • $.ajax({ //提交數據的類型 POST GET type: "post", //提交的網址 url: "x...
    前端大鵬閱讀 203評論 0 0

友情鏈接更多精彩內容