官網(wǎng) https://clear.ml/
當(dāng)下的幾個(gè)機(jī)器學(xué)習(xí)框架，ref:https://blog.csdn.net/admans/article/details/139256616
DL：深度學(xué)習(xí)
常用的工具PyTorch，TensorFlow，Keras，Caffe，Caffe2，MegEngine，MindSpore，OneFlow，ScikitLearn，Mathworks，Theano，Torch，MLLib，Ray
ML：機(jī)器學(xué)習(xí)
常用的工具XGBoost，LightGBM，LibSVM
DML：分布式機(jī)器學(xué)習(xí)
AutoML：自動(dòng)化機(jī)器學(xué)習(xí)
RL：強(qiáng)化學(xué)習(xí)
常用的工具RLlib，TorchRL，PaddleRL，TF-Agents
MLaaS：機(jī)器學(xué)習(xí)即服務(wù)
SR：語(yǔ)音識(shí)別領(lǐng)域的學(xué)習(xí)框架
3.相關(guān)組件
[圖片上傳失敗...(image-59a1e-1729504594727)]
Elasticsearch ：Elasticsearch 是一個(gè)分布式搜索和分析引擎，ClearML 使用 Elasticsearch 主要用于以下目的：
強(qiáng)大的搜索功能：Elasticsearch 提供高效的全文搜索和數(shù)據(jù)查詢能力，使得用戶可以快速查找實(shí)驗(yàn)、模型和數(shù)據(jù)集等元數(shù)據(jù)。
數(shù)據(jù)分析與可視化：結(jié)合 Kibana，Elasticsearch 能夠?qū)Υ鎯?chǔ)的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和可視化，幫助用戶洞察實(shí)驗(yàn)結(jié)果和模型性能。
高效存儲(chǔ)：Elasticsearch 以索引的方式存儲(chǔ)數(shù)據(jù)，適合處理大規(guī)模的查詢請(qǐng)求，提升數(shù)據(jù)訪問(wèn)速度。
MongoDB：文檔型數(shù)據(jù)庫(kù)，ClearML 使用 MongoDB 作為后端數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)各種元數(shù)據(jù)。它的主要作用包括：
實(shí)驗(yàn)記錄：MongoDB 用于存儲(chǔ)所有實(shí)驗(yàn)（任務(wù)）的配置、參數(shù)、狀態(tài)、輸出和其他元數(shù)據(jù)。這使得用戶能夠追蹤實(shí)驗(yàn)的歷史，方便回溯和對(duì)比。
任務(wù)管理：每個(gè)實(shí)驗(yàn)都在 MongoDB 中有對(duì)應(yīng)的記錄，包括執(zhí)行狀態(tài)、開(kāi)始和結(jié)束時(shí)間、資源使用情況等信息。這些數(shù)據(jù)幫助用戶有效管理和監(jiān)控多個(gè)實(shí)驗(yàn)任務(wù)。
數(shù)據(jù)集和模型存儲(chǔ)：ClearML 支持將數(shù)據(jù)集和模型與實(shí)驗(yàn)關(guān)聯(lián)，這些信息同樣存儲(chǔ)在 MongoDB 中，便于后續(xù)查找和重用。
Redis：Redis 是一個(gè)開(kāi)源的內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)系統(tǒng)，ClearML 使用 Redis 主要用于以下功能：
任務(wù)隊(duì)列：Redis 作為任務(wù)的消息隊(duì)列，支持異步任務(wù)執(zhí)行。這意味著用戶可以提交多個(gè)實(shí)驗(yàn)，而系統(tǒng)會(huì)在后臺(tái)處理它們，不會(huì)阻塞用戶的操作。
實(shí)時(shí)監(jiān)控：通過(guò) Redis，ClearML 可以實(shí)現(xiàn)對(duì)任務(wù)狀態(tài)和進(jìn)度的實(shí)時(shí)監(jiān)控，用戶可以即時(shí)獲得任務(wù)的更新信息。
緩存機(jī)制：Redis 可以緩存一些頻繁訪問(wèn)的數(shù)據(jù)，減少對(duì) MongoDB 的請(qǐng)求次數(shù)，從而提升性能。通過(guò)緩存，用戶可以加快任務(wù)的執(zhí)行和管理速度。
