tf serving 快速模型加載

相關(guān)的代碼在
load_servables_fast.h/cc中

  const uint32 prev_num_load_threads = manager->num_load_threads();
  manager->SetNumLoadThreads(num_threads);
  ConnectSourceToTarget(source, manager);
  const Status status = wait_until_loaded_fn();
  manager->SetNumLoadThreads(prev_num_load_threads);
  return status;

如注釋中所寫:臨時(shí)增加線程數(shù)
// Connects 'source' to 'manager', and speeds up loading of the servables
// matching 'initial_servables'. The speeding up is accomplished by boosting the
// number of threads used for loading until the initial servables have been
// loaded, and then resetting it to the manager's originally configured value.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 周五做日文閱讀時(shí)遇到一篇講一日本人出差到E國,本來與客戶約好后天見面,結(jié)果后天果真來到時(shí),對方不僅爽約,而且沒有提...
    離家難閱讀 1,281評論 5 19
  • 雨輕點(diǎn)著屋檐 在我的對面 分不清是雨還是你的容顏 模糊了視線 門外空蕩的秋千 笑聲傳去多遠(yuǎn) 而我只能眺望天邊 祭奠...
    Mohistmen閱讀 475評論 0 0
  • 01去年暑假,那是我大學(xué)的最后一個(gè)假期,就沒去兼職了,果斷回了家好好享受大學(xué)僅剩的假期額度,漸漸地在家悶著慌,就開...
    一只牛哥哥閱讀 254評論 0 0
  • 一瓶一瓶的墨水 流干 沿著桌子順勢而下 一張一張的白紙 起皺 被時(shí)間填滿 渾厚的汁液是倒映不出你的神態(tài)的 一雙明眸...
    麥茫閱讀 258評論 2 3

友情鏈接更多精彩內(nèi)容