大模型訓(xùn)練是一個(gè)高端事情,需要大量資源才能訓(xùn)練一個(gè)底座模型,這種事情太高端了,還是不碰了。但是,大模型底座訓(xùn)練好之后,如何運(yùn)行起來(lái)呢?這個(gè)時(shí)候可以借助Ollama工具,將大模型運(yùn)行在本地,而且步驟還很簡(jiǎn)單。
隨便找到一個(gè)模型,我這里選擇llama2-chinese這個(gè)模型,對(duì)中文適配比較好,安裝Ollama之后運(yùn)行此命令即可:
ollama run llama2-chinese:7b-chat-q4_0
執(zhí)行此命令后,你會(huì)看到Ollama工具下載模型,而且還會(huì)貼心的告訴你進(jìn)度:

下載模型進(jìn)度
下載完之后,就可以跟大模型對(duì)話:

大模型對(duì)話