發(fā)簡信
IP屬地：四川
-
理解AI智能體的四大能力
一：感知能力 階段1、單純的大模型是依靠海量的文本數(shù)據(jù)訓(xùn)練出啦的，基礎(chǔ)的感知方式就是接收用戶輸入的文本 階段2、間接多模態(tài)感知：利用OCR這種中...
-
知識蒸餾 Distilling the knowledge1 、什么是知識？ 通常認(rèn)為，知識是模型學(xué)習(xí)到的參數(shù)（比如卷積的權(quán)重） 2 、什么是蒸餾？ 將知識從大模型（教師模型）轉(zhuǎn)移到更適合部署的小模型（...
-
模型壓縮 4 大方法概述模型壓縮的主要目標(biāo)是將一個龐大而復(fù)雜的預(yù)訓(xùn)練模型轉(zhuǎn)化為一個精簡的小模型,使其在保持較高性能的前提下,顯著減少模型的存儲空間和計算量。一方面考慮將...
-
敏捷軟件開發(fā)--原則
1. 單一職責(zé)原則（Single Responsibility Principle, SRP） 每個類應(yīng)該只有一個職責(zé)，且該職責(zé)應(yīng)該完全封裝在類...
-
人人都能懂的Transformer架構(gòu)Transformer架構(gòu)用做樣本數(shù)據(jù)的訓(xùn)練以及訓(xùn)練預(yù)輸出文字的預(yù)測，在訓(xùn)練的時候輸入一些樣本的數(shù)據(jù)，然后把這些數(shù)據(jù)第一步轉(zhuǎn)換成對應(yīng)的數(shù)字(In...
-
Transformer架構(gòu)簡單分析下Transformer架構(gòu)，即大語言模型底層基于什么樣的架構(gòu)訓(xùn)練出來的 在進(jìn)行訓(xùn)練之前，首選需要進(jìn)行3個步驟 1、把文字?jǐn)?shù)字化 2、把...
-
大模型訓(xùn)練關(guān)鍵兩步大模型的核心原理是基于深度學(xué)習(xí)，通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)建模和特征提取。目前大部分的大模型采用的是Transformer架構(gòu)，它采用了自注意力機(jī)...
-
Fine-tuning
上一篇介紹了RAG(檢索增強(qiáng)生成)，這篇文章介紹LLM進(jìn)行特定領(lǐng)域的知識或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的另一種方式Fine-tuning Fine-tu...
-
RAG（檢索增強(qiáng)生成）上一篇文章介紹了LLM，LLM的知識僅限于其所訓(xùn)練的數(shù)據(jù)。想讓LLM了解特定領(lǐng)域的知識或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的處理，目前有三種方式： 1、RAG...