一、模型結(jié)構(gòu)設(shè)計 NER本質(zhì)是序列標(biāo)注問題——為輸入序列中的每一個Token預(yù)測一個對應(yīng)的標(biāo)簽。 1. Token Embedding 層 token_ids 轉(zhuǎn)成詞向量。使...
發(fā)簡信
IP屬地：北京
-
base-llm 2.2.3 模型構(gòu)建、訓(xùn)練與推理
-
base-llm 4.1 模型部署實戰(zhàn) FastApi/docker-compose
FastAPI是基于Starlette和Pydantic構(gòu)建。pydantic能利用Python的類型提示（Type Hints）實現(xiàn)自動的數(shù)據(jù)校驗和轉(zhuǎn)換，極大減少了繁瑣的參...
-
base-llm 2.2.4 模型的推理與優(yōu)化
一、理解模型輸出 實體級別的F1值是衡量模型性能的核心標(biāo)準(zhǔn)，而非簡單的Token分類準(zhǔn)確率。 1.1 Token級準(zhǔn)確率的陷阱 Token分類準(zhǔn)確率，也就是模型預(yù)測的正確標(biāo)簽...
-
base-llm 2.2.2 NER項目的數(shù)據(jù)處理一、 數(shù)據(jù)處理流程總覽 1.1. 數(shù)據(jù)處理目標(biāo) 使用的是BMES方法模型輸入X: [batch_seq_len] (每個位置是TokenID)模型標(biāo)簽Y: [batch_s...
-
base-llm 2.2.1 命名實體識別概要一、命名實體識別簡介 文本分類是一種對文本的宏觀理解。命名實體識別則，則是深入內(nèi)部理解，學(xué)習(xí)如何精準(zhǔn)是被出句子中的人名、地名等具有特定意義的詞語或短語。是作為信息抽取、知識圖...
-
base-llm 1.5.3 T5結(jié)構(gòu)及應(yīng)用Bert是基于Encoder架構(gòu)，擅長理解（如分類、實體識別），GPT基于Decoder架構(gòu)，擅長生成（如續(xù)寫、對話）， T5回歸了Encoder-Decoder架構(gòu)，將輸入...
-
Base-llm 1.5.2 GPT結(jié)構(gòu)及應(yīng)用GPT系列模型是完全基于Transformer構(gòu)建的，與BERT致力于通過雙向上下文來“理解”語言不通，GPT的中心在生成語言。它的設(shè)計初衷是為了根據(jù)給定的上文，以自回歸的方...
-
Base-llm 1.5.1 BERT結(jié)構(gòu)及應(yīng)用一、BERT的設(shè)計原理與預(yù)訓(xùn)練策略 Bert（Bidirectional Encoder Representations from Transformers））是純編碼器架構(gòu)...
-
base-llm 1.4.3 深入理解transformerTransformer 來自2017年Google研究團隊的名為《Attention is All You Need》的論文。其思想拋棄了傳統(tǒng)RNN和卷積網(wǎng)絡(luò)，整個模型基于注...
-
Base-llm 1.4.2 注意力機制
標(biāo)準(zhǔn)seq2seq 存在信息瓶頸問題，同一個固定的上下文向量C，作為解碼輸入，在生成階段無法找到實際關(guān)注點。 為了解決這個問題，注意力機制被提出。 一、注意力機制的設(shè)計原理 ...
-
Base-llm 1.4.1 seq2seq架構(gòu)
前邊學(xué)習(xí)了如何使用RNN和LSTM處理序列數(shù)據(jù)。這些模型在三類任務(wù)重表現(xiàn)出色： 多對一：將序列信息壓縮成一個特征向量，用于文本分類情感分析等任務(wù) 多對多： 輸入序列的每一個詞...
-
Base-LLM 1.3.2 LSTM 與GRU一、LSTM與門控機制 常規(guī)RNN的問題是內(nèi)部狀態(tài)的更新方式是與舊信息無差別混合，并通過權(quán)重矩陣W進行變換。這種無論信息是否重要，都會在反向傳播中形成梯度累乘。LSTM是賦予...
-
Base-LLM 1.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
一、如何處理序列信息 從分詞到embedding是從文件到稠密詞向量的過程，解決了模型輸入的問題，即文本數(shù)值化。第二個問題就是，如何從一個詞向量序列中有效地提取整個序列的特征...
-
Base-llm 1.2.4 基于Gensim的詞向量實戰(zhàn)
一、Gensim簡介 Gensim是一個功能強大且高效的Python庫，專門處理原始、非結(jié)構(gòu)話的純文本文檔。內(nèi)置了多種主流詞向量和主題模型算法，如Word2Vec、TF-ID...
-
Base-llm 1.2.3 從主題模型到Word2Vec一、尋找理想的詞向量 啞編碼、序號化等方式都無法解決語義關(guān)系，例如“國王”與“女王”的語義比“國王”與“蘋果”更近。 分布式表示的方式就是為了解決這個問題，目的是將詞語映射到...
-
datawhale Base-llm 筆記
第一部分 理論篇 第一章 第一章 NLP簡介[http://www.itdecent.cn/p/84fb67d283d0] 第二章 文本表示 1.2.1 初級分詞技術(shù)[ht...
-
Base-llm 1.2.2 向量表示一、為什么需要詞向量？ 以文本分類為例，jieba分詞無法理解語義， 需要使用機器學(xué)習(xí)和深度學(xué)習(xí)模型。 這些模型的輸入都是數(shù)值形式。解決自然語言和數(shù)學(xué)模型之間的鴻溝。詞向量表...
-
Base-llm 1.2.1 初級分詞技術(shù)第一節(jié) 初級分詞技術(shù) 一、分詞的定義與重要性 定義：把連續(xù)的文本序列切分成具有獨立語義的基本單元。 重要性： 氣氛錯誤可能會導(dǎo)致語義信息的丟失。 這中錯誤會在后續(xù)的處理鏈條中...
-
Base-llm 之 1.1 NLP簡介
一、 NLP 是什么 1.1 定義與核心任務(wù) 定義： 它是ai領(lǐng)域重要組成部分，賦予計算機理解、解釋、生成人類語言的能力，并基于這些能力對文本數(shù)據(jù)進行決策。目標(biāo)： 我的理解是...
-
langchain使用中各種報錯總結(jié)（持續(xù)更新中）
1. KeyError: 'intermediate_steps' 報錯原因：在 Agent 執(zhí)行流程中，傳入 agent_scratchpad 的輸入字典缺少 interm...