以下是一個(gè)綜合示例，展示如何使用詞袋模型和TF-IDF進(jìn)行文本分類。 注意事項(xiàng) 參數(shù)調(diào)整：CountVectorizer 和 TfidfVectorizer 有許多參數(shù)可以調(diào)...
IP屬地：北京
-
機(jī)器學(xué)習(xí)文本分類算法代碼
-
文本型數(shù)據(jù)預(yù)處理+代碼
處理文本數(shù)據(jù)通常涉及多個(gè)步驟，包括文本清洗、分詞、去除停用詞等，是NLP的基礎(chǔ)工作。 1、文本清洗 文本清洗包括去除特殊字符、轉(zhuǎn)換為小寫、處理縮寫等。標(biāo)準(zhǔn)化則可能包括拼寫糾正...
-
類別型數(shù)據(jù)預(yù)處理+代碼
本文將介紹處理類別型數(shù)據(jù)常用技術(shù)，以便將它們轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)算法使用的格式。 類別型數(shù)據(jù)是由一組離散的值組成的數(shù)據(jù)。 有序的（如教育水平：小學(xué)、中學(xué)、大學(xué)） 無(wú)序的（如顏色...
-
數(shù)據(jù)預(yù)處理方法大全+實(shí)戰(zhàn)代碼(五)--特征工程前言 數(shù)據(jù)清洗的第一步：缺失值處理、異常值檢測(cè)、數(shù)據(jù)一致性處理，筆者上幾篇給出了原理和示例代碼，這些也是特征工程里面的內(nèi)容。數(shù)據(jù)和特征決定了算法的上限。，本篇著重講解特征工程...
-
大模型實(shí)戰(zhàn)--RAG與向量數(shù)據(jù)庫(kù)搭建OpenAI接口方式 | 真實(shí)代碼 一、整體概述 搭建本地向量數(shù)據(jù)庫(kù)：使用向量數(shù)據(jù)庫(kù)存儲(chǔ)“新聞數(shù)據(jù) ” 實(shí)現(xiàn)智能問答功能：輸入問題，自動(dòng)檢索相關(guān)新聞并生成回答 核心技能掌握：...
-
想學(xué)習(xí)大語(yǔ)言模型(LLM),應(yīng)該從哪個(gè)開源模型開始？
一、首先制定學(xué)習(xí)目標(biāo)： 學(xué)習(xí)如何從零訓(xùn)練大模型（1B左右規(guī)模，預(yù)訓(xùn)練+SFT++DPO+），打通整個(gè)流程。 鉆研SFT：1）專有任務(wù)如Code生成、NL2SQL或通用NLP的...
-
DeepSeek：解釋應(yīng)用、API及調(diào)用方法：DeepSeek培訓(xùn)內(nèi)容，解釋應(yīng)用、API及調(diào)用方法： 一、什么是應(yīng)用？ 定義：應(yīng)用（Application）是解決特定需求的軟件程序。例子： 微信（聊天）、支付寶（支付）、...
-
數(shù)據(jù)預(yù)處理方法大全+實(shí)戰(zhàn)代碼(四)
前言 繼續(xù)詳細(xì)介紹缺失值處理、異常值檢測(cè)、數(shù)據(jù)一致性處理。這是數(shù)據(jù)清洗的第一步，關(guān)鍵步驟。上一篇因?yàn)槠脑?，只介紹了異常值檢測(cè)，本文介紹數(shù)據(jù)一致性處理。 1、重復(fù)值檢測(cè)與...
-
數(shù)據(jù)預(yù)處理方法大全+實(shí)戰(zhàn)代碼(三)前言 繼續(xù)詳細(xì)介紹缺失值處理、異常值檢測(cè)、數(shù)據(jù)一致性處理。這是數(shù)據(jù)清洗的第一步，關(guān)鍵步驟。上一篇因?yàn)槠脑?，只介紹了缺失值處理，本文介紹異常值檢測(cè)。 1、異常值與離群點(diǎn)檢...
-
數(shù)據(jù)預(yù)處理方法大全+實(shí)戰(zhàn)代碼(二)前言 本文詳細(xì)介紹缺失值處理、異常值檢測(cè)、數(shù)據(jù)一致性處理。這是數(shù)據(jù)清洗的第一步，關(guān)鍵步驟。 1、缺失值類型 缺失值可分為三種類型： 完全隨機(jī)缺失（MCAR）：缺失完全隨機(jī)，與...
-
Linux安裝Jupyter，開放外網(wǎng)訪問，并后臺(tái)啟動(dòng)教程1、前言 筆者上篇介紹內(nèi)網(wǎng)與外網(wǎng)，內(nèi)網(wǎng)穿透，即如何實(shí)現(xiàn)外網(wǎng)如何訪問內(nèi)網(wǎng)的服務(wù)器。我們開發(fā)同學(xué)經(jīng)常用到的場(chǎng)景在內(nèi)網(wǎng)的開發(fā)環(huán)境，可以在本地/自己的筆記本上進(jìn)行開發(fā)。那如何操作呢，...
-
數(shù)據(jù)預(yù)處理方法大全+實(shí)戰(zhàn)代碼(一)
1、前言 數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘、算法工程師的必修課，對(duì)數(shù)據(jù)的前期處理可能會(huì)占用我們研發(fā)的大部分時(shí)間，它直接影響著模型的性能和可靠性。筆者將介紹數(shù)據(jù)預(yù)處理的各種方法，并給出代碼...
-
什么是內(nèi)網(wǎng)、外網(wǎng)？?jī)?nèi)網(wǎng)穿透又是什么？為什么要做內(nèi)網(wǎng)穿透？1、前言 絕大數(shù)開發(fā)都依賴網(wǎng)絡(luò)來(lái)加載文件和數(shù)據(jù)。經(jīng)常需要從外網(wǎng)訪問內(nèi)網(wǎng)設(shè)備，例如，遠(yuǎn)程調(diào)試內(nèi)網(wǎng)環(huán)境；內(nèi)網(wǎng)部署的應(yīng)用發(fā)布在外網(wǎng)；在外網(wǎng)訪問實(shí)驗(yàn)室的高性能GPU的開發(fā)環(huán)境等等。關(guān)...
-
Markdown的常見語(yǔ)法
Markdown是一種輕量級(jí)的標(biāo)記語(yǔ)言，它允許人們使用易讀易寫的純文本格式編寫文檔，然后轉(zhuǎn)換成結(jié)構(gòu)化的HTML頁(yè)面。以下是一些常見的Markdown語(yǔ)法： 標(biāo)題：# 一級(jí)標(biāo)題...
-
大模型實(shí)操Agent-如何從0開始搭建function calling構(gòu)建Agent的重要的一步是Function calling(函數(shù)調(diào)用)，本文不使用任何langchain等框架或者coze等平臺(tái)，從0開始構(gòu)建一個(gè)可以調(diào)用function的...
-
大模型Agent實(shí)操--Agent與大模型關(guān)系、核心能力本文重點(diǎn)介紹Agent與大模型的關(guān)系，基于大模型Agnet的4個(gè)核心能力。下篇文章介紹實(shí)操Agent-如何從0開始搭建function calling。 一、Agent與大模...
-
大模型實(shí)戰(zhàn)--FastChat一行代碼實(shí)現(xiàn)部署和各個(gè)組件詳解本文重點(diǎn)介紹Fastchat是什么，各個(gè)組件的作用和關(guān)系，如何使用Fastchat框架部署大模型。 Fastchat是什么？ FastChat是一個(gè)用于訓(xùn)練、部署和評(píng)估大模型...
-
大模型實(shí)戰(zhàn)--Llama3.1大模型部署及啟動(dòng)Web UI、OpenAI API實(shí)操
一、背景 隨著人工智能技術(shù)的飛速發(fā)展，大模型（Large Language Models, LLMs）已成為自然語(yǔ)言處理領(lǐng)域的核心工具。這些模型以其強(qiáng)大的語(yǔ)言理解和生成能力，...
-
@枉凝眉233 周志華的 機(jī)器學(xué)習(xí) 入門必讀
信息論2（自信息、信息熵、聯(lián)合熵、條件熵、交叉熵、相對(duì)熵（KL散度）、互信息、最大互信息系數(shù)）
1、前言 ??在研究機(jī)器學(xué)習(xí)一些算法原理時(shí)，經(jīng)常會(huì)出現(xiàn)各種有關(guān)信息論的概念（自信息、互信息等），此前已分享過一篇文章，但是相對(duì)簡(jiǎn)單了一些，本次將再進(jìn)一步分析各種相關(guān)概念。 2...