長(zhǎng)鏈?zhǔn)剿季S（CoT）示例微調(diào)的檢查點(diǎn) DeepSeek-R1 的訓(xùn)練流程中的第一階段是 Cold Start（冷啟動(dòng)，SFT 階段），會(huì)使用人工收集的數(shù)千條高質(zhì)量長(zhǎng)鏈思維（C...
發(fā)簡(jiǎn)信
IP屬地：江蘇
-
2025-02-13 長(zhǎng)鏈?zhǔn)剿季S（CoT）示例微調(diào)的檢查點(diǎn)
-
2025-02-13 監(jiān)督微調(diào)（SFT）數(shù)據(jù)
監(jiān)督微調(diào)（SFT）數(shù)據(jù) 是用于對(duì)預(yù)訓(xùn)練模型進(jìn)行監(jiān)督微調(diào)的有標(biāo)注數(shù)據(jù)慕課網(wǎng)CSDN博客。以下是關(guān)于它的一些要點(diǎn)： 數(shù)據(jù)特點(diǎn) 標(biāo)注性：與預(yù)訓(xùn)練使用的大量無(wú)監(jiān)督數(shù)據(jù)不同，SFT 數(shù)...
-
兩次全球大危機(jī)的比較研究
金融危機(jī)似乎再次上演。 19年以來(lái)，中美貿(mào)易戰(zhàn)、境內(nèi)疫情爆發(fā)、全球疫情蔓延、國(guó)際油價(jià)暴跌，可謂黑天鵝成群結(jié)伴。2020年2月19日至3月23日，標(biāo)普500從最高3393.52...
-
2025-02-08 大型語(yǔ)言模型的多階段訓(xùn)練流程
大型語(yǔ)言模型的多階段訓(xùn)練流程主要包括預(yù)訓(xùn)練、監(jiān)督學(xué)習(xí)微調(diào)、獎(jiǎng)勵(lì)模型訓(xùn)練和強(qiáng)化學(xué)習(xí)微調(diào)四個(gè)階段，具體如下： 預(yù)訓(xùn)練階段 目標(biāo)：讓模型學(xué)習(xí)語(yǔ)言的統(tǒng)計(jì)模式和語(yǔ)義信息，通過(guò)大規(guī)模未標(biāo)...
-
2025-02-07 DeepSeek 的冷啟動(dòng)數(shù)據(jù)
DeepSeek 的冷啟動(dòng)數(shù)據(jù) 數(shù)據(jù)來(lái)源與收集方式 few-shot prompting 方式：設(shè)計(jì)帶有長(zhǎng)思維鏈（CoT）的少量示例提示，為模型提供典型的推理模式和思路，讓模...
-
2025-02-07 DeepSeek技術(shù)論文拆解出于對(duì)DeepSeek如何實(shí)現(xiàn)強(qiáng)大的思考、總結(jié)和表達(dá)能力的好奇，我去搜索了DeepSeek的技術(shù)論文，試圖了解其實(shí)現(xiàn)方法，并在這篇及系列文章中用盡量非專業(yè)化的語(yǔ)言表達(dá)出來(lái)。 ...
-
2025-02-07 監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí) 定義 監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種類型，指利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使其達(dá)到所要求性能的過(guò)程，也稱為監(jiān)督訓(xùn)練或有教師學(xué)習(xí)。通過(guò)已有的標(biāo)記數(shù)據(jù)，監(jiān)督學(xué)習(xí)模型...
-
2025-02-07 純強(qiáng)化學(xué)習(xí)（RL）
純強(qiáng)化學(xué)習(xí) 是一種機(jī)器學(xué)習(xí)技術(shù)，強(qiáng)調(diào)智能體僅通過(guò)與環(huán)境進(jìn)行交互并基于環(huán)境反饋的獎(jiǎng)勵(lì)信號(hào)來(lái)學(xué)習(xí)最優(yōu)行為策略，而不依賴于監(jiān)督學(xué)習(xí)[http://www.itdecent.cn/...
-
2024-09-02 蛤蟆先生去看心理醫(yī)生
自我狀態(tài)的三位一體 兒童自我狀態(tài)：行為和感受像個(gè)孩子。由童年殘留的遺跡搭建而成，包含小時(shí)候體驗(yàn)的所有情感（兒童的基本情感）和隨后演變的行為模式。 父母自我狀態(tài)：表現(xiàn)得像自己的...
-
2023-07-16 《八次危機(jī)》讀書(shū)筆記（九）
本節(jié)部分：第六次危機(jī)，1993年——1994年改革以來(lái)的第三次經(jīng)濟(jì)危機(jī) 這次危機(jī)是建國(guó)以來(lái)歷次危機(jī)內(nèi)發(fā)型經(jīng)濟(jì)危機(jī)和輸入型危機(jī)的過(guò)渡期，也是分水嶺。表現(xiàn)是財(cái)政、金融和外匯三大赤...
-
2023-07-15《八次危機(jī)》讀書(shū)筆記（八）
本節(jié)部分：第五次危機(jī)，1988年——1990年改革以來(lái)的第二次經(jīng)濟(jì)危機(jī) 1988年，發(fā)生了年度CPI高達(dá)18.6%的惡性通貨膨脹。 1989年，發(fā)生了企業(yè)“連鎖負(fù)債”為表象的...
-
2023-07-13《八次危機(jī)》讀書(shū)筆記（七）
本節(jié)部分：第四次危機(jī)，1979年——1980年改革以來(lái)的第一次經(jīng)濟(jì)危機(jī) 第四次危機(jī)來(lái)源主要兩個(gè)方面：一是20世紀(jì)70年代以來(lái)的投資過(guò)度積累下來(lái)的財(cái)政赤字；二是1978以來(lái)，處...
-
2023-07-12 舞臺(tái)表達(dá)與自控
“當(dāng)你在臺(tái)上演唱的時(shí)候，讓觀眾去哭泣，而你，不能哭”。這是那英指導(dǎo)歌手的一句話。 感情過(guò)于充沛，會(huì)影響歌手的演繹。騰格爾則能以微笑的狀態(tài)演唱悲愴的情感，使得音樂(lè)的演繹完整而觸...
-
2023-07-09 《八次危機(jī)》讀書(shū)筆記（六）
從改革開(kāi)始到1997年，其間發(fā)生的三次經(jīng)濟(jì)危機(jī)有一個(gè)共同特點(diǎn)，就是都不可能再像改革之前那樣直接向“三農(nóng)”轉(zhuǎn)嫁代價(jià)。 在城市經(jīng)濟(jì)已成為政府財(cái)政收入的主要來(lái)源之后，農(nóng)村集體化就已...
-
2023-07-06《八次危機(jī)》讀書(shū)筆記（四）
本節(jié)部分：第二次危機(jī)，1968年——1970年“三線建設(shè)”中的國(guó)家戰(zhàn)略調(diào)整與經(jīng)濟(jì)危機(jī) 第二次危機(jī)的發(fā)生，有著極強(qiáng)的“上層建筑反作用于經(jīng)濟(jì)基礎(chǔ)”的特點(diǎn)。 1960年以后，周邊地...
-
2023-07-05 《八次危機(jī)》讀書(shū)筆記（三）
本節(jié)部分：第一次危機(jī)，1958年——1960年蘇聯(lián)援華投資中斷 由于當(dāng)時(shí)中國(guó)堅(jiān)決維護(hù)領(lǐng)土完整和主權(quán)獨(dú)立，蘇聯(lián)提供的援華投資于1957年突然中斷，國(guó)民經(jīng)濟(jì)連續(xù)快速回落。 為應(yīng)對(duì)...