探秘 AI 前沿：三項(xiàng)創(chuàng)新技術(shù)大揭秘 Marco-o1 Plan×RAG PPTX2MD

# 探秘AI前沿：三項(xiàng)創(chuàng)新技術(shù)大揭秘 ??閱讀時(shí)長：15分鐘 ??發(fā)布時(shí)間：2025-02-04 > 近日熱文：[全網(wǎng)最全的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)原理（代碼和公式）直觀解釋](https://mp.weixin.qq.com/s/ITFeM-RUVs9k9Kw4njl9KQ?token=992101443&lang=zh_CN) 歡迎關(guān)注知乎和公眾號的專欄內(nèi)容 [LLM架構(gòu)專欄](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzU5OTk5OTg4Ng==&action=getalbum&album_id=3803710040624594945#wechat_redirect) [知乎LLM專欄](https://zhuanlan.zhihu.com/column/c_1860259327224446976) [知乎【**柏企**】](https://www.zhihu.com/people/cbq-91) 公眾號【**柏企科技說**】【**柏企閱文**】 今天，我們一同深入探索AI領(lǐng)域三項(xiàng)引人入勝的創(chuàng)新技術(shù)，它們分別在大語言模型推理、復(fù)雜問題解決以及文件格式轉(zhuǎn)換方面展現(xiàn)出獨(dú)特魅力。 ## Marco-o1：助力大語言模型推理的智能登山法 ### 開源代碼 https://github.com/AIDC-AI/Marco-o1 ### 生動(dòng)解讀 Marco-o1宛如一支專業(yè)的登山探險(xiǎn)隊(duì)，志在探尋登頂?shù)淖顑?yōu)路徑（解決復(fù)雜問題） 。探險(xiǎn)隊(duì)借助路線規(guī)劃器（思維鏈，Chain of Thought，CoT），將宏大目標(biāo)拆解為一個(gè)個(gè)易于掌控的小步驟，逐步推進(jìn)。同時(shí)，借助無人機(jī)（蒙特卡洛樹搜索，Monte Carlo Tree Search，MCTS）模擬并探索多條路線，依據(jù)置信度分?jǐn)?shù)挑選出最佳路徑。此外，團(tuán)隊(duì)依靠指南針（反思機(jī)制）來校準(zhǔn)行進(jìn)方向。 ![](https://upload-images.jianshu.io/upload_images/17294212-e46d0c04c19809a0.png) ### 技術(shù)概述 OpenAI近期發(fā)布的o1模型，憑借卓越的推理能力聲名遠(yuǎn)揚(yáng)，引發(fā)眾多模仿嘗試。Marco-o1便是一種復(fù)刻方案，融合了思維鏈微調(diào)、蒙特卡洛樹搜索以及反思機(jī)制等前沿技術(shù)，拓展模型的推理能力。 1. 首先，利用思維鏈數(shù)據(jù)對Qwen2–7B-Instruct進(jìn)行全參數(shù)微調(diào)，強(qiáng)化其處理復(fù)雜任務(wù)的能力。值得一提的是，Marco-o1的思維鏈數(shù)據(jù)集由蒙特卡洛樹搜索生成。 2. Marco-o1的推理過程如下： - **問題分解**：運(yùn)用思維鏈將復(fù)雜問題拆解為多個(gè)子問題。 - **推理路徑探索**：結(jié)合蒙特卡洛樹搜索生成多條推理路徑，每條路徑對應(yīng)不同解決方案。 - **反向傳播**：計(jì)算各路徑步驟的置信度分?jǐn)?shù)，以此確定整體路徑獎(jiǎng)勵(lì)。 - **選擇**：依據(jù)置信度分?jǐn)?shù)篩選出最優(yōu)路徑，探索更可能正確的解決方案。 - **答案生成**：基于最優(yōu)推理路徑輸出最終答案。 3. 此外，Marco-o1還進(jìn)行了兩項(xiàng)優(yōu)化： - 引入小步長（32或64個(gè)詞元），在搜索過程中考慮更精細(xì)的步驟，提升模型應(yīng)對復(fù)雜推理任務(wù)的能力。 - 引入反思機(jī)制，在每次思考過程結(jié)束時(shí)添加 “等等！或許我犯了些錯(cuò)誤！我需要重新思考?！?這一表述，使模型在解決難題時(shí)的準(zhǔn)確率提高了50%。 ### 技術(shù)點(diǎn)評 原本計(jì)劃深入研究Marco-o1中蒙特卡洛樹搜索的具體實(shí)現(xiàn)，但截至2024年1月21日，GitHub倉庫尚未發(fā)布相關(guān)代碼。另外，有兩點(diǎn)值得關(guān)注： 1. 反思機(jī)制的設(shè)計(jì)相對簡單，主要通過模型重新生成推理路徑實(shí)現(xiàn)。然而，重新生成的路徑是否足夠多樣，能否有效規(guī)避先前錯(cuò)誤，尚未在實(shí)驗(yàn)中得到充分驗(yàn)證。 2. 獎(jiǎng)勵(lì)信號直接依賴置信度分?jǐn)?shù)，這種單一信號可能導(dǎo)致獎(jiǎng)勵(lì)函數(shù)難以精準(zhǔn)區(qū)分復(fù)雜路徑的優(yōu)劣?；蛟S可以引入多維獎(jiǎng)勵(lì)信號，比如結(jié)合路徑簡潔性、任務(wù)完成準(zhǔn)確率等進(jìn)行綜合評估。 ## Plan×RAG：步步為營、結(jié)果可溯的問題解決 “項(xiàng)目經(jīng)理” ### 生動(dòng)解讀 Plan×RAG如同一位軟件項(xiàng)目經(jīng)理，借助逐步規(guī)劃（有向無環(huán)圖，Directed Acyclic Graph，DAG）將復(fù)雜問題拆解為簡單子任務(wù)。它讓 “團(tuán)隊(duì)成員”（專家模塊）協(xié)同合作，并融入審計(jì)系統(tǒng)（單文檔可追溯性）對每個(gè)任務(wù)結(jié)果加以驗(yàn)證。 ![](https://upload-images.jianshu.io/upload_images/17294212-01a616144a58132c.png) ### 技術(shù)概述 標(biāo)準(zhǔn)的檢索增強(qiáng)生成（RAG）框架采用 “檢索 - 推理” 模式，通過檢索文檔并進(jìn)行推理來生成回復(fù)。但該方法在處理不相關(guān)文檔、信息不足以及上下文窗口限制等問題時(shí)力不從心。此外，RAG難以準(zhǔn)確追溯生成內(nèi)容的文檔來源，降低了可信度與可解釋性，存在關(guān)鍵缺陷 —— 缺乏歸因。 ![](https://upload-images.jianshu.io/upload_images/17294212-cb5275f42241d220.png) Plan×RAG摒棄傳統(tǒng)的 “檢索 - 推理” 模式，引入 “規(guī)劃 - 檢索” 框架，將復(fù)雜查詢分解為有向無環(huán)圖結(jié)構(gòu)的子查詢。這里的有向無環(huán)圖概念與此前介紹的MindSearch類似。 與Self-RAG或RQ-RAG等需要模型微調(diào)的方案不同，Plan×RAG使用固定的大語言模型作為即插即用的專家模塊，對小型企業(yè)而言成本效益更高。 Plan×RAG的工作流程包含5個(gè)步驟：接收輸入查詢、構(gòu)建推理規(guī)劃、處理子查詢、合并子查詢答案、返回最終答案。 ![](https://upload-images.jianshu.io/upload_images/17294212-2e2f18ec88ef6ea1.png) ### 技術(shù)點(diǎn)評 有向無環(huán)圖的引入以及模塊化專家的協(xié)作機(jī)制讓人意識到，未來的大語言模型不應(yīng)僅僅是語言生成工具，更應(yīng)是可編排的系統(tǒng)。不過，在高負(fù)載場景下，有向無環(huán)圖的實(shí)現(xiàn)面臨效率挑戰(zhàn)，或許可以采用輕量級有向無環(huán)圖優(yōu)化算法簡化處理流程，或者運(yùn)用動(dòng)態(tài)有向無環(huán)圖剪枝技術(shù)去除不必要路徑。 ## PPTX2MD：PPTX一鍵轉(zhuǎn)換Markdown格式的利器 ### 開源代碼 https://github.com/ssine/pptx2md ### 技術(shù)概述 最近發(fā)現(xiàn)一款能將PPT轉(zhuǎn)換為Markdown格式的工具，其核心在于`parse`函數(shù)。該函數(shù)從PPTX幻燈片中提取各類元素，并轉(zhuǎn)換為統(tǒng)一的Python數(shù)據(jù)結(jié)構(gòu)， ![](https://upload-images.jianshu.io/upload_images/17294212-9641bb318413c7dd.png) 具體代碼如下： ```python def parse(config: ConversionConfig, prs: Presentation) -> ParsedPresentation: result = ParsedPresentation(slides=[]) for idx, slide in enumerate(tqdm(prs.slides, desc='Converting slides')): if config.page is not None and idx + 1 != config.page: continue shapes = [] try: shapes = sorted(ungroup_shapes(slide.shapes), key=attrgetter('top', 'left')) except: logger.warning('Bad shapes encountered in this slide. Please check or remove them and try again.') logger.warning('shapes:') try: for sp in slide.shapes: logger.warning(sp.shape_type) logger.warning(sp.top, sp.left, sp.width, sp.height) except: logger.warning('failed to print all bad shapes.') if not config.try_multi_column: result_slide = GeneralSlide(elements=process_shapes(config, shapes, idx + 1)) else: multi_column_slide = get_multi_column_slide_if_present( prs, slide, partial(process_shapes, config=config, slide_id=idx + 1)) if multi_column_slide: result_slide = multi_column_slide else: result_slide = GeneralSlide(elements=process_shapes(config, shapes, idx + 1)) if not config.disable_notes and slide.has_notes_slide: text = slide.notes_slide.notes_text_frame.text if text: result_slide.notes.append(text) result.slides.append(result_slide) return result ``` 它會(huì)遍歷每張幻燈片，分解并排序其中的形狀，再根據(jù)形狀類型應(yīng)用特定處理函數(shù)，以處理文本塊、標(biāo)題、圖片和表格。該工具還能處理多列布局，并在需要時(shí)提取備注內(nèi)容。處理完成后，將所有內(nèi)容封裝進(jìn)`ParsedPresentation`對象再返回。 ### 技術(shù)點(diǎn)評 將PPTX轉(zhuǎn)換為Markdown格式，相比轉(zhuǎn)換為PDF要簡單許多，至少有清晰的實(shí)現(xiàn)思路。 ## 推薦閱讀 [1. DeepSeek-R1的頓悟時(shí)刻是如何出現(xiàn)的？ 背后的數(shù)學(xué)原理](https://mp.weixin.qq.com/s/mIUcHbXvw5wjT_S2ZryKsw) [2. 微調(diào) DeepSeek LLM：使用監(jiān)督微調(diào)（SFT）與 Hugging Face 數(shù)據(jù)](https://mp.weixin.qq.com/s/mEIwT2EvS-5lkrcZqrXp2Q) [3. 使用 DeepSeek-R1 等推理模型將 RAG 轉(zhuǎn)換為 RAT](https://mp.weixin.qq.com/s/JmoqQLELLXRjVBSwm_4W5A) [4. DeepSeek R1：了解GRPO和多階段訓(xùn)練](https://mp.weixin.qq.com/s/qV9R8BshzTqTpQUtA2ficQ) [5. 深度探索：DeepSeek-R1 如何從零開始訓(xùn)練](https://mp.weixin.qq.com/s/To6jUtUK_K-LzWtMpVvvUQ) [6. DeepSeek 發(fā)布 Janus Pro 7B 多模態(tài)模型，免費(fèi)又強(qiáng)大！](https://mp.weixin.qq.com/s/h9hfBKTenWnO7DKdbY44AQ) 本文由[mdnice](https://mdnice.com/?platform=6)多平臺(tái)發(fā)布
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容