• Huggingface Daily Papers 2023-09-10 共推薦 13 篇論文。

??說(shuō)明：

• 本文對(duì) Huggingface Daily Papers 推薦的論文從：主要工作、主要兩點(diǎn)、關(guān)鍵詞和評(píng)估四個(gè)方面進(jìn)行速覽。

• 論文的速覽內(nèi)容基于論文的摘要，使用 GPT-4 進(jìn)行內(nèi)容生成，然后使用程序?qū)?nèi)容整合，并以 Markdown 文本呈現(xiàn)。

Large Language Models as Optimizers

1. 介紹本文的主要工作

   本文提出了一種名為OPRO (Optimization by PROmpting) 的方法，利用大型語(yǔ)言模型（LLMs）作為優(yōu)化器來(lái)解決優(yōu)化難題。工作首先在線性回歸和旅行商問(wèn)題上進(jìn)行實(shí)驗(yàn)，然后進(jìn)行提示優(yōu)化，目標(biāo)是找到能最大化任務(wù)準(zhǔn)確性的指令。

2. 本文工作的主要亮點(diǎn)

   本文的主要亮點(diǎn)在于使用大型語(yǔ)言模型作為優(yōu)化器，此方法的獨(dú)特之處在于它將優(yōu)化任務(wù)以自然語(yǔ)言描述，并使用前一步生成的解決方案作為提醒來(lái)生成新的解決方案。最后，這些新解決方案被評(píng)估并添加到下一步優(yōu)化的提示中。此外，通過(guò)各種大型語(yǔ)言模型的試驗(yàn)，論文顯示OPRO優(yōu)化的最佳提示在GSM8K上超越了人類設(shè)計(jì)的提示8%，在Big-Bench Hard任務(wù)上超越了50%。

3. 核心關(guān)鍵詞

   • Large Language Models (大型語(yǔ)言模型)

   • Optimization (優(yōu)化)

   • Prompting (提示)

   • Linear Regression (線性回歸)

   • Traveling Salesman Problem (旅行商問(wèn)題)

4. 打分

   • 實(shí)用性：4.5/5

   • 創(chuàng)新性：5/5

   • 推薦度：4.5/5

總的來(lái)說(shuō)，本文展示了將大型語(yǔ)言模型用作優(yōu)化器的強(qiáng)大潛力，可能對(duì)許多實(shí)際應(yīng)用產(chǎn)生積極的影響，尤其是在梯度難以獲取的情況下。此外，該方法在創(chuàng)新性上表現(xiàn)出色。

到 Huggingface 論文主頁(yè)查看詳情

FLM-101B: An Open LLM and How to Train It with $100K Budget

1. 本文主要工作：

這篇論文提出了一種在受限預(yù)算下有效訓(xùn)練大規(guī)模語(yǔ)言模型（Large Language Models，LLMs）的策略。該策略允許在僅使用100K預(yù)算的情況下訓(xùn)練一個(gè)擁有101B參數(shù)和0.31TB tokens的LLM。研究者也引入了一套全面的評(píng)估范式來(lái)公正客觀地評(píng)估LLMs，以補(bǔ)充現(xiàn)有更側(cè)重于知識(shí)導(dǎo)向能力的評(píng)估。此外，具有創(chuàng)新性的是，他們還開(kāi)發(fā)了一個(gè)新的性能評(píng)估基準(zhǔn)。

2. 亮點(diǎn)：

   • 開(kāi)發(fā)出了一種在預(yù)算限制下訓(xùn)練大規(guī)模語(yǔ)言模型的有效策略。

   • 設(shè)立了一個(gè)全新的評(píng)估基準(zhǔn)以全面、公正地評(píng)價(jià)LLM的性能。

   • 成功訓(xùn)練出了一個(gè)具有較高性能的新模型FLM-101B，并將其開(kāi)源。

3. 核心關(guān)鍵詞：Large Language Model (大規(guī)模語(yǔ)言模型), Cost-effective Training (經(jīng)濟(jì)有效的訓(xùn)練), Evaluation Paradigm (評(píng)估范式), Intelligence Benchmark (智能基準(zhǔn)), Open-source Model (開(kāi)源模型)

4. 打分：

   • 實(shí)用性：5/5. 該論文解決了訓(xùn)練大規(guī)模語(yǔ)言模型高計(jì)算成本的問(wèn)題，具有非常高的實(shí)用性。

   • 創(chuàng)新性：4/5. 論文在經(jīng)濟(jì)有效的訓(xùn)練策略和評(píng)估范式 方面做出了創(chuàng)新，但在理論上的創(chuàng)新尚有可提升的空間。

   • 推薦度：5/5. 推薦閱讀此篇文章，因?yàn)樗粌H對(duì)資源有限的研究者提供了新的訓(xùn)練策略，而且還提供了一種新的評(píng)估方式，對(duì)于LLM的研究和應(yīng)用有很大的幫助。

到 Huggingface 論文主頁(yè)查看詳情

Tracking Anything with Decoupled Video Segmentation

1. 介紹本文的主要工作

   本文提出一種名為"Decoupled Video Segmentation Approach"（DEVA）的方法來(lái)進(jìn)行視頻分割。DEVA由特定任務(wù)的圖像級(jí)分割和類別/任務(wù)無(wú)關(guān)的雙向時(shí)間傳播組成。這種設(shè)計(jì)無(wú)需對(duì)每個(gè)獨(dú)立任務(wù)進(jìn)行視頻數(shù)據(jù)的訓(xùn)練，只需要針對(duì)目標(biāo)任務(wù)的圖像級(jí)模型（更便宜的訓(xùn)練）和一次性訓(xùn)練的普適的時(shí)間傳播模型。

2. 本文工作的主要亮點(diǎn)

   DEVA利用雙向傳播完成不同幀的分割假設(shè)的（半）聯(lián)機(jī)融合，生成連貫的分割結(jié)果。相較其他端到端方法，在多個(gè)數(shù)據(jù)稀缺的任務(wù)中，如大詞匯量視頻全景分割、開(kāi)放世界視頻分割、指代視頻分割和無(wú)監(jiān)督視頻對(duì)象分割等，DEVA表現(xiàn)出了優(yōu)越的性能。

3. 核心關(guān)鍵詞

• Decoupled Video Segmentation Approach (解耦的視頻分割方法)

• Image-level segmentation (圖像級(jí)分割)

• Bi-directional temporal propagation (雙向時(shí)間傳播)

• Data-scarce tasks (數(shù)據(jù)稀缺任務(wù))

• Online fusion (在線融合)

4. 從實(shí)用性、創(chuàng)新性和推薦度進(jìn)行打分

• 實(shí)用性：4分

• 創(chuàng)新性：5分

• 推薦度：4分

注：分?jǐn)?shù)基于該方法在處理數(shù)據(jù)稀缺任務(wù)中的優(yōu)越性質(zhì)、解決數(shù)據(jù)稀缺問(wèn)題的創(chuàng)新策略，以及對(duì)于未來(lái)的視頻分割任務(wù)具有一定的應(yīng)用價(jià)值和推廣潛力。

到 Huggingface 論文主頁(yè)查看詳情

GPT Can Solve Mathematical Problems Without a Calculator

1. 介紹本文的主要工作

   本文主要挑戰(zhàn)了大型語(yǔ)言模型無(wú)法準(zhǔn)確完成算術(shù)操作特別是涉及大于8位數(shù)的乘法、小數(shù)和分?jǐn)?shù)操作的常見(jiàn)觀念。作者通過(guò)大量訓(xùn)練數(shù)據(jù)，展示了一個(gè)2億參數(shù)的語(yǔ)言模型可以準(zhǔn)確執(zhí)行多位數(shù)算術(shù)操作，并且沒(méi)有數(shù)據(jù)泄漏。同時(shí)，該模型顯著優(yōu)于GPT-4的多位數(shù)乘法精度（只有4.3%）。 作者還對(duì)MathGLM進(jìn)行了微調(diào)，使用更多的多步驟算術(shù)操作和文字描述的數(shù)學(xué)問(wèn)題，從而在5000個(gè)樣本的中文數(shù)學(xué)問(wèn)題測(cè)試集上達(dá)到了與GPT-4類似的表現(xiàn)。

2. 本文工作的主要亮點(diǎn)

   • 挑戰(zhàn)了大型語(yǔ)言模型不能準(zhǔn)確執(zhí)行算術(shù)操作的普遍認(rèn)識(shí)。

   • 利用大量訓(xùn)練數(shù)據(jù)，讓一款2億參數(shù)的模型能夠正確執(zhí)行有關(guān)大數(shù)乘法、小數(shù)和分?jǐn)?shù)操作的任務(wù)。

   • 提出的模型在多位數(shù)乘法精度上顯著領(lǐng)先于GPT-4。

   • 在5000個(gè)樣本的中文數(shù)學(xué)問(wèn)題測(cè)試集上達(dá)到了與GPT-4類似的性能。

3. 核心關(guān)鍵詞

   • Large Language Model (大型語(yǔ)言模型)

   • Mathematics (數(shù)學(xué))

   • Arithmetic Operations (算術(shù)運(yùn)算)

   • Data Leakage (數(shù)據(jù)泄漏)

   • Fine Tuning (微調(diào))

4. 打分

   • 實(shí)用性：4.5

   • 創(chuàng)新性：4.0

   • 推薦度：4.0

   提出的語(yǔ)言模型具有較強(qiáng)的實(shí)用性，能解決數(shù)學(xué)問(wèn)題，對(duì)教育等許多領(lǐng)域都有一定的參考價(jià)值。研究給既有的認(rèn)識(shí)提供了挑戰(zhàn)，展示了語(yǔ)言模型在算術(shù)操作的潛力，具有較高的創(chuàng)新性。這篇文章值得推薦給對(duì)人工智能和數(shù)學(xué)教育的研究人員。

到 Huggingface 論文主頁(yè)查看詳情

ProPainter: Improving Propagation and Transformer for Video Inpainting

1. 本文主要工作

本文提出了一個(gè)改進(jìn)的視頻修復(fù)（Video Inpainting）框架ProPainter。該框架涉及強(qiáng)化的傳播和高效的Transformer，特別是引入了雙域傳播，結(jié)合了圖像和特征扭曲的優(yōu)勢(shì)，可靠地利用全局對(duì)應(yīng)關(guān)系。此外，還提出了一個(gè)掩碼引導(dǎo)的稀疏視頻Transformer，通過(guò)丟棄不必要和冗余的標(biāo)記來(lái)實(shí)現(xiàn)高效。

2. 本文工作的主要亮點(diǎn)

文章的亮點(diǎn)在于創(chuàng)新的ProPainter框架，其通過(guò)引入雙域傳播和掩碼引導(dǎo)的稀疏視頻Transformer，解決了傳統(tǒng)方法在空間錯(cuò)位和跨幀信息獲取上的問(wèn)題。這使得ProPainter在PSNR中超出先前的方法1.46 dB，同時(shí)保持了良好的效率。

3. 核心關(guān)鍵詞

   • ProPainter (ProPainter)

   • Video Inpainting (視頻修復(fù))

   • Dual-domain Propagation (雙域傳播)

   • Transformer (Transformer)

   • Sparse Video Transformer (稀疏視頻Transformer)

4. 評(píng)分

   • 實(shí)用性：4.5分。ProPainter框架在視頻修復(fù)領(lǐng)域有很強(qiáng)的實(shí)用性，能夠提高修復(fù)質(zhì)量和效率。

   • 創(chuàng)新性：4分。本文提出的雙域傳播和掩碼引導(dǎo)的稀疏視頻Transformer，是對(duì)當(dāng)前方法的創(chuàng)新改進(jìn)。

   • 推薦度：4分。本文研究?jī)?nèi)容具有較強(qiáng)的學(xué)術(shù)價(jià)值和實(shí)用價(jià)值，值得在相關(guān)領(lǐng)域

到 Huggingface 論文主頁(yè)查看詳情

ImageBind-LLM: Multi-modality Instruction Tuning

1. 介紹本文的主要工作

   本文介紹了ImageBind-LLM，一個(gè)通過(guò)ImageBind對(duì)大型語(yǔ)言模型（Large Language Models，LLM）進(jìn)行多模態(tài)指令調(diào)整的方法。與現(xiàn)有的主要關(guān)注語(yǔ)言和圖像指令調(diào)整的工作不同，ImageBind-LLM可以響應(yīng)多模態(tài)條件，包括音頻、3D點(diǎn)云、視頻以及他們的嵌入空間算法，這都是通過(guò)僅在圖像-文本對(duì)齊訓(xùn)練中實(shí)現(xiàn)的。

2. 本文工作的主要亮點(diǎn)

   主要的亮點(diǎn)是利用可學(xué)習(xí)的綁定網(wǎng)絡(luò)在LLaMA和ImageBind的圖像編碼器之間對(duì)嵌入空間進(jìn)行對(duì)齊。此外，它通過(guò)無(wú)注意力且初始化為零的門控機(jī)制，在LLaMA的所有層中逐步注入視覺(jué)指令。在推理階段，多模態(tài)輸入被輸入到對(duì)應(yīng)的ImageBind編碼器，并由提出的視覺(jué)緩存模型處理以進(jìn)一步提高跨模態(tài)嵌入性能。顯然，ImageBind-LLM能夠?qū)Χ喾N模態(tài)的指令做出反應(yīng)，并展示出顯著的語(yǔ)言生成質(zhì)量。

3. 核心關(guān)鍵詞

   • Large Language Models (大型語(yǔ)言模型)

   • ImageBind (圖像綁定)

   • Multi-modality (多模態(tài))

   • Embedding Space Alignment (嵌入空間對(duì)齊)

   • Visual Instructions Injection (視覺(jué)指令注入)

4. 打分

   • 實(shí)用性：4.5分

   • 創(chuàng)新性：4.8分

   • 推薦度：4.7分

到 Huggingface 論文主頁(yè)查看詳情

InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

本文主要工作：

本文提出了InstructDiffusion，一個(gè)用于視覺(jué)任務(wù)的統(tǒng)一且通用的框架，可以將各種視覺(jué)任務(wù)對(duì)齊到人類指令之下，不需要集成先驗(yàn)知識(shí)和預(yù)定義每個(gè)視覺(jué)任務(wù)的輸出空間，例如類別和坐標(biāo)。該模型基于擴(kuò)散過(guò)程并被訓(xùn)練用來(lái)預(yù)測(cè)用戶指令下的像素。

本文工作的主要亮點(diǎn)：

InstructDiffusion可以處理各種視覺(jué)任務(wù)，包括理解任務(wù)（如分割和關(guān)鍵點(diǎn)檢測(cè)）和生成任務(wù)（如編輯和增強(qiáng)）。它甚至能夠處理未見(jiàn)過(guò)的任務(wù)，并在新的數(shù)據(jù)集上超越了先前的方法。這代表了朝通用建模接口的重要一步，推動(dòng)了計(jì)算機(jī)視覺(jué)領(lǐng)域的人工智能發(fā)展。

核心關(guān)鍵詞：

• InstructDiffusion (指導(dǎo)擴(kuò)散)

• Diffusion process (擴(kuò)散過(guò)程)

• Image-manipulating process (圖像操作過(guò)程)

• Segmentation (圖像分割)

• Keypoint detection (關(guān)鍵點(diǎn)檢測(cè))

評(píng)分：

• 實(shí)用性：4/5，InstructDiffusion可以廣泛的應(yīng)用于各類視覺(jué)任務(wù)，實(shí)用性強(qiáng)。

• 創(chuàng)新性：5/5，本文將視覺(jué)任務(wù)與人類指令相對(duì)齊是一項(xiàng)重大的創(chuàng)新，甚至能夠處理未見(jiàn)過(guò)的任務(wù)。

• 推薦度：4.5/5，對(duì)于此領(lǐng)域的研究者和工程師，這項(xiàng)工作推動(dòng)了計(jì)算機(jī)視覺(jué)的人工智能發(fā)展，并提供了新的研究方向和實(shí)踐應(yīng)用，值得推薦學(xué)習(xí)。

到 Huggingface 論文主頁(yè)查看詳情

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

1. 文章主要工作

這篇論文提出了一種簡(jiǎn)單的解碼策略，用于減少預(yù)訓(xùn)練大型語(yǔ)言模型 (LLMs) 中的幻覺(jué)生成（即偏離預(yù)訓(xùn)練時(shí)看到的事實(shí)的內(nèi)容生成）。他們的方法通過(guò)對(duì)比從后層向詞匯空間投影獲得的 logits 與早期層的差異，來(lái)獲得下一個(gè) token 的分布，以此利用 LLMs 中局部化到特定 transformer 層的事實(shí)知識(shí)。這種對(duì)比層次解碼（DoLa）方法能有效地提取事實(shí)知識(shí)，減少錯(cuò)誤事實(shí)的生成。

2. 文章亮點(diǎn)

DoLa方法能夠改善LLM的真實(shí)性，降低“誤導(dǎo)性”信息的生成。例如，它在TruthfulQA上改善LLaMA家族模型的表現(xiàn)，絕對(duì)得分提升12-17%，這體現(xiàn)了它強(qiáng)大的能力，使LLM可靠地生成真實(shí)的事實(shí)。

3. 核心關(guān)鍵詞

• Large Language Models (大型語(yǔ)言模型)

• Decoding Strategy (解碼策略)

• Logits (邏輯函數(shù))

• Transformer Layers (Transformer 層)

• TruthfulQA (真實(shí)性QA)

4.評(píng)分

• 實(shí)用性：5/5，該方法改進(jìn)了大型語(yǔ)言模型的真實(shí)性，有助于提升模型的有效性和可信度。

• 創(chuàng)新性：4.5/5，該文使用一種新的解碼策略，通過(guò)對(duì)比不同層次獲取的邏輯函數(shù)來(lái)改善模型的表現(xiàn)，十分創(chuàng)新。

• 推薦度：5/5，對(duì)于大型語(yǔ)言模型的改進(jìn)十分必要，這篇論文提供了一個(gè)有效的改進(jìn)策略，對(duì)這個(gè)領(lǐng)域的研究者來(lái)說(shuō)是值得一讀的文章。

到 Huggingface 論文主頁(yè)查看詳情

SyncDreamer: Generating Multiview-consistent Images from a Single-view Image

1. 主要工作：

本文提出一種名為SyncDreamer的新型擴(kuò)散模型，它能從單視圖圖像生成多視圖一致的圖像。為了處理生成圖像在幾何和顏色上保持一致性的挑戰(zhàn)，我們?cè)O(shè)計(jì)了一個(gè)同步多視圖擴(kuò)散模型來(lái)模擬多視圖圖像的聯(lián)合概率分布， 這使得在單個(gè)逆向過(guò)程中可以生成多視圖一致的圖像。

2. 主要亮點(diǎn)：

SyncDreamer通過(guò)一個(gè)了解3D的特征注意機(jī)制在每個(gè)逆向過(guò)程的步驟中同步所有生成圖像的中間狀態(tài)，該機(jī)制能跨越不同視圖連接相應(yīng)的特征。實(shí)驗(yàn)表明，這種模型可以生成具有高一致性的跨不同視圖的圖像，使其非常適合于各種3D生成任務(wù)。

3. 核心關(guān)鍵詞：

• SyncDreamer (SyncDreamer)

• Diffusion Model (擴(kuò)散模型)

• Single-view image (單視圖圖像)

• Multiview images (多視圖圖像)

• 3D-aware feature attention mechanism (了解3D的特征注意機(jī)制)

4. 評(píng)分：

• 實(shí)用性：4.5/5，這個(gè)模型的實(shí)用性很高，因?yàn)樗軌驈膯我灰朁c(diǎn)創(chuàng)造出一致的多視角圖像，這對(duì)于各種3D任務(wù)非常有用。

• 創(chuàng)新性：5/5，這個(gè)模型表示了獨(dú)特的方法來(lái)應(yīng)對(duì)生成圖像在幾何和顏色上保持一致性的挑戰(zhàn)，并使用了了解3D的特征注意機(jī)制來(lái)同步所有生成的圖像，顯示了高度的創(chuàng)新性。

• 推薦度：4.5/5，推薦讀者閱讀并了解這個(gè)模型，它在解決一致性問(wèn)題和從單視圖生成多視圖圖像時(shí)展現(xiàn)了非常有價(jià)值的新思路。

到 Huggingface 論文主頁(yè)查看詳情

XGen-7B Technical Report

1. 主要工作

本文發(fā)表了XGen系列模型，這是一系列7B參數(shù)模型，對(duì)最多8K序列長(zhǎng)度進(jìn)行了訓(xùn)練，并對(duì)最多1.5T的tokens進(jìn)行了訓(xùn)練。同時(shí)，文章對(duì)XGen模型進(jìn)行了在公開(kāi)域指令數(shù)據(jù)上的微調(diào)，創(chuàng)建了其指令調(diào)諧的對(duì)應(yīng)模型(XGen-Inst)。文中還對(duì)這類模型進(jìn)行開(kāi)源，旨在推動(dòng)研究進(jìn)步和商業(yè)應(yīng)用。

2. 亮點(diǎn)

本文章的大亮點(diǎn)在于，XGen模型不僅對(duì)更長(zhǎng)的序列長(zhǎng)度進(jìn)行了訓(xùn)練，但其性能也能夠與現(xiàn)有的開(kāi)源大型語(yǔ)言模型相匹敵甚至優(yōu)于它們。特別的，面對(duì)長(zhǎng)序列建模任務(wù)，8K序列的模型顯示出對(duì)2K序列的開(kāi)源大型語(yǔ)言模型的優(yōu)點(diǎn)。此外，作者們還提供了開(kāi)源代碼，這對(duì)于推動(dòng)技術(shù)的發(fā)展和商業(yè)應(yīng)用都具有重要價(jià)值。

3. 核心關(guān)鍵詞

• Large Language Models (大型語(yǔ)言模型)

• XGen (XGen模型)

• Sequence Length (序列長(zhǎng)度)

• Instruction-Tuned (指令調(diào)諧)

• Open-Source (開(kāi)源)

4. 評(píng)價(jià)

• 實(shí)用性：4分

• 創(chuàng)新性：4.5分

• 推薦度：4分

XGen系列模型以其能夠處理更長(zhǎng)序列長(zhǎng)度的能力和公開(kāi)代碼的開(kāi)放性，展現(xiàn)出很高的實(shí)用性。該模型在處理長(zhǎng)序列的能力方面展現(xiàn)出創(chuàng)新，也因此獲得了高分。總體來(lái)看，這是一篇值得推薦閱讀的文章。

到 Huggingface 論文主頁(yè)查看詳情

Robotic Table Tennis: A Case Study into a High Speed Learning System

1. 介紹本文的主要工作

   本研究深入探討了一個(gè)實(shí)際的機(jī)器人學(xué)習(xí)系統(tǒng)，該系統(tǒng)在以前的研究中已經(jīng)展示出能夠和人類進(jìn)行數(shù)百次的乒乓球比賽并且能夠精確地將球返回到指定的目標(biāo)。該系統(tǒng)綜合了高度優(yōu)化的感知子系統(tǒng)、高速低延遲的機(jī)器人控制器、能夠防止實(shí)際世界損壞同時(shí)也能培訓(xùn)零轉(zhuǎn)移策略的仿真范例，以及能夠?qū)崿F(xiàn)在物理機(jī)器人上進(jìn)行自主訓(xùn)練和評(píng)估的實(shí)際環(huán)境重置。

2. 本文工作的主要亮點(diǎn)

   論文詳盡的描繪了系統(tǒng)的實(shí)現(xiàn)細(xì)節(jié)，并探討了各種設(shè)計(jì)決策，這些內(nèi)容在很多其他論文中并未明確提及。此外，本研究對(duì)降低各種延遲源、調(diào)整訓(xùn)練與部署分布差異、提高感知系統(tǒng)的穩(wěn)健性、對(duì)策略超參數(shù)的敏感度和行為空間選擇等諸多關(guān)鍵因素進(jìn)行了深入的實(shí)證研究。

3. 核心關(guān)鍵詞

   • Robotic Learning System (機(jī)器人學(xué)習(xí)系統(tǒng))

   • Perception Subsystem (感知子系統(tǒng))

   • Zero-shot Transfer (零次轉(zhuǎn)移)

   • Latency (延遲)

   • Autonomous Training (自主訓(xùn)練)

4. 從實(shí)用性、創(chuàng)新性和推薦度進(jìn)行打分

   • 實(shí)用性：5分，系統(tǒng)的實(shí)戰(zhàn)能力強(qiáng)，能進(jìn)行自主訓(xùn)練和評(píng)估，具有很高的實(shí)用性。

   • 創(chuàng)新性：5分，成功地將多個(gè)前沿技術(shù)融合在一起，并通過(guò)實(shí)證研究支持了其中的關(guān)鍵設(shè)計(jì)決策。

   • 推薦度：5分，內(nèi)容豐富，成果顯著，對(duì)到學(xué)術(shù)界與產(chǎn)業(yè)界都有較高的參考價(jià)值。

到 Huggingface 論文主頁(yè)查看詳情

Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model

1. 介紹本文的主要工作

   本文提出了一個(gè)名為Text2Control3D的可控文本至3D頭像生成方法。該方法可以根據(jù)一段由手持相機(jī)隨意拍攝的單眼鏡頭視頻，控制頭像的面部表情。主要策略是使用ControlNet生成的一組受控的視點(diǎn)感知圖像來(lái)構(gòu)造Neural Radiance Fields（NeRF）中的3D頭像，并從輸入視頻中提取深度圖作為ControlNet的條件輸入。

2. 本文工作的主要亮點(diǎn)

   導(dǎo)出的3D頭像可以根據(jù)輸入的文本進(jìn)行表情、外觀的控制。將視點(diǎn)無(wú)關(guān)的紋理問(wèn)題進(jìn)行了處理，并考慮了每個(gè)圖像的幾何變化，為不嚴(yán)格幾何一致的圖像訓(xùn)練NeRF，由此構(gòu)建出了變形NeRF的規(guī)范空間。

3. 核心關(guān)鍵詞

   • Neural Radiance Fields (神經(jīng)輻射場(chǎng))

   • ControlNet (控制網(wǎng)絡(luò))

   • Text-to-3D Generation (文本到3D生成)

   • viewpoint-aware images (視點(diǎn)感知圖像)

   • deformable NeRF (可變形NeRF)

4. 實(shí)用性、創(chuàng)新性和推薦度打分

   • 實(shí)用性：4分，本文提出的方法可以在3D頭像構(gòu)造中應(yīng)用，有相當(dāng)多的實(shí)用性。

   • 創(chuàng)新性：4分，該工作在文本至3D生成的控制性方面有顯著的創(chuàng)新，特別是視點(diǎn)感知圖像和可變形NeRF的應(yīng)用。

   • 推薦度：4分，對(duì)于那些在計(jì)算機(jī)視覺(jué)和生成模型領(lǐng)域工作的人來(lái)說(shuō)，這是一個(gè)值得閱讀的文獻(xiàn)。

到 Huggingface 論文主頁(yè)查看詳情

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

1. 介紹本文的主要工作

本文提出了一個(gè)名為"Reuse and Diffuse" (簡(jiǎn)稱 VidRD)的新框架，用于更高效地進(jìn)行文本到視頻的生成。這個(gè)框架參考了Latent Diffusion Models（LDMs）在圖像合成方面的成功。它通過(guò)重復(fù)使用原始的潛在特征并逐步引入已生成的視頻幀的擴(kuò)散過(guò)程，能夠生成更多的視頻幀。

2. 本文工作的主要亮點(diǎn)

主要亮點(diǎn)包括提出有效解決計(jì)算和內(nèi)存限制的VidRD框架，并優(yōu)化了像素空間與潛在空間轉(zhuǎn)換的自動(dòng)編碼器，注入了時(shí)間層以提高時(shí)間一致性。此外，他們還制定了一組策略，將多種現(xiàn)有數(shù)據(jù)集的內(nèi)容進(jìn)行了有效組合，從而獲得了更具多樣性的視頻-文本數(shù)據(jù)。

3. 核心關(guān)鍵詞

• Latent Diffusion Models (潛在擴(kuò)散模型)

• Text-to-Video Generation (文本到視頻生成)

• Autoencoder (自動(dòng)編碼器)

• Temporal Consistency (時(shí)間一致性)

• Data Composition (數(shù)據(jù)組合)

4. 實(shí)用性、創(chuàng)新性和推薦度

• 實(shí)用性：4.0/5.0。此方法可以在資源受限的情況下實(shí)現(xiàn)更多的文本到視頻幀生成，具有一定的實(shí)用性。

• 創(chuàng)新性：4.5/5.0。該論文的“重用和擴(kuò)散”模型以及時(shí)間一致性的自動(dòng)編碼器注入方法都顯示出較高的創(chuàng)新性。

• 推薦度：4.0/5.0。這篇論文對(duì)解決文本到視頻生成的復(fù)雜性和資源問(wèn)題提出了一種全新的解決路徑，推薦給對(duì)此領(lǐng)域感興趣的讀者。

到 Huggingface 論文主頁(yè)查看詳情