頭條
Anthropic 提示庫
https://docs.anthropic.com/claude/prompt-library
Claude 3的發(fā)布頗受歡迎，但這些型號(hào)的提示風(fēng)格略有不同。 Anthropic 收集了一組適用于各種任務(wù)和主題的用戶提示。
蘋果研究人員在多模態(tài)人工智能方面取得突破
https://venturebeat.com/ai/apple-researchers-achieve-breakthroughs-in-multimodal-ai-as-company-ramps-up-investments/
蘋果研究人員開發(fā)了在文本和圖像上訓(xùn)練大型語言模型的方法，從而在多模式人工智能任務(wù)中實(shí)現(xiàn)最先進(jìn)的性能。
Stability AI 發(fā)布 Stable Video 3D
https://stability.ai/news/introducing-stable-video-3d
Stable Video 3D 建立在 Stable Video 之上，可以從單個(gè)圖像生成 3D 模型。 它的性能優(yōu)于Stable Zero 123 和其他方法。 Stability AI 會(huì)員可將權(quán)重用于研究目的和商業(yè)用途。
研究
使用自注意力機(jī)制預(yù)測(cè)下一個(gè)標(biāo)記的機(jī)制
https://arxiv.org/abs/2403.08081
下一個(gè)令牌預(yù)測(cè)是一個(gè)導(dǎo)致復(fù)雜行為的簡(jiǎn)單目標(biāo)。 這項(xiàng)工作發(fā)現(xiàn)，通過梯度下降訓(xùn)練的單個(gè)自注意力層將問題分解為硬檢索和軟組合，從而實(shí)現(xiàn)了上下文學(xué)習(xí)和強(qiáng)大的整體性能。
使用 Visual Transformer 增強(qiáng)對(duì)象檢測(cè)
https://arxiv.org/abs/2403.09313v1
YOLOX-ViT 通過集成視覺變換器和知識(shí)蒸餾，引入了一種水下機(jī)器人中物體檢測(cè)的新方法。
使用 16 個(gè)不同的分詞器預(yù)訓(xùn)練同一模型
https://github.com/alasdairforsythe/tokenmonster/blob/main/benchmark/pretrain.md
現(xiàn)代語言建模的一個(gè)奇怪的事實(shí)是，我們?cè)谟?xùn)練模型之前首先訓(xùn)練分詞器。 第二個(gè)奇怪的事實(shí)是，詞匯量的大小在大范圍內(nèi)似乎并不那么重要。
工程
LLM4Decompile (GitHub Repo)
https://github.com/albertan017/LLM4Decompile
使用大型語言模型反編譯二進(jìn)制代碼。
3D 場(chǎng)景理解 (GitHub Repo)
https://github.com/dvlab-research/groupcontrast
GroupContrast 通過將分段分組與語義感知對(duì)比學(xué)習(xí)相結(jié)合，重新定義了自監(jiān)督 3D 表示學(xué)習(xí)。
跨不同頻譜的對(duì)象識(shí)別 (GitHub Repo)
https://github.com/924973292/editor
該項(xiàng)目引入了一種新方法，用于識(shí)別來自 RGB、近紅外和熱成像等各種光譜的圖像中的物體，重點(diǎn)關(guān)注以物體為中心的信息，以克服背景噪聲并提高識(shí)別精度。
雜七雜八
船長(zhǎng)日志：提示人工智能的不可簡(jiǎn)化的怪異
https://www.oneusefulthing.org/p/captains-log-the-irreducible-weirdness
一個(gè)新的配套網(wǎng)站“更多有用的東西”提供了大量免費(fèi)的人工智能和機(jī)器學(xué)習(xí)資源，強(qiáng)調(diào)了人工智能生成的提示（例如富有想象力的場(chǎng)景）在解決數(shù)學(xué)問題等任務(wù)中可以超越人工提示的奇特而有效的方式。 該實(shí)驗(yàn)強(qiáng)調(diào)了添加上下文、小樣本學(xué)習(xí)和思維鏈技術(shù)以獲得更一致的提示結(jié)果的重要性。 隨著人工智能模型的進(jìn)步，隨著人工智能在推斷用戶意圖方面的進(jìn)步，提示作為一項(xiàng)技能可能變得不再那么重要，但目前，結(jié)構(gòu)化提示仍然是一種不斷發(fā)展的藝術(shù)，具有巨大的潛在好處。
AI 提示工程已死
https://spectrum.ieee.org/prompt-engineering-is-dead
最近的研究表明，隨著人工智能和機(jī)器學(xué)習(xí)模型越來越優(yōu)化自己的提示，人類提示工程師可能會(huì)被淘汰。 算法生成的提示可能很奇怪但很有效，其性能優(yōu)于人工生成的提示，并顯著縮短優(yōu)化時(shí)間。 雖然自動(dòng)調(diào)整的提示顯示出希望，但專家認(rèn)為，對(duì)提示相關(guān)工作的需求將不斷發(fā)展而不是消失，可能會(huì)出現(xiàn) LLMOps（大型語言模型操作）等新職位。
谷歌研究人員推出了一種可以讓靜態(tài)視頻栩栩如生的人工智能
https://venturebeat.com/ai/google-researchers-unveil-vlogger-an-ai-that-can-bring-still-photos-to-life/
VLOGGER 是谷歌研究人員創(chuàng)建的人工智能，可以根據(jù)單張照片生成人們說話和動(dòng)作的逼真視頻。
微軟已將 GPT-4 Turbo LLM 添加到免費(fèi)版本的 Copilot 中
https://www.neowin.net/news/microsoft-has-added-the-gpt-4-turbo-llm-to-the-free-version-of-copilot/
Copilot Pro 用戶仍然可以選擇舊型號(hào)，他們還可以訪問 Copilot GPT Builder，無需編程專業(yè)知識(shí)即可創(chuàng)建自定義聊天機(jī)器人。
韓國研究人員用新的神經(jīng)人工智能芯片讓英偉達(dá)羞愧
https://www.tomshardware.com/tech-industry/artificial-intelligence/korean-researchers-power-shame-nvidia-with-new-neural-ai-chip-claim-625-times-less-power-41-times-smaller
KAIST 研究人員開發(fā)了 C-Transformer，這是一款適用于大型語言模型的超低功耗 AI 芯片，與 Nvidia 的 A100 GPU 相比，其能效顯著提高。
