頭條
OpenAI 計劃在秋季發(fā)布新的 AI 模型“Strawberry”
OpenAI 計劃在秋季發(fā)布一款名為“Strawberry”的新 AI 產(chǎn)品。它將具有高級推理能力，例如能夠解決以前從未見過的數(shù)學(xué)問題，并且可以執(zhí)行制定市場策略等高級任務(wù)。
Artifacts 已經(jīng)可供所有人使用
https://www.anthropic.com/news/artifacts
Anthropic 已將 Artifacts 開放使用，包括移動設(shè)備。
Cerebras 推理
https://cerebras.ai/blog/introducing-cerebras-inference-ai-at-instant-speed
Cerebras 的芯片組具有巨大的統(tǒng)一內(nèi)存。因此，它可以避開帶寬問題并以每秒數(shù)千個令牌的速度為模型提供服務(wù)。
研究
語言模型的物理學(xué)：Part 3.3
https://arxiv.org/abs/2404.05405
作為本系列的第 3 部分，本文探討了縮放定律以及在模型中存儲知識所需的位數(shù)。答案似乎是每個參數(shù)大約 2 位知識。
Fire-Flyer AI HPC
https://arxiv.org/abs/2408.14158
DeepSeek 發(fā)布了一篇論文，概述了其用于 DL 訓(xùn)練的硬件-軟件協(xié)同設(shè)計策略。
宣布推出 Higgs Llama V2
Boson AI 推出了 Higgs-Llama-3-70B-v2，這是一種在 Arena-Hard 和 AlpacaEval 2.0 等對話和理解基準(zhǔn)測試中表現(xiàn)出色的新模型。與 Claude 3.5 Sonnet 相比，該模型將響應(yīng)再生率降低了 21.6%，并將第一天的留存率提高了 5.3%。借助內(nèi)部獎勵模型 Higgs Judger，該模型在性能上與 Google 的 Gemini 1.5 Pro 不相上下。
工程
混合模型訓(xùn)練后手冊
https://www.zyphra.com/post/the-zyphra-training-cookbook
預(yù)訓(xùn)練混合（Mamba 風(fēng)格）模型與預(yù)訓(xùn)練普通 Transformer 不同。這篇文章探討了如何擴展不同的超參數(shù)、數(shù)據(jù)采集和其他以獲得您想要的性能。
Llama Duo：模型回退系統(tǒng)
https://github.com/deep-diver/llamaduo
這是一個框架，可以微調(diào)小模型，以在封閉 API 模型出現(xiàn)故障時作為回退。它展示了如何順利地從大型模型遷移到小型模型。
LitServe
https://github.com/Lightning-AI/LitServe
LitServe 是一款易于使用、靈活的服務(wù)引擎，適用于基于 FastAPI 構(gòu)建的 AI 模型。批處理、流式傳輸和 GPU 自動縮放等功能消除了為每個模型重建 FastAPI 服務(wù)器的需要。
雜七雜八
Llava BitNet
https://huggingface.co/IntelLabs/LlavaOLMoBitnet1B
Llava BitNet 是第一個在 VLM 任務(wù)上訓(xùn)練的三元 (-1, 0, 1) 權(quán)重模型。該模型、權(quán)重和腳本正在完全開源。技術(shù)報告即將發(fā)布，表明該模型具有良好的性能。
推理是免費且即時的
https://fume.substack.com/p/inference-is-free-and-instant
雖然大型語言模型 (LLM) 的推理能力可能不會顯著提高，但它們的成本降低和速度的提高將使它們更適合重復(fù)性任務(wù)。雖然這些模型可能缺乏真正的理解，但它們?nèi)匀豢梢杂行У靥幚砗唵蔚娜蝿?wù)。
內(nèi)存高效的 LLM 訓(xùn)練
https://arxiv.org/abs/2408.12857v1
Online Subspace Descent 是一種新的優(yōu)化器，它通過提高內(nèi)存效率來改進 LLM 的訓(xùn)練。
Qwen 2 Audio
https://huggingface.co/collections/Qwen/qwen2-audio-66b628d694096020e0c52ff6
Qwen 發(fā)布了音頻輸入風(fēng)格模型，可以推理音樂、音頻和聲音。
Sketch2Scene
https://xrvisionlabs.github.io/Sketch2Scene/
該團隊連續(xù)使用多個模型，能夠創(chuàng)建一個令人驚嘆的模型，該模型可以根據(jù)單個輸入草圖生成完全可玩的 3D 游戲場景。
1 毫米“芯片風(fēng)扇”可將主動冷卻功能置于超薄設(shè)備內(nèi)
xMEMS 推出了 XMC-2400 μCooling 芯片，這是一款 1 毫米高的固態(tài)風(fēng)扇，旨在為智能手機等超薄設(shè)備降溫。
