頭條
Google Workspace 的 Gemini Business 和 Gemini Enterprise 即將推出
https://9to5google.com/2024/02/19/gemini-business-enterprise/
谷歌正在為 Workspace 客戶推出“Gemini Business”和“Gemini Enterprise”計(jì)劃，提供其先進(jìn)的人工智能模型 Gemini 1.0 Ultra 的訪問權(quán)限，并提供企業(yè)級(jí)數(shù)據(jù)保護(hù)。 它不會(huì)使用員工對(duì)話進(jìn)行模型培訓(xùn)。
OpenAI 與 Thrive Capital 達(dá)成價(jià)值 800 億美元的交易
據(jù)報(bào)道，在與風(fēng)險(xiǎn)投資公司 Thrive Capital 達(dá)成交易后，OpenAI 的估值已超過 800 億美元。 這一估值在不到 10 個(gè)月的時(shí)間里增長了近 3 倍，使 OpenAI 成為全球第三高估值的科技初創(chuàng)公司。 該交易涉及“要約收購”下的股票出售，允許員工兌現(xiàn)其在公司的股票。
Magic 融資 1.17 億美元以繼續(xù)代碼生成模型
https://twitter.com/magicailabs/status/1758140204446323188
Magic 正在建造 AI軟件工程師，并籌集了更多資金來幫助完成這一過程。
研究
KV Quant - 擴(kuò)展到 1000 萬個(gè)代幣
https://arxiv.org/abs/2401.18079
量化 KV 緩存是 Transformer 架構(gòu)的一個(gè)技術(shù)細(xì)節(jié)，可以使其在推理時(shí)使用更少的內(nèi)存。 量化是在質(zhì)量損失最小的情況下縮小浮點(diǎn)精度。
增強(qiáng)型語音翻譯
https://arxiv.org/abs/2402.10422v1
ZeroSwot 是一種新的語音翻譯（ST）方法，克服了數(shù)據(jù)缺乏以及語音和文本之間的差異。 它使用獨(dú)特的技術(shù)僅使用語音識(shí)別數(shù)據(jù)來訓(xùn)練語音編碼器，使其能夠與多語言翻譯模型一起使用。
讓 CLIP 直觀易懂
https://arxiv.org/abs/2402.10376v1
SpLiCE是一種新方法，可以使CLIP復(fù)雜的視覺數(shù)據(jù)更容易理解。
工程
ControlVectors 庫 (GitHub Repo)
https://github.com/vgel/repeng/
ControlVector 是一種廉價(jià)地引導(dǎo)語義生成輸出的方法。 它們的訓(xùn)練成本比 LoRA 便宜，但仍然非常有效。 這個(gè)庫讓它變得更容易。
OpenRLHF (GitHub Repo)
https://github.com/OpenLLMAI/OpenRLHF
這是 Llama 風(fēng)格模型的 RLHF 基于 Ray 的實(shí)現(xiàn)，其中包括 Mistral。 它包含許多 PPO 穩(wěn)定技巧來提高性能。
適用于智能機(jī)器人的 3D 擴(kuò)散器 (GitHub Repo)
https://github.com/nickgkan/3d_diffuser_actor
3D Diffuser Actor 結(jié)合了擴(kuò)散策略和 3D 場景表示來改進(jìn)機(jī)器人操作。 這種人工智能驅(qū)動(dòng)的方法使機(jī)器人能夠更有效地理解環(huán)境并與其交互。
雜七雜八
如何在 AdamW 中聯(lián)合調(diào)優(yōu) LR 和 WD
AdamW 通常用于解耦學(xué)習(xí)率和權(quán)重衰減。 然而，Pytorch 中的常見實(shí)現(xiàn)并沒有明確執(zhí)行此操作。 這篇文章討論如何調(diào)整這些參數(shù)。
走進(jìn) OpenAI
有沒有想過 OpenAI 如何能夠以如此快的速度進(jìn)行創(chuàng)新和構(gòu)建？ 在本播客中，OpenAI 開發(fā)者關(guān)系主管 Logan Kilpatrick 討論了 OpenAI 的獨(dú)特文化、高度代理和緊迫性的重要性，以及公司推出產(chǎn)品的決策框架。
增強(qiáng)密集視頻分析變壓器
開發(fā)了一種新的時(shí)間擴(kuò)張視頻變換器（TDViT）來改進(jìn)密集視頻任務(wù)的分析，例如逐幀視頻對(duì)象檢測。
OpenLLMetry (GitHub Repo)
OpenLLMetry-JS 是一組基于 OpenTelemetry 構(gòu)建的擴(kuò)展，可讓您對(duì) LLM 應(yīng)用程序具有完全的可觀察性。
可供出租的 GPU 集群列表
按小時(shí)出租的完整集群列表。
Unspam AI (Product)
反垃圾郵件人工智能
