頭條
GPT-4 知識(shí)更新至 2023 年 12 月
https://platform.openai.com/docs/models/overview
根據(jù) OpenAI 平臺(tái)上的新文檔，GPT-4 模型的訓(xùn)練數(shù)據(jù)已更新，包含截至 2023 年 12 月的信息。
軟銀創(chuàng)始人孫正義計(jì)劃為新芯片企業(yè)籌集 1000 億美元
https://www.msn.com/en-us/money/companies/softbank-founder-masayoshi-son-aims-to-raise-100-billion-for-new-chip-venture-izanagi/ar-BB1iq42h
孫正義的軟銀集團(tuán)公司正在推出 Izanagi，這是一家價(jià)值 1000 億美元的芯片企業(yè)，旨在與 Nvidia 競(jìng)爭(zhēng)并專注于人工智能應(yīng)用。
Scribe B 輪融資 2500 萬(wàn)美元
https://scribehow.com/library/series-b-announcement
Scribe 已籌集了由 Redpoint Ventures 領(lǐng)投的 B 輪融資，以加速其人工智能驅(qū)動(dòng)平臺(tái)的發(fā)展，該平臺(tái)可自動(dòng)創(chuàng)建可視化分步指南并促進(jìn)組織內(nèi)的知識(shí)共享。 超過(guò) 100 萬(wàn)個(gè)團(tuán)隊(duì)使用 Scribe，其中包括財(cái)富 100 強(qiáng)企業(yè)中 97% 的團(tuán)隊(duì)。該公司正在擴(kuò)展其 AI 功能，以使工作場(chǎng)所信息更易于訪問(wèn)。
研究
生成表征指令調(diào)優(yōu)
https://arxiv.org/abs/2402.09906
Contextual 團(tuán)隊(duì)訓(xùn)練并發(fā)布了一個(gè)可以生成文本和嵌入的模型。 它的性能顯著優(yōu)于單一專業(yè)模型。 該模型是對(duì)多模態(tài)趨勢(shì)的有趣詮釋，其中輸出模態(tài)是嵌入。
深度剖析：曼巴的艱難之路
https://srush.github.io/annotated-mamba/hard.html
Sasha Rush 發(fā)布了一個(gè)帶注釋的教程，用于使用自定義 Triton 內(nèi)核加速 Mamba。 由于 Triton 編譯器中的錯(cuò)誤，它還無(wú)法擴(kuò)展，但它是該技術(shù)的極端例證，對(duì)于那些希望深入研究狀態(tài)空間 Transformer 替代世界的人來(lái)說(shuō)非常有用。
使用 LoRA+ 增強(qiáng)微調(diào).
https://arxiv.org/abs/2402.12354v1
本文提出了 LoRA+，它是對(duì)現(xiàn)有低秩適應(yīng) (LoRA) 方法的改進(jìn)，用于微調(diào)大型模型。 LoRA+ 通過(guò)對(duì)過(guò)程中的關(guān)鍵組件使用不同的學(xué)習(xí)率，在不增加計(jì)算需求的情況下實(shí)現(xiàn)了更好的性能和更快的微調(diào)。
工程
只需 4 張圖片即可生成 3D 對(duì)象 (GitHub Repo)
https://github.com/GaussianObject/GaussianObject
該存儲(chǔ)庫(kù)允許您拍攝四張圖像，并使用高斯濺射將它們轉(zhuǎn)換為高質(zhì)量的 3D 表示。
生成任意分辨率的圖像 (GitHub Repo)
https://github.com/whlzy/fit
靈活視覺(jué)轉(zhuǎn)換器 (FiT) 是一種新穎的架構(gòu)，旨在創(chuàng)建任何分辨率和縱橫比的圖像。 與傳統(tǒng)模型不同，F(xiàn)iT 將圖像視為可變大小的標(biāo)記序列，使其能夠在訓(xùn)練和推理過(guò)程中更有效地適應(yīng)不同的圖像大小。
增強(qiáng)人工智能對(duì)對(duì)抗性攻擊的防御 (GitHub Repo)
https://github.com/chs20/robustvlm
該項(xiàng)目引入了一種新方法來(lái)增強(qiáng) OpenFlamingo 和 LLaVA 等多模態(tài)模型抵御視覺(jué)對(duì)抗攻擊的能力。 通過(guò)以無(wú)監(jiān)督的方式微調(diào) CLIP 視覺(jué)編碼器，作者有效地保護(hù)了這些模型免受操縱圖像攻擊，從而增強(qiáng)了它們?cè)趯?shí)際應(yīng)用中的可靠性和安全性，而無(wú)需重新訓(xùn)練整個(gè)模型。
雜七雜八
新的LLM基準(zhǔn)
https://nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.html
杰出研究員 Nicholas Carlini 發(fā)布了他用于評(píng)估大型語(yǔ)言模型性能的基準(zhǔn)。 有趣的是，它的 GPT-4 比大多數(shù)其他基準(zhǔn)測(cè)試更領(lǐng)先。
加速未來(lái)的戰(zhàn)略
https://www.oneusefulthing.org/p/strategies-for-an-accelerating-future
AI 領(lǐng)域的最新進(jìn)展，特別是 Google 的 Gemini 提供了超過(guò) 100 萬(wàn)個(gè)Token的上下文窗口，以及 Groq 的硬件實(shí)現(xiàn)了 GPT-3.5 模型幾乎即時(shí)的響應(yīng)，這標(biāo)志著實(shí)際 AI 應(yīng)用的重大飛躍，并強(qiáng)調(diào)了領(lǐng)導(dǎo)者理解和理解的緊迫性。
如何在生成人工智能中失敗
https://medium.com/@sanguit/how-to-lose-at-generative-ai-2e6e6c20fecf
生成式人工智能雖然被大肆宣傳，但可能會(huì)讓大多數(shù)初創(chuàng)公司感到失望，因?yàn)樗欣趽碛袛?shù)據(jù)優(yōu)勢(shì)、現(xiàn)有工作流程以及無(wú)需大修即可將人工智能集成到現(xiàn)有業(yè)務(wù)中的企業(yè)。 盡管風(fēng)險(xiǎn)資本流入 GenAI 領(lǐng)域，但專注于工作流程層的快速工程和用戶體驗(yàn)改進(jìn)的初創(chuàng)公司本質(zhì)上是在為現(xiàn)有企業(yè)做嫁衣，這些企業(yè)可以輕松采用人工智能創(chuàng)新并將其集成到其主導(dǎo)平臺(tái)中，這表明對(duì)于旨在實(shí)現(xiàn)這一目標(biāo)的初創(chuàng)企業(yè)來(lái)說(shuō)，未來(lái)的道路充滿挑戰(zhàn)。
BoCoEL (GitHub Repo)
https://github.com/rentruewang/bocoel
使用貝葉斯優(yōu)化準(zhǔn)確評(píng)估LLM。
亞馬遜 AGI 團(tuán)隊(duì)稱他們的人工智能正在展現(xiàn)“新興能力”
https://futurism.com/the-byte/amazon-researchers-ai-emergent
Amazon AGI 研究人員開(kāi)發(fā)了一種名為“具有緊急能力的大自適應(yīng)流式 TTS”(BASE TTS) 的語(yǔ)言模型，該模型在對(duì)話文本中顯示“最先進(jìn)的自然度”，展示了未經(jīng)專門(mén)訓(xùn)練的語(yǔ)言技能。
AdGen AI
https://www.producthunt.com/posts/adgen-ai
AdGen AI 直面?zhèn)鹘y(tǒng)廣告制作的混亂局面，提供了簡(jiǎn)化的、人工智能驅(qū)動(dòng)的解決方案。 在幾分鐘內(nèi)從單個(gè)網(wǎng)址生成 100 多個(gè)廣告變體。
