頭條
Meta 推出 Code Llama
https://ai.meta.com/blog/code-llama-large-language-model-coding/
Meta 發(fā)布了 Code Llama，這是一種基于 Llama 2 的大型編碼語(yǔ)言模型。 7B、13B 和 34B 參數(shù)模型現(xiàn)已推出。他們?cè)?HumanEval (53.7) 和 MBPP (56.2) 上表現(xiàn)強(qiáng)勁。 Code Llama 模型可以生成和調(diào)試代碼，經(jīng)過(guò)指令調(diào)整，并且具有極長(zhǎng)的上下文 - 多達(dá) 100k 個(gè) Token。
Hushing Face 融資 2.35 億美元
https://techcrunch.com/2023/08/24/hugging-face-raises-235m-from-investors-including-salesforce-and-nvidia/
Hugging Face 在 D 輪融資中籌集了 2.35 億美元，參與方包括谷歌、亞馬遜、Nvidia、英特爾、AMD、高通、IBM、Salesforce 和 Sound Ventures。該初創(chuàng)公司目前估值為 45 億美元。
白宮的“人工智能網(wǎng)絡(luò)挑戰(zhàn)”旨在眾包國(guó)家安全解決方案
https://www.engadget.com/the-white-houses-ai-cyber-challenge-aims-to-crowdsource-national-security-solutions-170003434.html
白宮與谷歌和 OpenAI 等科技巨頭合作，發(fā)起了“人工智能網(wǎng)絡(luò)挑戰(zhàn)”，以開發(fā)能夠發(fā)現(xiàn)和修復(fù)軟件漏洞的人工智能。該競(jìng)賽提供2000萬(wàn)美元的獎(jiǎng)金。將鼓勵(lì)獲勝團(tuán)隊(duì)開源他們的解決方案。
研究
法律推理基準(zhǔn)
https://hazyresearch.stanford.edu/legalbench/
為了構(gòu)建衡量語(yǔ)言模型在法律框架中推理能力的基準(zhǔn)，需要付出相當(dāng)大的協(xié)作努力。注意已訓(xùn)練模型中的污染。
視頻生成基準(zhǔn)
https://arxiv.org/abs/2308.11606
通過(guò)自動(dòng)視頻生成講故事是一個(gè)新興的研究領(lǐng)域。故事延續(xù)、故事混音等任務(wù)是很難衡量的。希望這個(gè)偉大的新 Google 基準(zhǔn)測(cè)試能夠幫助該領(lǐng)域取得進(jìn)展。
使用 LiDAR 點(diǎn)跟蹤 3D 對(duì)象的新方法
https://arxiv.org/abs/2308.11875v1
由于注意力分散或沒(méi)有注意到長(zhǎng)期運(yùn)動(dòng)，大多數(shù)計(jì)算機(jī)視覺(jué)工具在使用 LiDAR 點(diǎn)跟蹤 3D 物體時(shí)遇到困難。 MTM-Tracker混合了兩種方法并分兩個(gè)階段工作來(lái)解決這些問(wèn)題。
工程
低精度訓(xùn)練的單位縮放
https://graphcore-research.github.io/unit-scaling/user_guide.html
Graphcore 發(fā)布了一個(gè)優(yōu)秀的 Pytorch 庫(kù)，使 fp8 的訓(xùn)練變得超級(jí)簡(jiǎn)單和穩(wěn)定。人們只需要一個(gè)模型包裝器和火炬編譯即可。
使用簡(jiǎn)單指令制作更智能、更小型模型的酷方法 (GitHub Repo)
https://github.com/neulab/prompt2model
Prompt2Model 不使用大型且占用大量資源的 AI 模型，而是讓人們用簡(jiǎn)單的語(yǔ)言描述想要的內(nèi)容，然后為該任務(wù)創(chuàng)建一個(gè)更小、更高效的 AI 模型。它可以使模型比一些流行的大模型工作得更好。
Cheetah：用于視覺(jué)語(yǔ)言任務(wù)的突破性多模式LLM (GitHub Repo)
https://github.com/dcdmllm/cheetah
由于理解混合圖像文本上下文的限制，最近的模型經(jīng)常難以處理復(fù)雜的視覺(jué)語(yǔ)言任務(wù)。 I4 基準(zhǔn)測(cè)試的引入是為了評(píng)估這些任務(wù)。結(jié)果顯示視覺(jué)提示生成器的注意力存在缺陷。為了解決這個(gè)問(wèn)題，研究人員開發(fā)了 Cheetah，這是一種具有獨(dú)特模塊和訓(xùn)練策略的模型，擅長(zhǎng)理解復(fù)雜的交錯(cuò)指令。 Cheetah 在 I4 基準(zhǔn)測(cè)試中取得了頂級(jí)性能。
雜七雜八
Llama 2 上的 DPO
https://huggingface.co/blog/dpo-trl
人類反饋是提高語(yǔ)言模型一致性和整體性能的關(guān)鍵。然而，近端策略優(yōu)化的訓(xùn)練過(guò)程存在一些挑戰(zhàn)。最近的工作表明，人們可以直接針對(duì)人類偏好進(jìn)行優(yōu)化并繞過(guò)獎(jiǎng)勵(lì)模型。通過(guò)基于文本的強(qiáng)化學(xué)習(xí)，人們可以在最先進(jìn)的開放模型上做到這一點(diǎn)。
邁向 AGI——缺少什么？
https://mark-riedl.medium.com/toward-agi-what-is-missing-c2f0d878471a
探索為什么當(dāng)前的LLM 不太可能導(dǎo)致通用人工智能，以及為什么物理學(xué)本身會(huì)阻止我們從現(xiàn)在到通用人工智能的突然飛躍。
人工智能還不夠好
https://skventures.substack.com/p/ai-isnt-good-enough
雖然人工智能非常好，但還不足以提供經(jīng)濟(jì)所需的自動(dòng)化。
從命令行一鍵微調(diào)
https://jxnl.github.io/instructor/finetune/
一個(gè)很酷的工具，可以使用磁盤中的本地文件自動(dòng)執(zhí)行新的 gpt-3.5-turbo 調(diào)整過(guò)程。
AutoML Web 應(yīng)用程序 (GitHub Repo)
https://github.com/mljar/automl-app
用于使用 MLJAR AutoML 訓(xùn)練機(jī)器學(xué)習(xí)管道的 Web 應(yīng)用程序。
Bloc (Product)
https://www.askbloc.ai/
Bloc 是一款人工智能聊天機(jī)器人，可幫助人們進(jìn)行銷售、客戶支持和瀏覽長(zhǎng)內(nèi)容。
