?微軟發(fā)布Phi-3 Mini：3.8B參數(shù)小到能塞進手機，性能媲美GPT-3.5
微軟發(fā)布了Phi-3-mini，這是微軟Phi-3系列模型推出的首個模型。Phi-3-mini具有38億參數(shù)和3.3T tokens的龐大訓(xùn)練數(shù)據(jù)量，在語言、推理、編碼和數(shù)學(xué)基準測試中超越了眾多數(shù)百億參數(shù)規(guī)模的模型。該模型體積小，可以在端側(cè)部署和運行，具有不亞于GPT-3.5的性能。Phi-3-mini的成本大幅降低，可能只有其他相似功能模型的十分之一。該模型的設(shè)計遵循了微軟的“負責任AI標準”，經(jīng)過了嚴格的安全度量和評估。
?英偉達收購兩家AI創(chuàng)企，要讓AI芯片變得更便宜！
英偉達宣布收購以色列AI創(chuàng)企Run:ai和Deci，旨在降低開發(fā)或運行生成式AI模型的成本，提振英偉達AI芯片的需求。Run:ai是一個基于kubernetes的工作負載管理和編排軟件提供商，旨在實現(xiàn)高效GPU集群資源利用；Deci通過調(diào)整AI模型使其可以在AI芯片上更便宜地運行，并為使用英偉達CUDA軟件開發(fā)的機器學(xué)習(xí)應(yīng)用提供動力。這兩家創(chuàng)企的收購將有助于提高英偉達AI芯片的效率，吸引更多客戶使用NVIDIA DGX Cloud。
?地平線征程6正式發(fā)布：2024年開啟量產(chǎn)，2025年交付超10款車型
地平線舉辦“征程所向，向高而行”——2024智駕科技產(chǎn)品發(fā)布會，發(fā)布新一代車載智能計算方案征程?6系列以及Horizon SuperDrive?全場景智能駕駛解決方案，加速智駕平權(quán)時代的到來。征程6系列將于2024年內(nèi)開啟首個前裝量產(chǎn)車型交付，并預(yù)計于2025年實現(xiàn)超10款車型量產(chǎn)交付。地平線以終為始，前瞻布局了軟硬結(jié)合全棧技術(shù)，以軟件為牽引、硬件為驅(qū)動，打造出面向全場景、全生態(tài)的軟硬結(jié)合智能駕駛系統(tǒng)，并以極致的開放打造極致的效率，抵達智駕終局。
?首批中文版Llama3模型來了，解釋成語、答弱智吧問題
該文章介紹了Meta推出的Llama 3模型對中文的支持效果欠佳的問題，并介紹了兩個針對中文進行微調(diào)的項目：llama3-Chinese-chat和Llama3-8B-Chinese-Chat。文章詳細介紹了這兩個項目的模型效果、訓(xùn)練數(shù)據(jù)、推理成本以及作者整理的教程和資源。此外，文章還展示了Llama3-8B-Chinese-Chat模型對弱智吧問題的回答和安全性測試的結(jié)果，以及對清華大學(xué)的介紹生成測試的結(jié)果。
?AI信任危機之后，揭秘預(yù)訓(xùn)練如何塑造機器的「可信靈魂」
這篇文章介紹了大語言模型（LLMs）的預(yù)訓(xùn)練階段在構(gòu)建可信概念方面的重要性。作者通過研究發(fā)現(xiàn)，在預(yù)訓(xùn)練的早期階段，LLMs就能夠建立起有關(guān)可信概念的線性表征，并能夠區(qū)分可信與不可信的輸入。文章還介紹了LLM360開源項目提供的豐富預(yù)訓(xùn)練資源，并初步驗證了預(yù)訓(xùn)練過程中的切片對提升LLMs的可信能力的作用。這篇文章對于理解LLMs的預(yù)訓(xùn)練過程以及構(gòu)建可信AI模型具有重要意義。
?硬控設(shè)計人一分鐘，加持大模型的Adobe，PS起來更香了
Adobe推出新的圖像生成模型Firefly Image 3，旨在提高工作效率，生成更高質(zhì)量、更詳細的圖像。該模型具有逼真質(zhì)量、更好的光照、定位和對細節(jié)的關(guān)注。用戶可以上傳圖像來提示AI模型生成結(jié)果，以匹配樣式、顏色等相似元素。Firefly Image 3還可以為圖像生成背景和增強細節(jié)，提高清晰度。Adobe還為Photoshop添加了一些新的標準工具，以加快創(chuàng)作過程。參考材料不會用于訓(xùn)練模型，并為生成的內(nèi)容添加水印。新工具可以安全地用于商業(yè)用途。
?蘋果卷開源大模型，公開代碼、權(quán)重、數(shù)據(jù)集、訓(xùn)練全過程，OpenELM亮相
蘋果發(fā)布了基于開源訓(xùn)練和推理框架的高效語言模型族OpenELM，共四種變體。OpenELM采用逐層縮放的方式，每個Transformer層都有不同的配置，實現(xiàn)了更有效的跨層參數(shù)分配。蘋果發(fā)布了完整的框架，包括數(shù)據(jù)準備、訓(xùn)練、微調(diào)和評估程序，以及多個預(yù)訓(xùn)練的checkpoint和訓(xùn)練日志，以促進開源研究。OpenELM的性能優(yōu)于使用公開數(shù)據(jù)集進行預(yù)訓(xùn)練的現(xiàn)有開源LLM。
?加速擴散模型，最快1步生成SOTA級圖片，字節(jié)Hyper-SD開源了
最近，字節(jié)跳動技術(shù)團隊開源了一種名為Hyper-SD的擴散模型蒸餾框架，該框架結(jié)合了軌跡保持蒸餾和軌跡重構(gòu)蒸餾兩種策略的優(yōu)點，能夠在壓縮去噪步數(shù)的同時保持接近無損的性能。與現(xiàn)有的擴散模型加速算法相比，該方法取得了卓越的加速效果。經(jīng)過實驗和用戶評測的驗證，Hyper-SD在SDXL和SD1.5兩種架構(gòu)上都能在1到8步生成中實現(xiàn)SOTA級別的圖像生成性能。
?MiniMax不聲不響出了款讓人驚喜的生產(chǎn)力產(chǎn)品：「海螺AI」大測評
該文章介紹了MiniMax推出的萬億MoE模型abab 6.5以及基于該模型開發(fā)的生產(chǎn)力產(chǎn)品“海螺AI”。abab 6.5在各類核心能力測試中接近世界領(lǐng)先的大語言模型，而“海螺AI”則提供了聽說讀寫、智能搜索、免費查數(shù)據(jù)、識圖、創(chuàng)作文案等功能，支持語音交互，適用于學(xué)生、職場人士和內(nèi)容創(chuàng)作者。該產(chǎn)品還具備處理長文本的能力，能夠快速提煉關(guān)鍵信息和總結(jié)文章要點。
?8B文字多模態(tài)大模型指標逼近GPT4V，字節(jié)、華師、華科聯(lián)合提出TextSquare
該文章介紹了一種新的策略，即從閉源多模態(tài)大模型中獲取高質(zhì)量的以文本為中心的VQA數(shù)據(jù)，并構(gòu)建了一個千萬級的指令微調(diào)數(shù)據(jù)集。通過自問、自答、自我推理和評估等步驟生成VQA數(shù)據(jù)，并利用這個數(shù)據(jù)集訓(xùn)練了以文本理解為中心的多模態(tài)大模型TextSquare-8B。實驗證明，TextSquare-8B在多個benchmark上的表現(xiàn)超過了GPT4V和Gemini等開源模型。該研究揭示了指令微調(diào)數(shù)據(jù)規(guī)模、訓(xùn)練收斂損失和模型性能之間的關(guān)系，并證明了推理數(shù)據(jù)對VQA任務(wù)的積極影響。
?顏水成掛帥，奠定「通用視覺多模態(tài)大模型」終極形態(tài)！一統(tǒng)理解/生成/分割/編輯
顏水成團隊聯(lián)合新加坡國立、南洋理工大學(xué)開源了Vitron模型，為下一代通用視覺大模型的終極形態(tài)奠定了基礎(chǔ)，標志著大模型邁向通用人工智能（AGI）的又一大步。Vitron是一款通用視覺多模態(tài)大模型，支持從視覺理解到視覺生成、從低層次到高層次的一系列視覺任務(wù)，解決了圖像/視頻模型割裂問題，為下一代通用視覺大模型的發(fā)展提供了新的方向。該模型具有綜合性、技術(shù)創(chuàng)新、人機交互和應(yīng)用潛力等優(yōu)勢，展示了通向更統(tǒng)一的視覺多模態(tài)通用模型的巨大潛力。
?僅需Llama3 1/17的訓(xùn)練成本，Snowflake開源128x3B MoE模型
Snowflake發(fā)布了一款專注于企業(yè)級應(yīng)用的頂級大型語言模型（LLM）——Snowflake Arctic。Arctic具備高效智能和開源開放的優(yōu)勢，為經(jīng)濟高效的訓(xùn)練設(shè)定了新的基線，使Snowflake客戶能夠以低成本為其企業(yè)需求創(chuàng)建高質(zhì)量的定制模型。Arctic在企業(yè)智能方面表現(xiàn)出色，訓(xùn)練計算成本較低，與其他使用類似計算成本訓(xùn)練的開源模型相比能力更強。
