頭條
Brave Search 推出 AI 支持的摘要功能
AI 驅(qū)動(dòng)的功能正在搜索引擎中大量涌現(xiàn)。 Brave Search 推出了一項(xiàng)新的“Summarizer”功能，該功能由不同的大型語言模型 (LLM) 提供支持——OpenAI 的 GPT 技術(shù)不是其中之一。顧名思義，它的工作是提供使用不同來源的搜索查詢的概要。摘要功能可供桌面和移動(dòng)設(shè)備上的所有 Brave Search 用戶使用——可通過任何瀏覽器訪問。
2022 年 100 篇被引用次數(shù)最多的 AI 論文
谷歌仍然在 AI 研究中占據(jù)首位，加州大學(xué)伯克利分校在學(xué)術(shù)團(tuán)體中享有這一榮譽(yù)?？紤]到來自 Google 和 Deepmind 等團(tuán)隊(duì)的論文數(shù)量，令人印象深刻的是，規(guī)模小得多的團(tuán)隊(duì)發(fā)表的論文要少得多，但可能更有影響力。
200 年歷史的數(shù)學(xué)打開了 AI 的神秘黑匣子
無論是設(shè)計(jì)微芯片還是構(gòu)想新蛋白質(zhì)，有時(shí)神經(jīng)網(wǎng)絡(luò)似乎無所不能。然而，臭名昭著的是，這些受大腦啟發(fā)的人工智能系統(tǒng)以神秘的方式工作，引發(fā)了人們對(duì)它們所做的事情可能沒有任何意義的擔(dān)憂。一項(xiàng)新的研究發(fā)現(xiàn)，新的研究表明，已有 200 年歷史的數(shù)學(xué)可以幫助闡明神經(jīng)網(wǎng)絡(luò)如何執(zhí)行復(fù)雜的任務(wù)，例如預(yù)測(cè)氣候或模擬湍流。研究人員說，這反過來可能有助于提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和它們的學(xué)習(xí)速度。
研究
通過 ELBO 最大化的鏡頭更好地理解擴(kuò)散
就樣本質(zhì)量而言，擴(kuò)散是目前最好的生成方法之一。這來自損失和去噪過程的良好特性。在社區(qū)中，每步噪聲使用不同的加權(quán)方案，這導(dǎo)致不同的經(jīng)驗(yàn)結(jié)果。事實(shí)證明，這些非均勻加權(quán)方案可以從似然最大化的角度來理解。這是朝著更深入地了解這一現(xiàn)代主力的理論邁出的重要一步。
文本生成與機(jī)器人控制
由于機(jī)器人缺乏物理世界的經(jīng)驗(yàn)，因此將大型語言模型應(yīng)用于機(jī)器人具有挑戰(zhàn)性。為了克服這個(gè)問題，使用引導(dǎo)解碼策略來構(gòu)建一個(gè)既可能根據(jù)語言模型又可以在環(huán)境中實(shí)現(xiàn)的動(dòng)作序列。該策略通過利用兩種模型的知識(shí)來解決機(jī)器人環(huán)境中的復(fù)雜任務(wù)。他們將自己的工作與 SayCan 進(jìn)行比較。
無限大小的擴(kuò)散恢復(fù)
本文討論了擴(kuò)散模型在零鏡頭圖像恢復(fù)中的應(yīng)用，并提出了一種在保持零鏡頭優(yōu)良特性的同時(shí)處理任意尺寸圖像的方法。所提出的方法稱為 Mask-Shift Restoration，解決局部不連貫，而 Hierarchical Restoration 減輕域外問題。這些簡單、無參數(shù)的方法不僅可以用于圖像恢復(fù)，還可以用于無限大小的圖像生成。
工程
對(duì)加速多 GPU 訓(xùn)練感興趣？梯度積累是你的瓶頸
如果你不小心，分布式 Pytorch 可能會(huì)非常慢。在多個(gè) GPU 上運(yùn)行模型時(shí)，您會(huì)以預(yù)定義的間隔取所有梯度更新的平均值。但是，如果您不小心，您的代碼將在 GPU 之間同步每次向后傳遞。
早期輟學(xué)以減輕神經(jīng)網(wǎng)絡(luò)中的欠擬合
該研究表明，僅在訓(xùn)練的初始階段應(yīng)用的早期退出可以通過減少梯度的方向方差并將它們與整個(gè)數(shù)據(jù)集的梯度對(duì)齊來減輕欠擬合。所提出的方法不斷提高各種視覺任務(wù)的泛化精度，并鼓勵(lì)對(duì)深度學(xué)習(xí)中的正則化進(jìn)行進(jìn)一步研究。
上下文集群：視覺表示的新范例
這項(xiàng)工作引入了上下文聚類 (CoCs)，這是一種新的視覺表示范例，它將圖像視為一組無組織的點(diǎn)，并通過簡化的聚類算法提取特征。 CoC 是無卷積和無注意力的，僅依靠聚類進(jìn)行空間交互。盡管沒有以最先進(jìn)的性能為目標(biāo)，但 CoC 在多個(gè)基準(zhǔn)測(cè)試中取得了與 ConvNets 或 ViTs 相當(dāng)甚至更好的結(jié)果。
雜七雜八
ChatGPT 是如何建立的內(nèi)幕
為了了解 ChatGPT 背后的內(nèi)幕——它是如何制作的，OpenAI 自發(fā)布以來如何對(duì)其進(jìn)行更新，以及它的制造者如何看待它的成功——作者與四個(gè)幫助構(gòu)建它的人進(jìn)行了交談。他們是 Sandhini Agarwal（在 OpenAI 從事政策工作）、Liam Fedus（從事 ChatGPT 工作的科學(xué)家）、John Schulman（OpenAI 的聯(lián)合創(chuàng)始人）和 Jan Leike（OpenAI 對(duì)齊團(tuán)隊(duì)的負(fù)責(zé)人）
OpenAI 是否通過 ChatGPT API 賺錢
根據(jù)一些假設(shè)，盡管價(jià)格大幅下跌，但最新的 GPT-Turbo 模型似乎仍可大量獲利。
為什么人工智能不會(huì)導(dǎo)致失業(yè)
在本文中，馬克·安德森 (Marc Andreessen) 論證了與其他先前新技術(shù)類似的情況，人工智能不會(huì)導(dǎo)致大規(guī)模失業(yè)。
有一個(gè)人工智能.....
今天為各種應(yīng)用程序構(gòu)建的許多有用的 AI 工具的廣泛列表。收集資源或靈感的好地方。
OpenAI-Python (GitHub Repo)
OpenAI-Python 提供從用 Python 編寫的應(yīng)用程序訪問 OpenAI API。
OpenAI PHP (GitHub Repo)
OpenAI PHP 是一個(gè) PHP API 客戶端，允許您與 OpenAI AI API 進(jìn)行交互。
Machine Learning Notes (GitHub Repo)
機(jī)器學(xué)習(xí)筆記是有用的機(jī)器學(xué)習(xí)代碼和片段的集合。
