突破：谷歌推出了其最先進(jìn)的多模態(tài)人工智能 Gemini，在傳聞明年推出之前，在復(fù)雜的基準(zhǔn)測(cè)試中超越了人類和 GPT-4。

# Gemini 有三個(gè)版本：Ultra、Pro 和 Nano，每個(gè)版本都針對(duì)特定任務(wù)進(jìn)行了優(yōu)化。

- > Gemini Ultra 以突破性的分?jǐn)?shù)領(lǐng)先，在 MMLU 基準(zhǔn)測(cè)試中超越了人類專家 （！它在解決復(fù)雜問(wèn)題方面大放異彩，展示了無(wú)與倫比的世界知識(shí)和分析能力的融合。

> Gemini擅長(zhǎng)推理，成功破譯復(fù)雜的書面和視覺(jué)數(shù)據(jù)，為人工智能從龐大的信息池中獲取知識(shí)的能力樹(shù)立了新標(biāo)準(zhǔn)。

——> 憑借其在文本、圖像、音頻等方面的培訓(xùn)，Gemini 可以駕馭數(shù)學(xué)和物理等復(fù)雜的主題，以前所未有的清晰度提供解釋。

—> 對(duì)于編碼任務(wù)，Gemini 能夠理解和生成多種編程語(yǔ)言的高質(zhì)量代碼，突破了 AI 輔助編碼的界限。

踢球者是 Gemini 在從數(shù)據(jù)中心到移動(dòng)設(shè)備的所有設(shè)備上高效運(yùn)行的能力。這種適應(yīng)性是一個(gè)飛躍，暗示了人工智能在各種應(yīng)用中的無(wú)限潛力。Note：和Tensorflow的結(jié)合。

Gemini Ultra 將提供給選定的客戶和開(kāi)發(fā)人員進(jìn)行早期實(shí)驗(yàn)和反饋，然后在明年初更廣泛地推出。同樣在明年初，谷歌將推出由 Gemini Ultra 提供支持的 Bard Advanced。

# Genimi 的數(shù)據(jù)

用于Gemini的預(yù)訓(xùn)練數(shù)據(jù)的混合被排除在技術(shù)報(bào)告之外，但數(shù)據(jù)混合似乎確實(shí)是構(gòu)建有效AI系統(tǒng)的新黑魔法。Gemini 為我們提供了一些重要的數(shù)據(jù)相關(guān)知識(shí)......

（1）多樣化的來(lái)源：只要有可能，我們應(yīng)該從許多不同的來(lái)源（例如，網(wǎng)絡(luò)、書籍、代碼等）中提取數(shù)據(jù)，以便在預(yù)訓(xùn)練期間使用。然而，除了純粹的文本數(shù)據(jù)之外，我們還應(yīng)該將來(lái)自不同模態(tài)（例如圖像、音頻、視頻）、語(yǔ)言和領(lǐng)域（例如編碼）的數(shù)據(jù)納入預(yù)訓(xùn)練過(guò)程。

（2） 注意你的分詞器：大多數(shù)從業(yè)者只是下載一個(gè)預(yù)訓(xùn)練的分詞器，并將其用于他們的應(yīng)用程序，假設(shè)它運(yùn)行良好。但是，事實(shí)并非如此！令牌化問(wèn)題會(huì)導(dǎo)致許多下游問(wèn)題，從而降低性能。為了獲得最佳結(jié)果，我們應(yīng)該根據(jù)預(yù)訓(xùn)練集中的數(shù)據(jù)訓(xùn)練我們自己的分詞器。這樣，分詞器就專門針對(duì)模型將遇到的數(shù)據(jù)類型。雙子座正是這樣做的。

（3）清潔度是關(guān)鍵：LLM預(yù)訓(xùn)練的數(shù)據(jù)管道很復(fù)雜。它們包括啟發(fā)式、基于模型的方案、安全/毒性過(guò)濾器等等。在之前的工作（例如，F(xiàn)alcon LLM）中，我們看到作者強(qiáng)調(diào)僅使用簡(jiǎn)單的啟發(fā)式方法來(lái)過(guò)濾預(yù)訓(xùn)練數(shù)據(jù)。然而，Gemini 似乎把廚房水槽扔到了預(yù)訓(xùn)練數(shù)據(jù)管道上。他們使用所有可用的工具來(lái)制作最干凈的預(yù)訓(xùn)練數(shù)據(jù)集。

（4） Chinchilla的永恒教訓(xùn)：龍貓?jiān)?2022 年 3 月展示的同樣簡(jiǎn)單的發(fā)現(xiàn)今天仍然適用。最好的預(yù)訓(xùn)練 LLM 需要大量參數(shù)和大量數(shù)據(jù)。簡(jiǎn)而言之，很多 LLM 都訓(xùn)練不足！我們應(yīng)該盡可能多地使用數(shù)據(jù)來(lái)預(yù)訓(xùn)練這些模型（假設(shè)我們沒(méi)有因計(jì)算成本而破產(chǎn)）。

（5）數(shù)據(jù)權(quán)重：除了數(shù)據(jù)混合之外，我們從每個(gè)預(yù)訓(xùn)練數(shù)據(jù)源采樣數(shù)據(jù)的頻率（即數(shù)據(jù)權(quán)重）也很重要！為了調(diào)整此數(shù)據(jù)權(quán)重，我們應(yīng)該使用較小的模型和數(shù)據(jù)集運(yùn)行調(diào)整實(shí)驗(yàn)，以確定最佳設(shè)置。有趣的是，Gemini的作者還提到，在整個(gè)訓(xùn)練過(guò)程中改變數(shù)據(jù)權(quán)重（例如，在訓(xùn)練結(jié)束時(shí)增加特定領(lǐng)域信息的權(quán)重）可能會(huì)有所幫助。

# Jeff Dean對(duì) Gemini模型背景的介紹

“The Gemini effort came about because we had different teams working on language modeling, and we knew we wanted to start to work together. The twins are the folks in the legacy Brain team (many from the PaLM/PaLM-2 effort) and the legacy DeepMind team (many from the Chinchilla effort) that started to work together on the ambitious multimodal model project we called Gemini, eventually joined by many people from all across Google. Gemini was also was the Nasa project that was the bridge to the moon between the Mercury and Apollo programs.”

雙子座在拉丁語(yǔ)中是“雙胞胎”的意思。

Gemini 之所以能夠做到這一點(diǎn)，是因?yàn)槲覀冇胁煌膱F(tuán)隊(duì)在進(jìn)行語(yǔ)言建模，我們知道我們想開(kāi)始合作。 這對(duì)雙胞胎是傳統(tǒng) Brain 團(tuán)隊(duì)（許多來(lái)自 PaLM/PaLM-2 項(xiàng)目）和傳統(tǒng) DeepMind 團(tuán)隊(duì)（許多來(lái)自 Chinchilla 項(xiàng)目）的成員，他們開(kāi)始合作開(kāi)展我們稱之為 Gemini 的雄心勃勃的多模態(tài)模型項(xiàng)目，最終來(lái)自谷歌各地的許多人加入了這個(gè)項(xiàng)目。 雙子座也是美國(guó)宇航局的項(xiàng)目，它是水星和阿波羅計(jì)劃之間通往月球的橋梁。