Grok-1與伊隆·馬斯克說干就干
近日，伊隆·馬斯克宣布將開源他的AI聊天機(jī)器人Grok，這意味著任何人都可以免費(fèi)下載和使用該技術(shù)。這一決策被視為馬斯克對OpenAI的挑戰(zhàn)，后者曾經(jīng)被他指控變得太封閉。這一消息引起了行業(yè)和社會(huì)的廣泛關(guān)注和爭議，也為AI技術(shù)的發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。
人工智能技術(shù)日新月異，從 AlphaGo 擊敗世界冠軍，到 ChatGPT 顛覆傳統(tǒng)客服，AI 在各個(gè)領(lǐng)域都展現(xiàn)出了強(qiáng)大的實(shí)力。今天，我要給大家介紹一個(gè)名為 Grok 的 AI 助手，它是 xAI 團(tuán)隊(duì)開發(fā)的新一代語言模型，具有強(qiáng)大的數(shù)學(xué)和編碼能力，并且能夠?qū)崟r(shí)了解世界的知識。那么，Grok 到底有什么特點(diǎn)和優(yōu)勢呢？接下來，我們一起來探索一下。
截至目前，Grok 已經(jīng)在 GitHub 上獲得了 18k 顆 Star。
開源地址：https://github.com/xai-org/grok-1
什么是 Grok？
Grok 是一個(gè) AI 助手，旨在回答各種問題，并為用戶提供幫助。它是由 xAI 團(tuán)隊(duì)開發(fā)的先進(jìn)語言模型（LLM），名字來源于《星際漫游指南》中的概念“Grok”，意為“深刻理解”。Grok 不僅能夠回答問題，還能夠主動(dòng)推薦問題，并且具有一定的幽默感和反抗精神。
Grok-1 的模型細(xì)節(jié)
基礎(chǔ)模型基于大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，沒有針對任何具體任務(wù)進(jìn)行微調(diào)；
3140 億參數(shù)的 MoE 模型，在給定 token 上的激活權(quán)重為 25%；
2023 年 10 月，xAI 使用 JAX 庫和 Rust 語言組成的自定義訓(xùn)練堆棧從頭開始訓(xùn)練。
xAI 遵守 Apache 2.0 許可證來開源 Grok-1 的權(quán)重和架構(gòu)。Apache 2.0 許可證允許用戶自由地使用、修改和分發(fā)軟件，無論是個(gè)人還是商業(yè)用途。項(xiàng)目發(fā)布短短四個(gè)小時(shí)，已經(jīng)攬獲 3.4k 星標(biāo)，熱度還在持續(xù)增加。
在 X 用戶 Andrew Kean Gao 分享的圖表中，您可以看到 Grok 的規(guī)模與其競爭對手相比有多大。
Grok 的目的和動(dòng)機(jī)
xAI 團(tuán)隊(duì)希望通過 Grok 來幫助人類獲得知識和理解。他們認(rèn)為，AI 技術(shù)應(yīng)該服務(wù)于人類，而不是替代人類。因此，他們希望收集反饋、推動(dòng)研究和創(chuàng)新，并最終為人類的追求提供助力。Grok 的目標(biāo)是成為一個(gè)強(qiáng)大的研究助手，幫助用戶快速獲得信息、處理數(shù)據(jù)和產(chǎn)生新想法。
Grok-1 的發(fā)展歷程
Grok-1 是 Grok 背后的引擎，經(jīng)過四個(gè)月的開發(fā)和多次迭代。在最初的 Grok-0 模型基礎(chǔ)上，xAI 團(tuán)隊(duì)不斷改進(jìn)和優(yōu)化，使 Grok-1 在數(shù)學(xué)和編碼方面的能力得到了顯著提高。Grok-1 在 GSM8k、MMLU、HumanEval 和 MATH 等多個(gè)機(jī)器學(xué)習(xí)基準(zhǔn)測試中表現(xiàn)出色，超過了同級別的其他模型，并僅次于使用更多訓(xùn)練數(shù)據(jù)和計(jì)算資源的模型，如 GPT-4。
基準(zhǔn)測試結(jié)果
Grok-1 在機(jī)器學(xué)習(xí)基準(zhǔn)測試中的表現(xiàn)，充分證明了其在自然語言處理和推理方面的優(yōu)越性。在 GSM8k 測試中，Grok-1 的得分高于同級別的其他模型，達(dá)到了 62.9%，僅次于使用更多訓(xùn)練數(shù)據(jù)和計(jì)算資源的 GPT-4。在 MMLU 測試中，Grok-1 的得分為 73%，也超過了同級別的其他模型。在 HumanEval 測試中，Grok-1 的得分為 63.2%，高于同級別的其他模型，并且在 MATH 測試中，Grok-1 的得分為 23.9%，也僅次于使用更多訓(xùn)練數(shù)據(jù)和計(jì)算資源的模型。
這些基準(zhǔn)測試結(jié)果表明，Grok-1 在自然語言處理和推理方面具有非常強(qiáng)大的能力，并且在處理復(fù)雜問題方面也表現(xiàn)出色。這些能力使得 Grok-1 成為一個(gè)非常有用的工具，可以用于各種應(yīng)用場景，例如問答系統(tǒng)、語言翻譯、文本摘要等。
此外，Grok-1 還具有實(shí)時(shí)了解世界知識的能力，這使它成為一個(gè)非常強(qiáng)大的研究助手。通過結(jié)合 Grok-1 的自然語言處理和推理能力以及實(shí)時(shí)知識獲取能力，用戶可以快速地獲得他們需要的信息，并進(jìn)行深入的分析和研究。
總的來說，Grok-1 的表現(xiàn)非常出色，并且具有非常強(qiáng)大的實(shí)際應(yīng)用價(jià)值。作為一名 AI 愛好者，我非常期待 Grok-1 在未來的發(fā)展和應(yīng)用中取得更大的成功。
人工評估
在 2023 年匈牙利國家高中數(shù)學(xué)比賽中，Grok 獲得了 59% 的成績，而 Claude-2 獲得了 55%，GPT-4 獲得了 68%。這是一個(gè)“實(shí)際生活”中的測試，證明了 Grok 在未經(jīng)特殊調(diào)整的情況下也具有強(qiáng)大的數(shù)學(xué)推理能力。此外，xAI 團(tuán)隊(duì)還在 Grok 上進(jìn)行了人工評估，并得出了一些有趣的結(jié)論。例如，Grok 能夠正確回答 80% 的中等難度數(shù)學(xué)問題，并且能夠解釋其中的推理過程。
xAI 的基礎(chǔ)設(shè)施
xAI 團(tuán)隊(duì)構(gòu)建了一個(gè)可靠的基礎(chǔ)設(shè)施，包括自定義的訓(xùn)練和推理?xiàng)?、Kubernetes、Rust 和 JAX。他們專注于最大化每瓦特的有用計(jì)算量，并盡可能減少停機(jī)時(shí)間。在 Grok 的訓(xùn)練過程中，xAI 團(tuán)隊(duì)使用了數(shù)千個(gè) GPU，并且通過自動(dòng)化工具和分布式系統(tǒng)來處理各種硬件故障和錯(cuò)誤。
xAI 的研究方向
xAI 團(tuán)隊(duì)正在探索可靠推理、可擴(kuò)展的監(jiān)督、形式驗(yàn)證、長上下文理解和檢索、對抗性健壯性和多模態(tài)能力等方面的研究，以進(jìn)一步提高 Grok 的能力。他們認(rèn)為，AI 技術(shù)應(yīng)該具備可解釋性、安全性和公正性等特征，并且應(yīng)該服務(wù)于人類的利益。因此，他們希望通過技術(shù)創(chuàng)新和社會(huì)協(xié)調(diào)來實(shí)現(xiàn)這些目標(biāo)。
Grok 的早期訪問
xAI 團(tuán)隊(duì)計(jì)劃在美國為有限的用戶提供 Grok 的早期訪問權(quán)限，以收集反饋并改進(jìn)其能力。用戶可以通過加入 Grok 等待名單來嘗試該產(chǎn)品。目前，Grok 已經(jīng)受到了許多用戶的關(guān)注和好評，并且在不斷改進(jìn)和迭代中。
OpenAI不改名“CloseAI”惹怒伊隆·馬斯克
為什么馬斯克要開源Grok？
馬斯克決定開源Grok的原因有多種。一方面，他希望展示自己對AI技術(shù)的開放和分享的態(tài)度，與OpenAI的封閉和壟斷形成對比。他認(rèn)為，AI技術(shù)應(yīng)該服務(wù)于人類，而不是被某些企業(yè)或組織壟斷和利用。另一方面，他也希望通過開源Grok來吸引更多的開發(fā)者和用戶，共同促進(jìn)AI技術(shù)的進(jìn)步和應(yīng)用。他認(rèn)為，開源可以提高AI模型的透明度和可靠性，也可以刺激該領(lǐng)域的創(chuàng)新和競爭。
這個(gè)時(shí)候，馬斯克當(dāng)然不會(huì)忘了嘲諷 OpenAI 一番，“我們想了解更多 OpenAI 的開放部分”。
開源Grok帶來什么影響？
開源Grok對AI行業(yè)和社會(huì)的影響可能會(huì)很大。首先，它可能會(huì)打破OpenAI在AI聊天機(jī)器人方面的壟斷地位，提供更多的選擇和機(jī)會(huì) для用戶和開發(fā)者。其次，它可能會(huì)促進(jìn)AI技術(shù)的開放和共享，推動(dòng)行業(yè)的標(biāo)準(zhǔn)化和協(xié)同。再次，它也可能會(huì)引發(fā)更多的安全和倫理問題，例如AI模型可能被濫用或歪曲，產(chǎn)生虛假信息或危險(xiǎn)行為。因此，如何平衡AI技術(shù)的開放和安全，是一個(gè)值得深思的問題。
Grok和ChatGPT有什么區(qū)別？
Grok和ChatGPT都是AI聊天機(jī)器人，但它們有一些區(qū)別。首先，它們的開發(fā)者不同，Grok是由馬斯克的xAI開發(fā)的，ChatGPT是由OpenAI開發(fā)的。其次，它們的開源策略不同，Grok是完全開源的，ChatGPT則只提供部分接口和服務(wù)。再次，它們的對話風(fēng)格和能力也有所不同，Grok更加真實(shí)求是和有個(gè)性，ChatGPT則更加保守和中立。最后，它們的應(yīng)用場景和用戶群也可能有所不同，Grok可能更適合于需要更加真實(shí)和有趣的對話的用戶，ChatGPT則更適合于需要更加準(zhǔn)確和可靠的回答的用戶。
如何使用Grok？
使用Grok很簡單，只需要下載它的代碼和模型，然后在自己的設(shè)備上運(yùn)行即可。用戶可以通過文本或語音的方式與Grok進(jìn)行對話，也可以自定義Grok的對話風(fēng)格和能力。Grok還支持多種語言和平臺(tái)，用戶可以根據(jù)自己的需求進(jìn)行選擇和調(diào)整。需要注意的是，使用Grok需要遵循一定的倫理和法律規(guī)范，不得用于任何違法或不正當(dāng)?shù)哪康摹?/p>
如何安裝 Grok？
有關(guān)加載和運(yùn)行 Grok-1 的說明，請參閱此 GitHub 存儲(chǔ)庫。將存儲(chǔ)庫克隆到本地。
從 HuggingFace 或 Academic Torrents 下載權(quán)重并將它們放在“checkpoints”目錄中。
別質(zhì)疑為什么通過 Bittorrent 磁力鏈接發(fā)布權(quán)重。隨著模型變得越來越大，它可能會(huì)成為未來的常態(tài)。此外，通過 torrent 分發(fā) 300 GB 數(shù)據(jù)比直接分發(fā)便宜。
打開 CLI 并運(yùn)行以下命令以測試代碼：
pipinstall-rrequirements.txt
pythonrun.py
該腳本在測試輸入上加載檢查點(diǎn)和模型中的樣本。
需要注意的是，由于 Grok-1 模型的龐大尺寸（包含 3140 億個(gè)參數(shù)），因此需要具有足夠 GPU 內(nèi)存的機(jī)器才能使用提供的示例代碼測試模型。
不幸的是，我目前無法訪問能夠在本地運(yùn)行 Grok 的硬件，因此我無法提供該模型的第一手示例。
xAI 存儲(chǔ)庫中專家混合 （MoE） 層的當(dāng)前實(shí)現(xiàn)未針對效率進(jìn)行優(yōu)化。特意選擇此實(shí)現(xiàn)是為了優(yōu)先考慮模型正確性驗(yàn)證，并避免開發(fā)自定義內(nèi)核的需要。
?如何嘗試Grok
如果您只是對 Grok 的功能感到好奇，它目前可在 X 上使用，但僅供 Premium+ 用戶訪問，價(jià)格為每月 16 美元。
?Grok-1 許可
此版本中的代碼和關(guān)聯(lián)的 Grok-1 權(quán)重在 Apache 2.0 許可證下獲得許可。
Apache 2.0 許可證是一個(gè)寬松的自由軟件許可證。該許可證允許將軟件用于任何目的，用戶可以分發(fā)、修改和分發(fā)軟件的修改版本。
該許可證僅適用于此存儲(chǔ)庫中的源文件和 Grok-1 的模型權(quán)重。
Grok的未來前景如何？
Grok的未來前景有待觀察和探索。由于它還處于早期階段，其技術(shù)和應(yīng)用還需要進(jìn)一步完善和擴(kuò)展。但是，隨著AI技術(shù)的快速發(fā)展和應(yīng)用，Grok也有可能成為一個(gè)非常有影響力和價(jià)值的AI產(chǎn)品。它可能會(huì)在各種場景和領(lǐng)域中發(fā)揮作用，例如教育、娛樂、醫(yī)療、金融等。它也可能會(huì)成為一個(gè)新的AI生態(tài)系統(tǒng)的核心和引擎，吸引更多的開發(fā)者和用戶加入其中。因此，Grok的未來值得我們關(guān)注和期待。
Grok 作為一款下一代 AI 助手，具有強(qiáng)大的數(shù)學(xué)和編碼能力，并且能夠?qū)崟r(shí)了解世界的知識。它的發(fā)展和應(yīng)用將會(huì)帶來巨大的社會(huì)影響和商業(yè)價(jià)值。作為一名科技愛好者，我對 Grok 的發(fā)展非常感興趣，并且希望能夠在未來的某個(gè)日子里使用它來幫助我的工作和生活。如果您也對 Grok 感興趣，歡迎關(guān)注 xAI 團(tuán)隊(duì)的動(dòng)態(tài)，并嘗試使用 Grok 的早期訪問版本。
本文來自微信公眾號“AI潮流圈（ID:AiWatchtower）”
