阿里云與MediaTek聯(lián)合宣布，已經(jīng)將通義千問系列大模型（包括18億和40億參數(shù)版本）部署到了MediaTek天璣9300移動平臺上，使得智能手機可以在離線狀態(tài)下流暢運行多輪即時且精準(zhǔn)的AI對話應(yīng)用。

該部署實現(xiàn)了芯片級的軟硬適配，標(biāo)志著Model-on-Chip（片上大模型）技術(shù)從驗證階段邁向商業(yè)化落地的新臺階，展示了端側(cè)AI的巨大潛力。

通義千問18億參數(shù)開源大模型具有高性能、低成本、易部署的特點，在權(quán)威測試集中表現(xiàn)出色，并且在資源占用方面極為友好，只需約1.8GB內(nèi)存即可運行。

天璣9300搭載MediaTek第七代AI處理器APU790，顯著提升了生成式AI的處理速度。

阿里云與MediaTek通過在模型壓縮、工具鏈優(yōu)化、推理優(yōu)化、內(nèi)存優(yōu)化、算子優(yōu)化等方面深入合作，成功實現(xiàn)在手機芯片上的高效異構(gòu)加速，確保大模型能在終端設(shè)備上以較低的功耗（連續(xù)推理功耗增量小于3W）和較高的性能運行。

在天璣9300芯片上的通義千問模型能夠以低CPU占有率、低RAM占用及快速推理速度（超過20tokens/秒）實現(xiàn)多輪AI對話，并將在SDK形式下提供給手機廠商和開發(fā)者。

雙方還完成了更大規(guī)模參數(shù)（如40億參數(shù)）大模型與天璣9300的適配，并計劃繼續(xù)擴展至70億等更大尺寸模型，旨在推動更多AI智能體和應(yīng)用的開發(fā)。

阿里云與MediaTek聯(lián)合啟動了AI智能體解決方案計劃，結(jié)合天璣移動平臺的AI算力與通義千問的能力，為開發(fā)者和企業(yè)搭建更加完善的軟硬一體化開發(fā)平臺，目標(biāo)是催生下一代智能終端應(yīng)用生態(tài)，增強情境感知、自主學(xué)習(xí)和實時交互等功能。

通義大模型已經(jīng)在諸多領(lǐng)域得到廣泛應(yīng)用，比如在釘釘、淘寶、一汽紅旗、央視網(wǎng)、浙江大學(xué)等項目中發(fā)揮重要作用，其中“淘寶問問”依托通義千問改進了用戶體驗和推薦準(zhǔn)確性，而GPT-BI則實現(xiàn)了企業(yè)數(shù)據(jù)分析自動化。