6月27日，高通公司AI產品技術中國區負責人萬衛星出席上海MWC世界移動通信大會期間舉辦的中國移動終端合作峰會，并發表主題演講“擁抱AI賦能終端創新的未來”，分享高通公司正在如何通過領先產品和解決方案賦能終端側生成式AI發展。

通過強大的NPU性能和高通AI引擎的異構計算設計，高通公司在支持終端側生成式AI用例處理方面獨具優勢，其最新的第三代驍龍8移動平臺和驍龍XElite計算平臺已經賦能市場推出了多款出色的AI手機、AIPC產品，正在引領終端側生成式AI體驗的飛速發展。此外，高通公司還在通過靈活可擴展的軟件工具解決方案，賦能應用開發者和大模型廠商面向廣泛的終端品類打造AI應用和進行模型優化，推動生成式AI在終端側的規模化擴展。

以下為演講全文：

大家好，我是高通公司萬衛星，很榮幸能夠代表高通公司參加中國移動終端合作峰會，今天我分享的主題是“擁抱AI賦能終端創新的未來”。同時，我也會與大家分享高通公司的AI產品和解決方案正在如何助力AI，尤其是生成式AI在終端側的規模化擴展。

我們認為，終端側生成式AI的時代已經到來。我們在智能手機領域的最新旗艦產品第三代驍龍8，以及我們面向PC市場推出的最新平臺驍龍XElite，已經賦能了諸多的AI手機和AIPC，為消費者帶來了非常豐富的生成式AI體驗。

在今年2月份的MWC巴塞羅那期間，高通帶來了全球首個在Android手機上運行的大型多模態語言模型（LMM）技術展示。我們在搭載第三代驍龍8的參考設計上運行了基于圖像和文本輸入、超過70億參數的大語言和視覺助理大模型（LLaVa），能夠與AI助手生成關于圖像的多輪對話。具有語言理解和視覺理解能力的多模態大模型能夠賦能諸多用例，例如識別和討論復雜的視覺圖案、物體和場景。多模態模型的能力將極大的提高我們的產品優勢，也將為現實生活中的一些應用場景帶來非常大的幫助，例如視覺障礙人士或將能夠利用此類用例在城市中進行導航。

隨著生成式AI模型的發展，我們發現一些生成式AI模型的體量正在不斷縮小，而他們在特定垂直領域的能力卻正在變得越來越強。舉例來說，Llama3 80億參數版本在解決某些垂類應用的能力上，已經超過了去年發布的高達1750億參數的GPT-3.5 Turbo。

面向豐富的生成式AI和傳統AI用例，高通將AI能力貫穿到整個SoC的設計中，打造了具備異構計算架構的高通AI引擎，不僅集成通用的硬件加速單元CPU、GPU，同時也集成了面向高算力和低功耗工作負載需求的專用神經網絡處理器NPU。對于一些需要始終在線的應用，包括攝像頭、傳感器和語音喚醒等，高通AI引擎也有支持超低功耗的傳感器中樞。

高通公司在去年10月驍龍峰會上發布的第三代驍龍8，其所搭載的高算力低功耗的高通Hexagon NPU帶來了諸多提升，首先我們進行了微架構升級，以實現進一步的性能提升；第二，為了實現更好的功耗控制，我們為Hexagon NPU配備了加速器專用電源；我們還集成了升級的微切片推理技術，這一技術在第二代驍龍8上率先推出，我們在第三代驍龍8上做了進一步的升級，能夠在垂直深度上對算子做融合，更加充分地利用驍龍平臺的硬件算力。此外，我們還引入更大的帶寬進入張量加速器，并實現了更高的主頻?？傮w來講，高通Hexagon NPU在設計上聚焦兩點：極致峰值性能、以及針對生成式AI進行專門的軟硬件優化。

接下來我想為大家介紹我們如何充分利用高通AI引擎的異構計算能力，實現虛擬化身AI助手這一用例。首先，高通AI引擎的傳感器中樞能夠運行ASR模塊，負責將用戶的語音信號轉化成文本信號。然后，大語言模型再基于ASR的文本輸入生成文本回復，這部分工作負載可以跑在具備高算力的NPU上。之后，大模型輸出的文本回復可以對接到跑在CPU上的TTS模塊，轉化成語音信號。同時為了讓虛擬化身實現實時交互，還需要同步在GPU上進行圖形渲染等操作。這些復雜的工作負載充分釋放了異構計算系統中各個處理器的能力，通過共同協作為消費者打造了出色的用戶體驗。

除了提供領先的AI硬件之外，高通還提供了跨操作系統、跨終端的靈活可擴展的高通AI軟件棧（Qualcomm AI Stack）。高通AI軟件棧目前支持所有主流的AI框架，同時提供對高通和第三方runtime的支持。此外，高通AI軟件棧也為合作伙伴和開發者提供了非常豐富的加速工具庫，其中包括編譯器、分析器、調試器等，讓他們能夠在驍龍平臺上更加高效和靈活地進行模型開發、優化和部署。

高通AI軟件棧支持我們幾乎所有產品線的豐富產品組合，這意味著在驍龍平臺上的模型優化工作可以非常方便地擴展到其他類型的終端產品上。除了硬件軟件之外，高通也搭建了強大的AI生態系統，目前已經支持廣泛的海內外終端側生成式AI模型，其中包括圖像模型、語言模型、甚至多模態模型。

作為終端側AI的引領者，驍龍平臺已經成為終端側AI的首選合作平臺。高通公司有著超過15年的AI研發投入，我們為行業提供領先的軟硬件解決方案，包括前面介紹的全面靈活的軟件工具。憑借我們領先的解決方案，高通已經跨不同產品線，賦能數十億臺終端設備。我們也將能力開放給生態合作伙伴，讓他們能夠在驍龍平臺上更加高效、便捷地打造AI應用和進行模型優化。

第三代驍龍8已經賦能了諸多的當前旗艦智能手機和用例。目前眾多主流手機品牌的旗艦產品已經為消費者打造了豐富的生成式AI用例，以賦能娛樂、創作和生產力等體驗，包括AI照片編輯、照片生成、以及實時翻譯轉譯、寫作助手等。同時，驍龍X系列PC平臺也已經賦能了諸多的Windows 11 AI PC產品。就在今天，我們還正式宣布了中國移動終端公司、小米、當紅齊天和高通四方攜手，打造了國內首款基于Xiaomi 14 Pro、應用于XR領域的5G Advanced（5G-A）高頻萬兆測試平臺，并率先將其應用于當紅齊天的多并發、大空間XR競技游戲業務。

最后，我想從SoC這個角度展望一下終端側生成式AI的未來演進趨勢。2023年，終端側支持的生成式AI模型基本都是基于單一模態，比如文生文、文生圖或者圖生圖。今年大家可以看到，我們已經支持多模態的生成式AI模型在終端側離線運行。未來，多模態模型會更多地和用戶的終端側個人信息相結合，為用戶提供更加情境化、實時化和個性化的服務。基于這些更加強大的多模態模型所演化出的具身智能，在未來也非常有可能完整的在終端側運行。