飛象網訊（魏德齡/文）“10號”這一足球場上代表了球隊核心的號碼，隨著戰(zhàn)術理念的變化，其所屬球員的定義也正在發(fā)生改變，從原來的傳統(tǒng)組織核心，轉變?yōu)閮A向于全能中場的設定，要求球員在擁有聰明的頭腦之上，既能在關鍵時刻爆發(fā)能量、組織發(fā)起攻勢，還要有更高體能的耐力要求，與球隊達到共同施壓的效果。
隨著生成式AI在移動終端上的初露端倪，對于如何策動智能新體驗，也在硬件能力上有了全新要求，就移動賽場上的新“10號”而言，同樣少不了如同全能型中場一樣的上述三樣關鍵能力，并能夠實現有效協(xié)同。
生成式AI時代的全能中場
聰明的頭腦確保了瞬間反應能力，如在球場上敏銳地發(fā)現空檔，或快速進行攔截。在智能終端上則代表了由用戶發(fā)出的按需型用例，并立即進行響應。例如圖片或視頻的拍攝、在PC上生成會議摘要，或在開車時用語音查詢最近的加油站。
爆發(fā)能量組織發(fā)起攻勢則需要在一段時間內進行高強度的帶動串聯(lián)。對于智能終端而言，則對應了運行時間較長的持續(xù)型用例，如語音識別、游戲和視頻的超級分辨率、視頻通話的音視頻處理及實時翻譯。
持續(xù)的跑動讓新10號能夠時刻能夠對整體陣型與戰(zhàn)術作出貢獻，好比是智能終端上的泛在型用例，包括始終開啟的預測性AI助手、基于情景感知的AI個性化和高級文本自動填充。
從上述三項能力要求中不難發(fā)現，如同對于全能型中場的要求，終端上的移動平臺其實存在著如在“性能爆發(fā)與持久續(xù)航”之間的矛盾點，這就需要利用內部不同的處理器來進行不同的任務，CPU擅長于順序控制和即時性，GPU適合并行數據流處理，NPU擅長標量、向量和張量數學運算，可用于核心AI工作負載。
也就是說，通過使用合適的處理器，異構計算能夠實現最佳應用性能、能效和電池續(xù)航，賦能全新增強的生成式AI體驗。讓跑不累的新“10號”，還能有細膩的腳法與關鍵時刻的爆發(fā)力。
于是，不妨就來具體看看這名新“10號”的具體各項能力如何，以及它將如何進行靈活運用，來實現在AI上的全面表現。
高效組織的AI引擎
從上文中不難發(fā)現，移動平臺中的眾多單元其實都參與了AI用例的運算工作。在高通技術公司剛剛發(fā)布的最新白皮書《通過NPU和異構計算開啟終端側生成式AI》中將高通AI引擎定義為包括Hexagon NPU、Adreno GPU、高通Kryo或Oryon CPU、高通傳感器中樞和內存子系統(tǒng)，能夠支持按需型用例、持續(xù)型用例和泛在型用例，為生成式AI提供業(yè)界領先的異構計算解決方案。
對于新“10號”，“球商”高不高無疑決定了上限將能夠達到何種水平。其中Hexagon NPU在近年來可謂迎來了巨大升級，在2020年高通Hexagon NPU實現了標量、向量和張量加速器的架構融合，打造了專用大共享內存，為未來的進一步升級奠定了基礎。2022年的第二代驍龍8中引入了微切片推理能力，可將神經網絡分割成多個能夠獨立執(zhí)行的微切片，可最大化利用NPU中的加速器并降低功耗。2023年發(fā)布的第三代驍龍8，為持續(xù)AI推理帶來了98%的性能提升和40%能效提升，Hexagon NPU成為了面向終端側生成式AI大模型推理的領先處理器。
Adreno GPU可用于以高精度格式進行AI并行處理，支持32位浮點、16位浮點和8位正數運算。在第三代驍龍8中，基于Adreno GPU，Llama 2-7B每秒可生成超過13個tokens。
高通Oryon CPU在驍龍X Elite計算平臺上可謂實現了一鳴驚人，在功耗僅為競品三分之一的情況下，可提供高達競品兩倍的CPU性能，非常擅長時延敏感型的低計算量AI工作負載。
同時，在整體架構上，高通進一步提升了AI引擎的運行能力。例如作為大語言模型token生成瓶頸的內存帶寬，一方面移動平臺上的共享內存機制帶來了天生的優(yōu)勢，另一方面高通還為第三代驍龍8配置了最快的內存之一：4.8GHz LPDDR5x，支持77GB/s帶寬。
異構計算也帶來在運行生成式AI工作負載時的最佳解決方案，可充分利用所有處理器的能力，包括跨處理器和處理器內核擴展生成式AI處理，以及將生成式AI模型和用例映射至一個或多個處理器及內核。
高通技術公司產品管理高級副總裁Ziad Asghar就舉例表示：當應用使用小模型時，CPU通常是正確的選擇。而當模型變大時，GPU和NPU往往更合適。電池續(xù)航和能效對于持續(xù)和泛在型用例至關重要，因此NPU是最佳選擇。
當新“10號”AI引擎具備了全面的能力，移動賽場的新體驗升級也將開始策動，下面不妨來看看當下這個最為經典的本地AI案例背后，新10號帶來了什么樣的臨場表現。
策動智能新體驗
AI個人助手恰好是一個充分體現AI引擎如何通過不同的處理器來完成工作負載的案例。
當用戶與AI助手進行交談時，通過高通傳感器中樞上運行的OpenAI自動語音識別生成式AI模型Whisper，可將語音轉化為文本。隨即在通過NPU上運行的大語言模型Llama 2-7B生成文本回復。CPU再通過運行開源TTS模型將文本轉化為語音。整個過程中，NPU還負責實現虛擬化身與語音的輸出同步，再借助音頻創(chuàng)建融合變形動畫，為嘴形和面部表情帶來合適的動畫效果。GPU還會在最后完成虛擬化身的渲染。
綜上不難發(fā)現，整個過程盡可能的實現了本地完成。只有當遇到如機票預定這類聯(lián)網問題時，才會通過云端的插件來完成操作。最大限度的確保了用戶隱私安全，同時也大大減輕了云端的功耗壓力。
大語言模型落地至端側的案例背后，其實也預言了生成式AI對于電子終端在交互方式上的變革。當用戶只需通過簡單的對話就能獲得想要的結果，調用開啟相關功能，甚至是直接完成機票、商品的消費時，就意味著電子終端將在交互上打破如今在不同應用間的隔閡，用戶不用反復跳轉，就能在單一入口下達成所需。就像如今很多人開始通過具備聯(lián)網能力的生成式AI，來替代傳統(tǒng)搜索引擎。
策動這場智能新一輪體驗變革的核心，無疑正是AI引擎。移動賽場上正在迎來的戰(zhàn)術與理念變化，同樣也需要對于核心的重新定義，已經展現出全能屬性的新“10號”正在躍躍欲試。
