首頁(yè)|必讀|視頻|專(zhuān)訪(fǎng)|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 移動(dòng)互聯(lián)網(wǎng) >> 正文

第三屆OpenHarmony技術(shù)大會(huì)OS原生智能分論壇圓滿(mǎn)舉辦

2024年10月16日 09:18  CCTIME飛象網(wǎng)  

10月13日上午,第三屆OpenHarmony技術(shù)大會(huì)OS原生智能分論壇在上海舉行。匯聚產(chǎn)學(xué)研力量,與會(huì)專(zhuān)家聚焦OpenAtom OpenHarmony(以下簡(jiǎn)稱(chēng)“OpenHarmony”)在端側(cè)原生智能領(lǐng)域的技術(shù)探索與優(yōu)秀實(shí)踐,圍繞端側(cè)大模型的算法、系統(tǒng)、新體系結(jié)構(gòu),共同探討深入挖掘操作系統(tǒng)與AI在端側(cè)融合的潛力。多位專(zhuān)家就如何更好地應(yīng)對(duì)多元化的行業(yè)挑戰(zhàn),助力客戶(hù)和用戶(hù)實(shí)現(xiàn)技術(shù)突破展開(kāi)分享。內(nèi)容不僅涵蓋了端側(cè)大模型部署與優(yōu)化,大模型稀疏算法、異構(gòu)系統(tǒng)、新體系結(jié)構(gòu)在端側(cè)的創(chuàng)新應(yīng)用,還包括端側(cè)AI與智能應(yīng)用實(shí)踐,以及延伸到端側(cè)原生智能生態(tài)構(gòu)建,探索端側(cè)AI生態(tài)系統(tǒng)的構(gòu)建策略與未來(lái)發(fā)展方向,為端側(cè)系統(tǒng)級(jí)大模型服務(wù)把脈機(jī)遇與挑戰(zhàn)。

華為基礎(chǔ)軟件資深技術(shù)專(zhuān)家丁天虹、湖南開(kāi)鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志、華為終端BG云服務(wù)小藝產(chǎn)品部術(shù)專(zhuān)家高光遠(yuǎn)、華為2012實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝、清華大學(xué)助理教授章明星、上海交通大學(xué)副教授糜澤羽、上海交通大學(xué)副教授戴國(guó)浩、北京郵電大學(xué)副教授徐夢(mèng)煒、北京大學(xué)副教授孫廣宇、華為終端BG軟件架設(shè)部技術(shù)專(zhuān)家李有福等出席論壇并發(fā)表演講。

當(dāng)前,AI智能家居控制技術(shù)備受關(guān)注。憑借先進(jìn)的人工智能算法,家居設(shè)備實(shí)現(xiàn)智能聯(lián)動(dòng)與精準(zhǔn)控制。為人們帶來(lái)便捷、舒適的生活體驗(yàn),因而成為行業(yè)熱門(mén)話(huà)題。湖南開(kāi)鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志詳細(xì)分享了在OpenHarmony終端設(shè)備上,利用語(yǔ)音識(shí)別技術(shù)、小語(yǔ)言模型技術(shù)和模型壓縮技術(shù),實(shí)現(xiàn)對(duì)語(yǔ)音信號(hào)的高效識(shí)別和對(duì)用戶(hù)意圖的精準(zhǔn)理解,實(shí)現(xiàn)對(duì)家居設(shè)備的智能控制。從端側(cè)語(yǔ)音識(shí)別、端側(cè)意圖識(shí)別、端側(cè)模型部署三方面為與會(huì)嘉賓詳細(xì)介紹。

(湖南開(kāi)鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專(zhuān)家楊德志)

華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專(zhuān)家高光遠(yuǎn),作為華為終端云服務(wù)產(chǎn)品總監(jiān),深入闡述了HarmonyOS NEXT原生智能的相關(guān)理念。他強(qiáng)調(diào),通過(guò)將AI能力下沉到操作系統(tǒng),匯聚AI相關(guān)能力至AI子系統(tǒng),并賦能其他子系統(tǒng),使得系統(tǒng)在不用重復(fù)構(gòu)建 AI 能力的情況下,方便地具備智能特性。同時(shí),構(gòu)建強(qiáng)大的AI運(yùn)行時(shí),以實(shí)現(xiàn)整機(jī)最優(yōu)的性能和功耗運(yùn)行,為用戶(hù)帶來(lái)卓越體驗(yàn)。他還與大家共同探討了原生智能的定義、實(shí)施原因以及為T(mén)OD帶來(lái)的收益和TOC體驗(yàn)等關(guān)鍵問(wèn)題。

(華為終端BG云服務(wù)小藝產(chǎn)品部技術(shù)專(zhuān)家高光遠(yuǎn)發(fā)言)

華為 2012 實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝則聚焦于端側(cè)設(shè)備的“小”模型研究與實(shí)踐。鑒于端側(cè)設(shè)備計(jì)算和存儲(chǔ)資源有限的現(xiàn)狀,他指出需要部署計(jì)算高效的大模型,并介紹了一種硬件親和的 Transformer架構(gòu)——盤(pán)古-π,其通過(guò)級(jí)數(shù)激活函數(shù)和增廣跨層連接提高模型表達(dá)能力。同時(shí)分享了針對(duì)“小”模型的優(yōu)化方法,如詞表裁剪和難例續(xù)訓(xùn)創(chuàng)新策略,以緩解“小”模型遺忘難題,成功打造出業(yè)界領(lǐng)先的 “小” 模型,有力支撐了端側(cè)的AI應(yīng)用。

(華為 2012 實(shí)驗(yàn)室中研諾亞實(shí)驗(yàn)室研究員唐業(yè)輝發(fā)言)

清華大學(xué)助理教授章明星帶來(lái)了關(guān)于KTransformers的精彩分享。在通向AGI的道路上,訓(xùn)練更大模型和支持更長(zhǎng)文本是兩個(gè)重要方向,但純GPU方案進(jìn)行推理成本過(guò)高,限制了大模型的廣泛應(yīng)用。為解決這一問(wèn)題,章明星團(tuán)隊(duì)設(shè)計(jì)并開(kāi)源了KTransformers 框架,通過(guò)將稀疏部分有效卸載到CPU上,僅需一張24GB甚至16GB的顯卡,即可支持236B DeepSeek模型和1M超長(zhǎng)上下文的本地推理,在同等環(huán)境下有三到十倍的性能提升。

(清華大學(xué)助理教授章明星發(fā)言)

上海交通大學(xué)副教授糜澤羽就《PowerInfer:端側(cè)大模型推理系統(tǒng)進(jìn)展與展望》主題展開(kāi)分享,糜澤羽說(shuō),PowerInfer是一個(gè)在個(gè)人電腦或智能手機(jī)等端側(cè)設(shè)備進(jìn)行大型語(yǔ)言模型快速推理的框架,設(shè)計(jì)核心是利用大語(yǔ)言模型推理中固有的稀疏激活和高局部性,進(jìn)一步整合了自適應(yīng)預(yù)測(cè)器和神經(jīng)元感知的稀疏運(yùn)算符,優(yōu)化了神經(jīng)元激活的效率和計(jì)算稀疏性。

(上海交通大學(xué)副教授糜澤羽發(fā)言)

在智能技術(shù)飛速發(fā)展的當(dāng)下,端側(cè)設(shè)備的大模型應(yīng)用成為研究熱點(diǎn)。北京郵電大學(xué)副教授徐夢(mèng)煒就端側(cè)系統(tǒng)級(jí)大模型服務(wù)發(fā)表了深刻見(jiàn)解。他指出,大語(yǔ)言模型(LLM)及相關(guān)多模態(tài)變體正極大地改變著電子設(shè)備的能力,推動(dòng)了個(gè)人代理等新型應(yīng)用的發(fā)展。他重點(diǎn)闡述了一種面向高效端側(cè)大模型部署的創(chuàng)新方案——LLM-as-a-Service。該方案由操作系統(tǒng)為應(yīng)用提供統(tǒng)一的LLM服務(wù),通過(guò)Prompt/LoRa等方式與應(yīng)用進(jìn)行交互,從而確保服務(wù)的可擴(kuò)展性和硬件兼容性。

(北京郵電大學(xué)副教授徐夢(mèng)煒發(fā)言)

“基于Transformer架構(gòu)的大語(yǔ)言模型逐漸在智能終端中大放異彩,有望讓AI真正觸手可及。”上海交通大學(xué)副教授戴國(guó)浩《稀疏計(jì)算與軟硬協(xié)同:智能終端中的大模型解決方案》展開(kāi)分享,他認(rèn)為,現(xiàn)有硬件平臺(tái)仍難以有效滿(mǎn)足端側(cè)大模型推理的算力、帶寬與能效需求。針對(duì)當(dāng)前大模型軟件優(yōu)化效果逐漸趨平的現(xiàn)狀,他介紹了“軟硬協(xié)同+稀疏計(jì)算”的創(chuàng)新研究思路,展望未來(lái)智能終端的發(fā)展方向,以及在視頻生成模型稀疏加速的最新探索。

(上海交通大學(xué)副教授戴國(guó)浩發(fā)言)

北京大學(xué)副教授孫廣宇分享了《基于DRAM近存計(jì)算架構(gòu)的端側(cè)大模型推理優(yōu)化》。他認(rèn)為,DRAM近存計(jì)算架構(gòu)具備高訪(fǎng)存帶寬、大存儲(chǔ)容量的優(yōu)勢(shì),對(duì)于大規(guī)模神經(jīng)網(wǎng)絡(luò)、圖計(jì)算、推薦系統(tǒng)等應(yīng)用有較好的加速效果,因此受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。孫廣宇回顧近期工業(yè)界提出的DRAM近存計(jì)算芯片,并分析其特點(diǎn)和面臨的挑戰(zhàn);然后,進(jìn)一步介紹如何利用DRAM近存架構(gòu)來(lái)加速端側(cè)大模型推理;最后,分享了針對(duì)大模型推理的一個(gè)算法與架構(gòu)協(xié)同優(yōu)化的工作。

(北京大學(xué)副教授孫廣宇發(fā)言)

華為終端BG軟件架設(shè)部技術(shù)專(zhuān)家李有福向與會(huì)嘉賓介紹了ArkData智慧數(shù)據(jù)底座,包含端側(cè)輕量級(jí)向量數(shù)據(jù)存儲(chǔ)、多模態(tài)統(tǒng)一嵌入模型、高效知識(shí)檢索能力等方面。“ArkData智慧數(shù)據(jù)底座能實(shí)現(xiàn)數(shù)據(jù)+AI智能閉環(huán),為用戶(hù)提供全新的智能體驗(yàn)!崩钣懈Uf(shuō)。

(華為終端BG軟件架設(shè)部技術(shù)專(zhuān)家李有福發(fā)言)

編 輯:T01
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來(lái)源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過(guò)授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來(lái)源。
2.凡注明“來(lái)源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話(huà)為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國(guó)電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡(luò)的實(shí)踐和展望
精彩專(zhuān)題
2024中國(guó)算力大會(huì)
2024年國(guó)際信息通信展
中國(guó)信科亮相2024年國(guó)際信息通信展
第25屆中國(guó)國(guó)際光電博覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱(chēng): 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像