2024 vivo開發(fā)者大會于10月10日在廣東深圳正式召開，vivo發(fā)布自研大模型——全新藍心大模型矩陣，為用戶和開發(fā)者帶來諸多驚喜。在同日舉辦的人工智能會場上，vivo AI團隊分享了在AI領域取得的最新成果，以前沿解決方案引領大模型創(chuàng)新與用戶體驗升級，助力開發(fā)者高效創(chuàng)新。
全新藍心大模型矩陣
長期以來，vivo持續(xù)在AI領域深耕，緊跟前沿技術，不斷探索AI在終端設備上的用戶使用場景，致力于為用戶帶來更優(yōu)質的用機體驗。vivo AI算法技術總監(jiān)李方圓表示，隨著大模型技術日益成熟，vivo在語言、圖像、語音、多模態(tài)等全模態(tài)的AI技術上逐步升級為大模型能力，正從傳統(tǒng)的AI技術時代邁向大模型AI技術時代。
vivo AI算法技術總監(jiān)李方圓
全新藍心大模型帶來4項核心升級：
1、語言大模型升級：BlueLM-70B 2.0模型較1.0模型能力提升30%，新增多模態(tài)多輪指令理解、工具使用和代碼能力等亮點功能；
2、圖像大模型創(chuàng)新：推出中文原生文生圖大模型，突破文字可控生成技術難題；
3、全模態(tài)技術擴展：新增語音和多模態(tài)理解大模型，實現(xiàn)全模態(tài)AI技術升級；
4、端側大模型發(fā)布：隆重推出3B端側大模型，能力更強、速度更快、更加安全和應用更廣的4大特性。
全新語言大模型帶來3項核心升級：
1、云端語言大模型升級：BlueLM-70B 2.0新增學習了1億知識問答，500w篇的論文，以及1.2億代碼倉庫等高質量數(shù)據(jù)，模型整體能力提升30%。新增了多模態(tài)多輪對話能力，支持400+手機系統(tǒng)工具和180+三方工具的調用，以及全面升級了大模型的代碼生成能力，能實現(xiàn)數(shù)理計算和Excel的數(shù)據(jù)分析能力。
2、重磅推出3B端側大模型：帶來手機終端黃金尺寸3B端側大模型，在模型能力領跑行業(yè)5B以下模型，在寫作對話、摘要總結、信息抽取等業(yè)務能力上，超越行業(yè)7B-9B模型。極致出詞速度達到80字/s，內存占用僅1.4G，真正打破了“模型小、能力強、消耗低“的不可能三角定律”。
3、語言大模型新增圖像理解能力：通過將文本、圖像抽象成統(tǒng)一的token表示，vivo為語言大模型新增了看世界的“眼睛”，能夠理解手機上的文字和圖片多種模態(tài)的信息。BlueLM-V-3B模型，領跑行業(yè)4B及以下的多模態(tài)大模型。
語音大模型四大核心能力，讓智能語音交互更簡單、高效
語音技術在智能手機中的地位日益凸顯，廣泛應用于出行、家居娛樂、辦公及無障礙功能等多個領域。vivo AI語音中心負責人陳彬彬指出，vivo自2017年起便致力于語音技術的研發(fā)，并將多項創(chuàng)新成果融入其產(chǎn)品中。為進一步提升體驗，vivo帶來了自研語音大模型。
vivo AI語音中心負責人陳彬彬
vivo自研語音大模型基于藍心文本大模型開發(fā)，通過離散化編碼結合文本大模型學習，實現(xiàn)更智能、豐富和簡單的語音交互。它具備四大核心能力：語音合成、音色復刻、語音翻譯和方言自由說。語音合成能將文本轉化為逼真擬人的語音，支持多語言及方言；音色復刻則只需用戶一句話即可復制音色；方言自由說功能不僅滿足用戶方言交流需求，還助力方言文化的保護與傳承；語音翻譯能力則能直接將語音轉化為目標語言文本，提高翻譯效率。vivo將繼續(xù)深耕語音大模型在各場景的應用，提升用戶體驗，并期待與各界共同探索大模型技術的更多可能性，造福社會。未來，vivo計劃將語音大模型能力逐步開放至智能體平臺，以更廣泛地服務于用戶和開發(fā)者。
讓圖像生成技術觸手可及，實現(xiàn)AI普惠
隨著擴散模型與AI架構的深度融合，圖像生成技術迎來了指數(shù)級飛躍，其中文生圖技術尤為顯著。vivo AIGC圖像大模型技術總監(jiān)阮曉虎在論壇上介紹了vivo的文生圖大模型——藍心圖像大模型BlueLM-Art，該模型精通中文語境，融合了中國特色與東方美學，其在中文理解、中國文化詮釋、人物攝影美學及中文文字繪制等多個維度都取得了出色的效果，多次榮登SuperCLUE-Image基準榜單中文領域榜首。
vivo AIGC圖像大模型技術總監(jiān)阮曉虎
通過在算法架構、數(shù)據(jù)處理、工程以及算力上的全面優(yōu)化，使藍心圖像大模型BlueLM-Art擁有諸多特性，不僅精通中文，擁有出色的指令跟隨性，還能生成與圖文完美結合的中文字符，并提供藝術字繪制插件。同時，藍心圖像大模型BlueLM-Art在人物攝影美學方面有著卓越表現(xiàn)，能呈現(xiàn)美觀、真實、富有質感的人物形象。最后，BlueLM-Art還擁有可控性生成能力，能在圖像創(chuàng)作中保持更高的主體一致性。
基于藍心圖像大模型BlueLM-Art，vivo在藍心小V中推出了圖像創(chuàng)作、AI消除、圖像風格化、藝術字創(chuàng)作等一系列AI功能，并在PAD的原子筆記中加入了AI涂鴉美化功能，極大地提升了用戶的創(chuàng)作體驗。后續(xù)vivo將繼續(xù)優(yōu)化文生圖大模型及其相關AIGC功能，為用戶提供更多創(chuàng)意資源，讓先進的AI技術惠及更廣泛的用戶群體，持續(xù)推動圖像生成技術的創(chuàng)新與發(fā)展。
大模型端側化，用戶體驗持續(xù)升級
vivo AI端計算負責人魯晶分享了vivo在全模態(tài)大模型端側化的探索與成就。AI算法端側化作為平衡體驗、安全與成本的解決方案，不僅保障了用戶在無網(wǎng)或弱網(wǎng)環(huán)境下的智能體驗，還確保了個人數(shù)據(jù)安全，并有效降低了使用成本。
vivo AI端計算負責人魯晶
大模型時代，vivo持續(xù)推進各模態(tài)大模型端側化能力建設，探索大模型在各業(yè)務場景端側產(chǎn)品落地，覆蓋“聽、說、讀、寫、畫”各應用場景。在“聽”方面，vivo升級應用語音識別大模型，讓語音操作隨時可用；在“說”方面，利用語音生成大模型生成超擬人音色，為故事講述賦予更鮮活的魅力；在“讀”方面，利用多模態(tài)大模型針對視障用戶打造圖像問答功能；在“寫”方面，將語言大模型在端側更廣泛的應用，同時升級為3B端側大模型，給用戶更為優(yōu)質的體驗。此外，vivo還探索了圖像大模型端側化，為用戶帶來隨時可用的AI消除功能。。
針對全模態(tài)大模型端側化，vivo 從算法模型設計，到量化、性能瓶頸分析工具建設，再到底層運行時異構方案設計和業(yè)務框架層靈活的多業(yè)務部署架構建設，提供了完整的解決方案。通過軟硬件協(xié)同，充分挖掘芯片潛力，確保大模型在端側運行時的強悍性能。未來，vivo計劃開放成熟算法能力與端側加速能力，與行業(yè)開發(fā)者合作，共同打造創(chuàng)新、便利、智能的業(yè)務場景，為用戶提供更優(yōu)質的智能化體驗。
攻克AI三大挑戰(zhàn)，打造高效穩(wěn)定的大模型工程體系
vivo AI工程架構專家陳崇沛分享了vivo在大規(guī)模高性能計算領域的探索與創(chuàng)新。他指出，大規(guī)模訓練、高性能推理及海量算力治理是AI落地面臨的三大挑戰(zhàn)。為此，vivo構建了大模型工程體系，解決了大規(guī)模訓練的問題，讓模型能按天迭代；解決高性能推理的問題，能秒級生成圖片；搭建了堅如磐石的萬卡集群，算力能持續(xù)穩(wěn)定輸出。這一體系全面支撐了vivo各模態(tài)、模型的訓練與推理，廣泛應用于vivo的AI產(chǎn)品中。
vivo AI工程架構專家陳崇沛
展望未來，vivo要打造出強有力的個人化智能產(chǎn)品，就要具備o1這類強邏輯推斷能力的模型。而大模型工程的關鍵是性能和靈活性兼具的強化學習訓練框架，這樣才能發(fā)揮出強化學習Scaling law的威力。為了實現(xiàn)這個目標，vivo的思路是：以訓推一體架構為基礎，整合自研推理引擎和訓練框架，滿足多模型訓練推理協(xié)同的要求，支持高性能、高靈活性的自博弈強化學習。o1的技術路線目前只露出冰山一角，還有很大的探索空間，讓我們拭目以待。
vivo意圖框架，實現(xiàn)精準服務分發(fā)與全場景智能化體驗
如今AI改變了人機交互方式，在AI大模型的加持下，智能化體驗有了較大升級，用戶可以通過對話等方式來替代傳統(tǒng)的交互方式，實現(xiàn)以AI為中心的交互模式變革。vivo AI系統(tǒng)技術總監(jiān)許勝華表示，智慧服務在體驗升級的同時，也面臨全新的挑戰(zhàn)，vivo持續(xù)與生態(tài)伙伴探索高效精準的服務分發(fā)模式，基于此vivo面向開發(fā)者提供了意圖框架解決方案。
vivo AI系統(tǒng)技術總監(jiān)許勝華
通過意圖框架，連接開發(fā)者和系統(tǒng)，結合AI能力理解用戶意圖，再通過系統(tǒng)入口將生態(tài)服務精準分發(fā)至用戶，從而提供全場景、智能化的服務體驗。在原系統(tǒng)5（Origin OS 5）上，意圖框架已經(jīng)跟系統(tǒng)的藍心小V、原子島、小V建議等交互入口全面打通，帶給用戶帶來便捷貼心的用機體驗。目前vivo意圖框架已上線24個垂域，53個意圖標準，方便開發(fā)者接入使用。
藍心智能體開放平臺賦能，助力構建智能體生態(tài)
vivo AI解決方案中心高級經(jīng)理蔡永超介紹了藍心智能體開放平臺，該平臺可以提升AI與人的協(xié)作體驗�；谥悄荏w開放平臺，還支撐起vivo 1+X+N智能體協(xié)作體系的構建，為用戶提供溫暖、智能的體驗。
vivo AI解決方案中心高級經(jīng)理蔡永超
vivo為開發(fā)者提供一站式智能體開發(fā)、分發(fā)、運營平臺，助力開發(fā)者高效、便捷地實現(xiàn)智能體的開發(fā)。在流量方面，vivo提供了包含鎖屏、息屏、通知、負一屏、全搜、藍心小V等入口在內的多個分發(fā)入口，為開發(fā)者帶來億級流量曝光和轉化。
vivo藍心智能體的創(chuàng)建流程簡單快捷，只需創(chuàng)建、配置、調試、發(fā)布四個步驟即可快速搭建一個智能體。目前平臺已與支付寶AI健康管家、攜程、百度地圖、懂車帝、同程旅行等應用合作，提供多種智能服務。
藍心智能體平臺將協(xié)同開發(fā)者共同構建智能體生態(tài)，以大模型+智能體平臺為基座，以OS內核+應用為依托，服務用戶、開發(fā)者和行業(yè)伙伴。后續(xù)，藍心智能體開放平臺將逐步開放更多AI能力，基于智能體平臺開發(fā)的智能體應用，經(jīng)過安全審核可以上線到藍心千詢APP及PC供廣大開發(fā)者使用，并支持發(fā)布到三方應用。
未來，vivo將持續(xù)以用戶為中心，深化AI技術研發(fā)與應用，攜手開發(fā)者與生態(tài)伙伴，共同推動AI技術的普惠與發(fā)展，為用戶帶來更智能、更便捷、更安全的用機體驗。
