2019年,手機廠商進入諸神混戰(zhàn)時期,5G、AI、拍照、水滴屏……各大廠商都使出了渾身解數來爭奪用戶。從年初MWC大會的折疊屏、水滴屏、5G等大熱話題,再到近期的號稱能拍到銀河系的華為P30系列新品,以及OPPO即將發(fā)布的Reno系列以十倍景深為核心賣點……5G黎明前,用戶爭奪戰(zhàn),手機廠商又將如何尋求破局?
5G時代,遙不可及
如果要用三個字來描述5G時代,小編會選擇:“快”、“廣”、“永”。
“快”即快速,極速的連接;“廣”即廣泛、全面、海量的連接;“永”,即永遠、一直,始終連接。
這三點,可以說是5G的基本屬性,5G時代的各種關鍵技術和應用場景,都基于此而成為可能。就像一幅工筆重彩的鴻幅畫作,無論多么精致細密的錦繡乾坤,都依托于畫布,但是再好的畫布也需要筆精妙墨的畫布來彰顯其價值,最終帶給觀賞者以愉悅,兩者互為依托。而5G的最終目的,也正是給消費者帶來前所未有的體驗。
5G誠然可以作為征服消費者的利器,但目前5G還屬于商用時代,離大規(guī)模普及還有很長一段時間,手機廠商可以借用5G進行行業(yè)卡位,拉升品牌,不過,想要在4G后半場搶奪市場,未必可行。
AI +用戶痛點,或成4G下半場的核心
AI,是目前各行各業(yè)都在緊密關注的技術。根據中國通信院的報告,2020年人工智能核心產業(yè)規(guī)模會超過1500億元,帶動相關產業(yè)規(guī)模將超過1萬億元,而到2030年,人工智能核心產業(yè)規(guī)模將超過1萬億元,帶動相關產業(yè)規(guī)模超過10萬億元。而眼下,正是5G黎明時期,人工智能技術已經提前在各行各業(yè)開始應用,根據易觀數據做的調查,2017年-2018年,國內人工智能應用領域最廣泛的是金融,其次依次是制造業(yè)、電商、健康醫(yī)療、社交媒體、交通物流等。
而具體到終端側,目前主要是智能手機。在智能手機的AI應用方面,國內艾瑞咨詢做過調查,統計了2018年中國AI手機用戶認為最有價值的AI功能(前10名)、體驗最好的AI功能(前10名)以及最熟知的AI手機功能(前15名)中,除了語音助手和隨行翻譯,其他功能基本上都離不開一個關鍵組件:相機。事實上,這背后正是基于AI智慧視覺能力廣闊的應用前景。
在這里,IT之家小編想提一提智能手機芯片主要供應商之一的聯發(fā)科。他們抓住的,正是現階段和未來AI在終端側最廣泛的應用:AI相機。
在談AI相機的具體應用前,我們首先需要了解一下,AI在相機中是怎樣工作的。用上面這張圖來表示,光線首先透過鏡組和光圈來到CMOS圖像傳感器,CMOS的作用是將光信號轉換為電信號,這時候的信號還是模擬信號,所以需要ADC模數轉換器將模擬電信號轉換為數字信號。接著,數字信號會來到ISP,ISP的主要任務是通過一系列先進的數字信號圖像處理算法對傳輸過來的信號進行效果處理,例如壞點校正、去除噪點、高光抑制和暗光補償、色彩增強、鏡頭矯正等等,這是讓圖像成片質量更高的關鍵一步。ISP處理過信息后,再通過IO接口傳輸到CPU中進行比較、存儲、分析等處理,最后通過顯示屏就可以看到圖像了。
而AI作用于相機,通常來說主要就是作用于ISP及向后的數字信息處理的過程,通過強大的AI算法,來提升數字信息處理的效果。圖像視頻信息處理計算復雜度極高,但卷積神經網絡恰恰擅長這樣的信息處理。隨著這些年ImageNet挑戰(zhàn)賽的興起,AI逐漸被應用于智能終端的圖像和視頻處理,包括人臉解鎖、拍照場景優(yōu)化、智慧美顏、拍照翻譯、拍照背景虛化、AR視頻等等,而未來,AI相機必將會有更深的應用。
不過問題來了,既然AI相機的應用未來會越來越廣泛,越來越深入,那么是不是大家都在相機的基礎上引入一套AI算法就行了?小編認為顯然不是。那什么是“真AI相機”?IT之家小編認為首先相機本身要有良好的素質,其次相機和系統AI處理單元必須結合更緊密,形成更強勁的AI算力。
AI相機對相機本身需要較高的素質要求,這一點很好理解。AI對終端設備相機能力的提升,更多是在軟件層面盡可能達到優(yōu)化的極致,但這有一個前提:硬件不能太差。那怎樣才算“硬件不差”?這里有一個方向,我們知道當前智能手機的拍照競賽早已過了拼像素的時代,圖像傳感器對拍照素質的影響更為重要,所以未來的AI相機相信會對這一方面有所要求。
第二點,也是IT之家小編覺得比較關鍵的,就是終端系統的AI處理單元有能夠針對性的AI算力支撐,其實這里所說的就是對整體AI算力性能的需求,因為只有當AI算力達到一定高度,很多新鮮應用背后的復雜的算力需求才能被滿足。在這一點,我們不妨就以聯發(fā)科在Helio P90中搭載的APU 2.0為例。
APU是聯發(fā)科自研的AI專核,即專門用來處理AI運算的芯片核心,它采用全新的AI運算架構,擁有1127 GMACs的千兆級算力,是APU 1.0的四倍,相對于GPU更是數十倍效率的提升,同時支持INT8深度學習運算和FP16浮點運算,減輕GPU的負載,可以處理各種卷積網絡,從而能夠多方位提供由APU2.0驅動的圖像優(yōu)化服務。另外,APU 2.0相較于APU 1.0還有50%的功耗降低,對帶寬的需求也可以降低50%。
那么APU 2.0的AI算力究竟怎么樣?在行業(yè)內比較認同的AI算力標準來自蘇黎世聯邦理工學院(ETHZ)的AI-Benchmark榜單,即蘇黎世跑分,Helio P90的跑分為25654,其實也就是APU 2.0的成績,從榜單上看,APU 2.0的跑分數據排名前列,十分強悍。
特別值得一提的是,APU跟聯發(fā)科芯片里面的照相模塊,有自己獨特的連接方式,從而讓AI算力能夠和相機模塊更加緊密地互動,這樣就可以在強悍規(guī)格的基礎上著力解決體驗問題。
AI超強算力,歸根結底是為了提升體驗
剛才我們說到體驗,其實APU 2.0在規(guī)格上擁有強悍的AI算力,能看出目標很明確,就是讓AI相機能夠真真切切地提升用戶體驗。拋開整體性能談AI的體驗是不切實際的,當然,性能也不是唯一,最終都要回歸到用戶體驗層面。然而到底怎樣提升用戶體驗?這個問題的關鍵是:抓住痛點。就現階段而言,手機拍照的痛點主要是夜拍素質、抓拍能力,如何讓普通消費者隨時隨地隨手一拍,不用復雜的調整光線、亮度、穩(wěn)定度,都可以留下清晰無噪的感動瞬間,這將成為AI相機主要的貢獻。
我們仍然以聯發(fā)科最新的Helio P90為例,首先是夜拍方面。通常而言,手機提升夜間拍照效果無非兩個路徑:提高ISO值,延長曝光時間。當然,如果有多個攝像頭還可以通過不同的光圈來提高夜拍效果,但手機上單個鏡頭光圈其實是固定的。這確實是提升夜拍效果的不二法門,但其實也是最基礎的。Helio P90想到的是利用AI一步到位,不僅提高夜拍的基本素質,還可以直接優(yōu)化被攝主體的細節(jié)和色彩,甚至是黑暗環(huán)境中的細節(jié)。它采用基于多幀降噪,結合14-bit高動態(tài)范圍ISP的運算能力,利用AI實現更強的降噪算法及智能合成,最終直接生成用戶滿意的、擁有更好色彩和細節(jié)的夜拍照片。
除了夜拍,急速抓拍效果不佳也是很多手機拍照的痛點。其實抓拍能力和曝光時間直接相關,優(yōu)秀的抓拍需要盡可能短的曝光時間,但是短的曝光時間會令照片曝光不足,從而影響照片質量,特別是在弱光環(huán)境下的抓拍。在多方因素平衡下,抓拍反而會出現拖影、噪點明顯等多種問題都存在的情況。而Helio P90能夠優(yōu)先將曝光時間縮短到3毫秒的水平,然后基于AI噪點訓練、14-bit高動態(tài)范圍ISP和AI多幀降噪處理的能力,保證畫面擁有足夠的亮度和純凈度。當然,這背后需要非常復雜的運算,并且要快速完成。人臉的快速識別與偵測同樣也是依托于AI算法。Helio P90擁有首創(chuàng)的AI人臉偵測引擎,能夠在弱光和運動條件下實時準確地檢測人臉和場景。
視頻景深則是基于AI人像分割技術,采用主流的物件主動偵測和分割架構,利用最先進的目標檢測算法Mask R-CNN,并基于神經網絡學習框架Caffe2來實現,這是一個非常復雜的過程,也需要極強的算力支持。聯發(fā)科P90憑借的是APU2.0高達1127 GMACs(每秒可操作11270億次定點乘累加次數)的強大算力,因此能夠實現這樣的人像分割。
除了這幾點核心功能,Helio P90還有焦點直播、AI實時美體、人體姿態(tài)追蹤識別、AI識物等諸多細分的應用。
由此可見,手機芯片應該在AI硬件規(guī)格高標準的基礎上,追求用戶的出色體驗,硬件規(guī)格本身是空洞的,只有落實到體驗層面才有意義。同時不能忽略AI生態(tài)開放的重要性,讓第三方應用開發(fā)者更好地調用APU以及CPU、GPU的運算能力,豐富AI生態(tài)。
5G黎明,AI破曉
眼下正是5G時代的黎明期,MWC2019上熱熱鬧鬧的5G浪潮猶在耳畔,包括一加、華為、小米等廠商都拿出了5G手機,只待面向市場發(fā)售。而伴隨著5G手機的,有很多名詞:折疊屏、異形屏、云計算、AI等等。小編認為,只有類似AI、云計算等這樣的技術,才是5G時代真正的趨勢5G的真正成熟還需要相當一段時間,并且未來5G不會成為終端的賣點,就像如今“支持4G”不會成為特別值得說的賣點一樣,更重要的是:基于5G的應用怎么樣。5G黎明到來,固然重要,但是以怎樣的姿態(tài)破曉,更關鍵,盲目追逐5G本身是沒有意義的。
很顯然,AI是一個很好的方向,聯發(fā)科提前看到這一點,并提前布局,也為他們贏得了先機,至于未來,其實無需思考太多。無論如何,把基于硬件規(guī)格的用戶體驗做好,才是最本分的事情。