從云端落地!手機等終端設備是如何喚醒AI的?
和5G一樣,AI也是2018年最為核心的關鍵詞。在過去,AI大都體現在運營商及企業的IT系統及運營流程中,而從前不久剛剛結束的MWC2018中讓我們看到了更多AI落地的技術和產品,并最終將讓AI走進千家萬戶。
從云落地的AI
顯而易見,AI也將和5G一樣,成為影響世界經濟的一種通用技術,賦予不同類型終端學習的能力。AI之所以現在才被大家熟知,是因為該技術曾經在進行神經網絡的訓練和推理時都是在云端或是基于服務器完成,最終只需反饋給終端一個結果而已。
如今,終端所搭載的核心硬件已經開始強化本地AI的運算能力,讓很多昔日人工智能的推理工作,如模式匹配、建模檢測、分類、識別、檢測等有機會從云端轉移到終端,這對于保護用戶隱私、提升性能和可靠性有著極大裨益。
更具體來說,AI從云端發展到終端將有四大提升:
端側響應更快:像亞馬遜echo這類智能音箱,它與用戶交互的計算和結果反饋都依賴云端服務器,存在響應較慢的先天缺陷。今后,無論是面部識別、圖像識別、圖像變化學習還是車載系統都需要更極致的響應,將計算從云端轉移到終端,自然會最大限度提升反饋的效率;
隱私更有保障:很多人都擔心自己與智能音箱、語音助手的交互上傳到云端會加劇隱私泄露的風險,而終端AI就能解決隱私問題;
連接成本更低:連接包含接的成本和連接有效性,無論是網線、4G還是未來的5G,將資料傳至云端都存在成本,但終端AI則沒有帶寬受限等顧慮,體驗會更好;
功率低更環保:據統計現在整個云端服務器的功耗已經占用整個地球電力的5%,如果將部分計算從云端轉移到終端一側,將有效降低整體能耗。
只是,針對終端的AI的處理方式,業內正逐漸分化成兩個陣營。一面是以蘋果和華為為代表,通過在SoC內集成獨立的神經網絡處理器單元對AI做輔助處理;另一面則提出了獨立神經元無用論,認為SoC平臺內的DSP處理人工智能算法已經足夠。那么,兩個主張的誰更符合AI的發展趨勢?
麒麟:將NPU進行到底
作為獨立神經元的堅定擁護者,華為在推出全球首款集成NPU單元的麒麟970后,還計劃將NPU戰略進行到底。今年初,網上還曝光了華為新一代主流級SoC——麒麟670的規格參數。
據悉,麒麟670將采用臺積電12nm FinFET制程打造,是由雙核Cortex A72+四核Cortex A53構成的六核處理器,配備ARM Mali-G72MP4 GPU。而這顆芯片最大的特色,就是將集成和麒麟970相同的獨立NPU單元,可以專職專能地進行人工智能相關的運算場景,如圖像識別、語音聯動、用戶行為學習等。這意味著,未來nova、榮耀暢玩、麥芒等主流價位手機都有機會享用本地AI的加速大餐。
高通:依靠AI Engine的調度
在無數展會中,高通多次強調了人工智能引擎AI Engine的優異性。簡單來說,AI Engine就是在驍龍移動平臺上加速終端側AI用戶體驗實現的硬件與軟件的集合。以驍龍845為例,其內部集成了多個可編程異構計算核心:比如Kryo CPU、Adreno GPU和Hexagon向量處理器等,這些核心的協同配合可靈活支持不同的AI功能、數據和計算精度要求,能夠實現在終端側快速高效地運行人工智能應用。
由于驍龍平臺在手機領域的占有率足夠高,所以高通為AI Engine開發的軟件和工具的普及度和影響力也更為廣泛。具體來說,小米、一加、vivo、OPPO、努比亞和錘子等品牌正計劃采用人工智能引擎AI Engine,在其未來的旗艦驍龍智能手機上優化人工智能應用。
同時,高通還可人工智能軟件開發企業以及云服務領導廠商也建立了深度合作,比如商湯科技和曠視Face++就能通過AI Engine進行多種預先訓練的神經網絡,支持圖像與攝像頭特性,包括單攝像頭背景虛化、面部解鎖與場景檢測識別等。此外,高通還找到了騰訊和百度,全面支持人工智能引擎AI Engine及其生態系統,比如QQ社交平臺中的“高能舞室”就能通過AI Engine組件以加速該特性的幀率。
和麒麟一樣,高通也逐漸將人工智能引擎AI Engine逐漸下放給更主流的SoC平臺,比如已經上市的驍龍660和即將上市的驍龍670和驍龍700家族等等,讓未來更多搭載驍龍芯片的手機都能享受AI提速的樂趣。
聯發科:扮演AI普及者
在AI布局方面,和高通華為相比聯發科無疑是個遲到者。但是,聯發科最擅長的就是S曲線戰略,其總能在一個新技術普及爆發的前夜進入市場,享受技術大爆發帶來的紅利。而AI,就是聯發科S曲線戰略的下一個目標。“聯發科不做人工智能的先行者,我們做AI的普及者!”聯發科技 CTO 辦公室協理林宗瑤如此表示。
聯發科在MWC2018上發布了最新的Helio P60(現已被OPPO R15等新品武裝),這款芯片采用臺積電12nm FinFET工藝制程設計,是由四核Cortex A73+四核Cortex A53構成的八核處理器,配備ARM Mali-G72MP3 GPU.從規格來看Helio P60并不如驍龍670和驍龍700,但它卻成為MWC2018上唯一獲獎的SoC。
究其原因,就是因為Helio P60在CorePilot 4.0技術的基礎上,引入了名為“NeuroPilot”的人工智能平臺。NeuroPilot是一種介于華為麒麟NPU和高通驍龍AI Engine之間的一項技術,它采用了異構架構,集成了獨立的APU(人工智能處理單元的縮寫),與其同級別的還有CPU和GPU,根據工作特質由NeuroPilot自動分配到APU、CPU或GPU上進行運算,這跟CorePilot的大小核分派類似。
需要注意的是,Helio P60內置的APU和蘋果A11/麒麟970內置的神經元網絡單元NPU不同,它屬于Helio P30芯片中搭載的VPU模塊的升級,更像是兩個“優化版”DSP的疊加,在架構上增加了更適宜神經網絡運算的能力。
據悉,Mobile APU處理器包含多核處理器與智能控制邏輯處理器,它們的功耗表現是GPU的2倍以上,運算處理能力可達每秒280GMAC。通過Helio P60特有的NeuroPilot異構人工智能運算架構,可以讓CPU、GPU 、Mobile APU 能夠無縫切換并協同運算,從而實現具備深度學習功能的面部辨識技術、實時美化、創意實時圖層堆棧功能、物品及場景辨識功能、AR擴增實境/MR混合實境的加速效果、影像增強或是實時影片預覽等多種創新功能。
因此,APU會貫穿聯發科未來的整個產品線,除了Helio P60這種手機SoC外,智能音箱、穿戴設備和汽車的自動駕駛搭載的SoC都會集成不同處理架構的APU單元。
三星Exynos 9810的AI特色
三星Exynos 9810也是一款支持AI加速的旗艦級SoC,可惜它內部并沒有集成獨立的神經計算單元。三星官方是這樣描述的:“Exynos 9810引入了先進的功能,通過基于神經網絡的深度學習和最先進的移動設備上更強大的安全性來增強用戶體驗。”
哪里是終端AI的戰場
自從蘋果在A11 Bionic內融入“Neural Engine”(神經引擎),麒麟970內集成獨立的“NPU”“NPU”(Neural-Network Processing Unit,神經網絡處理單元),AI技術就成為了衡量旗艦芯片競爭力的關鍵一環。但是,當手機具備本地AI能力后,它們又被用在了哪些地方?
AI的兩大功能
AI從功能的角度來看,可以分為訓練和推理。在過去,無論是訓練和推理都需要在云端完成,比如手機語音助手所反饋的信息都是經云端服務器返回的結果。當智能手機被AI賦能后,就獲得了一定程度上的本地學習和推理能力。比如蘋果iPhone X的Face ID,就是先利用A11 Bionic神經引擎的學習能力,慢慢記錄你戴帽子/眼鏡、長/刮胡須、皺紋和臉部線條的變化,再通過推理能力(可將訓練完成的機器學習模型封裝進系統或APP之中),證明你就是你,從而完成解鎖乃至支付過程。
識圖辯音成主業
但是,受制于能耗限制,我們不要指望手機芯片集成的AI單元能有太過強悍的性能,至少和服務器端使用的谷歌TPU等AI硬件就沒法比。此外,AI芯片的另一大特色就是專注,比如下棋的AI不能用于汽車的無人駕車、用于人臉識別的AI也不擅長進行深度語音識別和交互。因此,以智能手機為代表移動設備的AI,最終能落地的就只有兩個方面:識圖(圖像識別)和辯音(語音識別)。
聯發科針對自家NeuroPilot人工智能平臺的說明中就很好地展現了手機端AI所擅長的領域:面部識別、面部美化、場景檢測、手勢檢測、系統性能和語音識別。實際上,如今多手機廠商所主打的AI特色,就都是對這些功能的擴展。
手機終端的AI賦能
得益于驍龍845和Exynos 9810,三星Galaxy S9對人工智能助手Bixby的AI屬性進行了升級,在集成語音、視覺、主頁、提醒四大功能的基礎上,S9的Bixby新增了文本實時翻譯功能,只需要將取景框對準要翻譯的文本,不用拍攝就可以實現對文本的翻譯。而且Bixby視覺擁有自動識別語種的功能,無需選擇識別的語種,選擇好輸出的語種即可。
Bixby的特色之處還在于,它有著其它語音助手無法比擬的智慧程度和更加完整的人工智能體系。比如,用戶只需點擊相機中的Bixby圖標或者呼叫出Bixby,告訴它“幫我識別這個東西”,它就會幫你識別出拍攝的物體。這項功能可以用于翻譯外的文本提取、圖片搜索識別、拍攝物體采購等。
LG V30s ThinQ和華為P20系列等產品則主打拍照體驗。其中,LG V30s ThinQ引入了名為AI CAM的人工智能相機,它在拍攝物體時可以自動識別食物、植物、人物、建筑等多種物體,然后有針對性的調節相機參數來拍攝出高質量的照片,同時還可通過拍照直接購物、進行圖片搜索,或是讀取二維碼。
此外,華碩推出的3款ZenFone 5系列手機也主打AI智慧攝影功能,該功能可針對16種不同環境與主題進行AI場景偵測,以及即時人像景深、即時美顏等,還有AR貼圖功能等。另一個國產品牌海信H11,也基于“AI+雙攝”的組合優勢,讓拍攝出來的照片通過“AI”算法進行優化。其套路在于讓AI算法解析鏡頭中的人像信息,識別并突出人像主體,隨后對背景進行虛化處理,讓前后景層次突出。
在AI語音助手方面,蘋果Siri、亞馬遜Alexa和谷歌Assistant應該是口碑和技術的雙料王代表。在MWC2018上,谷歌宣布要Assistant將把Android和其語音生態系統整合,從而使開發者可以將Assistant整合進自己的APP里。
同時,有玩家曾在華為Mate 10的EMUI 8.1固件中發現了有趣的數據,表明華為正在研發一個名為“HiAssistant”的語音助手,它幾乎可以完成其競爭對手的所有功能,包括:控制各種基本硬件功能(藍牙、NFC、Wi-Fi)以及自動旋轉、位置設置等軟件功能。 此外,它還能控制QQ和微信等國內流行的即時通訊應用,并與名為“華為HiAssistant Bank”的新支付接口進行整合。最關鍵的一條是,只有麒麟970或集成NPU的海思芯片才能在硬件上支持HiAssistant(現在來看 ,HiAssistant首發的應該會是最新的P20系列)。
總之,2018年的新款手機在人臉解鎖的速度和安全性上要較2017前誕生的前輩有所增益,其背后就是高通和聯發科等芯片廠在從AI芯片層面就與商湯科技和曠視Face++等方案商攜手優化;而所謂的AI相機,也是借助AI引擎極速識別所拍攝的物體并作出相應的優化,讓照片更美更自然;三星Bixby的實時翻譯利用的也是AI的場景檢測能力;Google Assistant和HiAssistant等語音助手也終于能實現基于AI硬件的提速了……