首頁 > 新聞資訊
? ??物聯(lián)網(wǎng)已經(jīng)從連接普通設(shè)備，如燈泡、攝像頭、傳感器和恒溫器，到連接智能助手、嬰兒監(jiān)視器和智能電器?，F(xiàn)在，我們可以使用來自傳感器、麥克風(fēng)/音頻和攝像機/視頻的數(shù)據(jù)，持續(xù)訓(xùn)練機器學(xué)習(xí)和人工智能（AI），獲得預(yù)測能力。
? ? 我們現(xiàn)在已經(jīng)可以在網(wǎng)絡(luò)邊緣運行強大的智能設(shè)備。
邊緣AI
基于神經(jīng)網(wǎng)絡(luò)的AI主要由訓(xùn)練和推理組成。
訓(xùn)練：專家建立深度神經(jīng)網(wǎng)絡(luò)（DNN）模型去解決一些特定的問題，如對象分類或語音識別。他們在云端或數(shù)據(jù)中心執(zhí)行計算密集型模型訓(xùn)練任務(wù)。
推理：一旦模型可靠，就可以部署到物聯(lián)網(wǎng)設(shè)備上。這些設(shè)備將來自傳感器、麥克風(fēng)和攝像頭的輸入數(shù)據(jù)與訓(xùn)練好的模型進行比較，做出“智能”的決定。
基于軟件算法的進步，硬件計算資源的提高和安全性的提升，推理工作不再需要在云端進行；現(xiàn)在，可以在設(shè)備網(wǎng)絡(luò)邊緣執(zhí)行推理工作。
邊緣AI有哪些優(yōu)勢？與基于云計算的解決方案相比，邊緣推理可以實現(xiàn)更低的延遲響應(yīng)、更少的帶寬成本，并節(jié)約存儲成本。例如，對象跟蹤應(yīng)用如果在本地分析攝像頭視頻內(nèi)容的話，可以更快速地進行響應(yīng)，而無需將內(nèi)容從網(wǎng)絡(luò)邊緣發(fā)送到云端進行處理并等待結(jié)果。此外，由于數(shù)據(jù)保留在物聯(lián)網(wǎng)設(shè)備上，而不是通過網(wǎng)絡(luò)傳輸，所以邊緣推理也可以帶來更好的隱私保護和安全性。
如何在IOT設(shè)備的邊緣運行AI
? ? IoT設(shè)備運行AI，為音頻、視頻和傳感器分析提供了的機會，可用于聯(lián)網(wǎng)攝像頭、家庭控制中心、無人機/機器人和XR以及工業(yè)物聯(lián)網(wǎng)和智慧城市。在以后的博客文章中，我將探討這些機會對開發(fā)者意味著什么。
?
? ? 設(shè)備端AI需要運行在正確的計算核心。僅僅有一個強大的多核CPU還不夠。圖形處理單元（GPU）可能更適合于檢測和跟蹤，而分類計算密集型工作負(fù)載可能在數(shù)字信號處理器（DSP）上運行得更好。更好的是，隨著Hexagon矢量擴展（HVX）的加入，DSP可以以極低的功耗高速處理圖像。
? ? 在物聯(lián)網(wǎng)中成功部署人工智能的關(guān)鍵是在核心上運行工作負(fù)載，同時保證低功耗和推理性能。因此，對于Qualcomm Technologies平臺開發(fā)者來說，可以在各種核心（GPU、DSP/HVX和CPU）異構(gòu)運行神經(jīng)網(wǎng)絡(luò)模型，擁有這樣的靈活性就是一個明顯的優(yōu)勢。
例如，物聯(lián)網(wǎng)設(shè)備運行AI為個人、社區(qū)和企業(yè)用例帶來視覺智能：
??視頻摘要
??場景分類
??文字或車牌識別
??人臉檢測和識別
??帶深度和位置跟蹤的對象檢測和分類
?
例如，如果與員工數(shù)據(jù)庫相匹配，使用DNN進行人臉識別可以為企業(yè)帶來更高的安全性。另一個例子是使用DNN來清點人數(shù)，并按性別和年齡進行分類，這樣的操作對于零售業(yè)來說簡直就是福音。
物聯(lián)網(wǎng)設(shè)備運行AI還可以在新用例中引入音頻智能：
??音頻分類（例如嬰兒哭鬧、玻璃破碎、槍聲識別）
??語音激活和講話者識別
??回聲消除和噪音抑制
??自然語言處理/自動語音識別（NLP/ASR）
?
Qualcomm??驍龍?神經(jīng)處理引擎
搭載Qualcomm Technologies系統(tǒng)級芯片（SoC）的物聯(lián)網(wǎng)設(shè)備擁有2至3個可用于運行AI工作負(fù)載的內(nèi)核：
??Qualcomm Kryo? CPU
??Qualcomm Adreno? GPU
??Qualcomm Hexagon? DSP, including recently released versions with HVX
??Qualcomm Hexagon? DSP，包括最近發(fā)布的HVX版本
?
? ? 現(xiàn)在，Qualcomm Technologies還提供驍龍神經(jīng)處理引擎（SNPE），這是一款專為在Qualcomm Technologies SoC各計算核心（GPU、DSP和CPU）運行而設(shè)計的軟件框架。SNPE SDK包含將基于Caffe/Caffe2和TensorFlow的現(xiàn)有網(wǎng)絡(luò)遷移到Qualcomm Technologies SoC運行環(huán)境的轉(zhuǎn)換工具。還為各核心提供了調(diào)試工具和性能優(yōu)化工具。開發(fā)者可以優(yōu)化應(yīng)用，在適合的核心上運行AI任務(wù)。
?
? ? 我們采用異構(gòu)計算技術(shù)，結(jié)合高度集成的SoC和SNPE，不論在機器人、智能家居，或是工業(yè)應(yīng)用方面，都可以實現(xiàn)在物聯(lián)網(wǎng)設(shè)備邊緣、低功耗地運行AI。
CSDN新聞
