縱觀整個數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展史,每一次顛覆式創(chuàng)新往往伴隨著新范式的產(chǎn)生。古有“讀萬卷書,不如行萬里路”的說法,精準(zhǔn)詮釋了親身體驗和實踐的重要性:人類通過視覺、聽覺等主要感知方式接受外界信息,并加以思考進(jìn)而付諸行動,由此對世界進(jìn)行理解、改變和創(chuàng)造?;氐浆F(xiàn)在,隨著算力不斷的提升,AI 的發(fā)展也由于大模型的突破迎來了加速時代,今有機(jī)器人、自動駕駛等技術(shù)為代表的新范式,將重新定義人機(jī)交互的模式。我們也將見證專屬于人類的感知,思考和行動能力逐漸實現(xiàn)向機(jī)器的轉(zhuǎn)移。
在模型和行動無處不在的新時代,智能視覺將變得必不可少
人類獲取的信息 70% 來自于視覺,目前,智能視覺已深入到智慧家居、智慧城市、智慧零售和智能制造之中,而在模型和行動無處不在的新時代,智能視覺也將變得必不可少。無論是聊天機(jī)器人還是自動駕駛技術(shù),都需要借助智能視覺等感知技術(shù)從現(xiàn)實生活中采集真實數(shù)據(jù),形成更準(zhǔn)確的模型,以提供關(guān)鍵的安全和避障能力,或更好地適應(yīng)多樣化的需求和行為。
智能視覺系統(tǒng)的五大技術(shù)趨勢
隨著智能視覺應(yīng)用的普及,其系統(tǒng)也朝著五大技術(shù)趨勢發(fā)展:
云邊端協(xié)同:高清圖像和視頻數(shù)據(jù)、巨大的數(shù)據(jù)量、以及諸如自動駕駛等應(yīng)用的實時性要求、決定了智能視覺系統(tǒng)需要能夠?qū)⒂嬎愫蜎Q策任務(wù)分布在云、邊和終端設(shè)備上,并實現(xiàn)負(fù)載調(diào)動與協(xié)同。云端可以承擔(dān)訓(xùn)練深度學(xué)習(xí)模型、處理大規(guī)模圖像和視頻數(shù)據(jù)集、等計算密集型任務(wù)。邊緣設(shè)備可以進(jìn)行實時圖像處理、簡單的特征提取和初步的決策;終端設(shè)備可以接收來自云端或邊緣端的智能決策結(jié)果,并進(jìn)行展示、用戶交互等,或在超低延時和離線需求下進(jìn)行端側(cè)視覺數(shù)據(jù)處理和決策。
AI 加持:深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域的應(yīng)用已經(jīng)取得了巨大的成功。未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò),通過大規(guī)模數(shù)據(jù)集的訓(xùn)練、來提高圖像和視頻數(shù)據(jù)的分析和識別能力,并利用強化學(xué)習(xí)和自主、自適應(yīng)學(xué)習(xí),使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn),并適應(yīng)新的場景和任務(wù)。
圖像處理:智能視覺系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理,以支持更高效的特征提取,目標(biāo)檢測和跟蹤, 圖像分析和理解,以及圖像生成和合成。
算力支撐:由于復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理、實時性、高精度、高并發(fā)等要求,智能視覺系統(tǒng)需要強大的計算資源和算力支持。
隱私和安全性:智能視覺系統(tǒng)大量的數(shù)據(jù)采集,以及廣泛的應(yīng)用也引發(fā)了對隱私和安全性的關(guān)注。未來的趨勢是設(shè)計更加隱私保護(hù)和安全可靠的智能視覺系統(tǒng),采用加密、匿名化等技術(shù)手段保護(hù)用戶的隱私,同時加強系統(tǒng)的安全性,防止被惡意攻擊和濫用。
智能視覺應(yīng)用催生智能視覺芯片架構(gòu)的演進(jìn)
而在芯片層面,為了滿足對 AI 支持、計算能力、能效和實時性的不斷增長的需求,智能視覺芯片架構(gòu)也經(jīng)歷了一系列的演進(jìn)——從功能固定難以編程的 DSP 和 ASIC,到通用性強、易編程的 CPU 架構(gòu),直至今日集成 CPU、ISP、NPU AI 加速器、VPU、GPU 的先進(jìn)異構(gòu) SoC。智能視覺芯片已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。適用于資源受限的邊緣設(shè)備,如智能手機(jī)、攝像頭和物聯(lián)網(wǎng)設(shè)備等,為智能視覺成為一種普適的能力奠定基礎(chǔ)。
支持高效、敏捷地視覺產(chǎn)品和解決方案的開發(fā),是產(chǎn)業(yè)的現(xiàn)實需求。Arm 豐富的產(chǎn)品組合,包括 Arm Cortex-A CPU、Mali GPU、Mali-C55 ISP、Ethos ML 加速器、Corstone 子系統(tǒng)等,能夠帶來高質(zhì)量、高可靠、高性能和高能效的不同組合,滿足智能視覺的各個細(xì)分市場需求,助力加速智能視覺的創(chuàng)新。
首度集成第三方 IP 的 Arm 全新智能視覺參考設(shè)計
為企業(yè)快速打造產(chǎn)品差異化
為了助力智能物聯(lián)和視覺領(lǐng)域的創(chuàng)新企業(yè)降本增效,使更多的新商機(jī)和新想法可以更快地轉(zhuǎn)化成量產(chǎn)的產(chǎn)品。Arm 處理器和系統(tǒng) IP 也在向預(yù)先集成驗證的子系統(tǒng)的方式轉(zhuǎn)變。這種新的設(shè)計方式和產(chǎn)品形態(tài),通過選用 Arm 廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng) IP,并根據(jù)客戶的特定應(yīng)用引入第三方 IP,構(gòu)建出相對標(biāo)準(zhǔn)化的 IP 組合,集成后 IP 組合必須經(jīng)過預(yù)先驗證。此外,該 IP 組合還將搭配對應(yīng)的 Arm 虛擬硬件(Arm Virtual Hardware)與參考軟件棧,形成堅實的基礎(chǔ)技術(shù)平臺。如此一來,不僅給予客戶足夠的靈活性和選擇,使企業(yè)可以專注于產(chǎn)品的差異化,加快產(chǎn)品上市時間,并且?guī)椭蛻麸@著降低芯片開發(fā)成本和風(fēng)險,大幅縮短研發(fā)周期。
作為這樣產(chǎn)品形態(tài)的第一個范例便是 Arm 全新發(fā)布的智能視覺參考設(shè)計,首次將 Arm IP 與安謀科技的 IP 結(jié)合在一起,并由安謀科技預(yù)先集成和預(yù)先驗證。該方案的硬件參考設(shè)計包括 CPU、ISP、NPU 和 VPU 處理器選項,以及將子系統(tǒng)粘合在一起的互連和系統(tǒng) IP。?該視覺參考設(shè)計通過 Arm SystemReady 認(rèn)證和 PSA 安全認(rèn)證,保證對主流操作系統(tǒng)的支持和平臺安全性。而其 Arm 虛擬硬件可為生態(tài)伙伴提供虛擬模型,實現(xiàn)軟硬件協(xié)同設(shè)計,進(jìn)一步縮短系統(tǒng)設(shè)計周期。
Arm 發(fā)布“全新智能視覺參考設(shè)計”滿足中國市場視覺應(yīng)用設(shè)備的強勁增長需求
“全新的智能視覺參考設(shè)計也確實收獲了客戶正面的反饋。昱感微電子作為一家專注于智能感知 (包含機(jī)器視覺) 的芯片解決方案新創(chuàng)公司,該公司為了展現(xiàn)競爭力,需要聚焦資源在產(chǎn)品的差異化上,并快速推動產(chǎn)品上市進(jìn)程。根據(jù)昱感微電子 CEO 蔣宏的反饋:Arm 智能視覺參考設(shè)計可以很好地奠定該公司的底層技術(shù)根基,為他們大幅減低花費在基層技術(shù)架構(gòu)的心力,并將更多的時間與資源投入在其技術(shù)優(yōu)勢的開發(fā),創(chuàng)造創(chuàng)新與差異,從而掌握市場機(jī)遇?!?/span>
打造創(chuàng)新生態(tài) 共赴視覺未來
隨著智能視覺來到新的節(jié)點,它將更普及地被應(yīng)用在各行各業(yè),創(chuàng)建出更多的市場機(jī)遇,而行業(yè)中的軟硬件提供商,以及系統(tǒng)集成商都需要一個資源匯聚的平臺,快速實現(xiàn)創(chuàng)意,掌握商機(jī)。“Arm 智能視覺合作伙伴計劃”應(yīng)運而生,將 AI、視覺、芯片設(shè)計、軟件、算法、系統(tǒng)集成等生態(tài)合作伙伴匯聚一處,共同協(xié)作。通過這項計劃,芯片設(shè)計服務(wù)商將能訪問且熟悉 Arm 的參考設(shè)計,并在參考設(shè)計的基礎(chǔ)上快速流片,助力客戶推出滿足 SystemReady 和 PSA 安全標(biāo)準(zhǔn)的芯片;另一方面,對于軟件提供商而言,Arm 智能視覺參考設(shè)計包含了云原生的開源視覺軟件堆棧,可為其客戶適配不同的應(yīng)用場景,為不同的設(shè)備制造商定制軟件,并進(jìn)行整合,測試與調(diào)優(yōu),達(dá)到量產(chǎn)水平;此外,系統(tǒng)集成商通常具有芯片設(shè)計、固件軟件開發(fā)、創(chuàng)建 FPGA 甚至開發(fā)板的綜合能力,來提供一站式服務(wù),他們能在這個計劃中優(yōu)化產(chǎn)品,并提升開發(fā)者體驗。
“繼成為 Arm 首家在華圖像信號處理器的認(rèn)證調(diào)式夥伴后,誠邁科技也成為首批加入 Arm 智能視覺伙伴項目的成員。誠邁科技計算機(jī)視覺事業(yè)部總經(jīng)理韓薇明確表達(dá):通過 Arm 先進(jìn)的處理器與 Arm 智能視覺參考設(shè)計,結(jié)合誠邁科技在軟件方面的專業(yè)積累與機(jī)器視覺的全套解決方案,加入這項計劃將能助力誠邁科技加速智能視覺在各領(lǐng)域的落地應(yīng)用,為客戶帶來更高效率、性能與創(chuàng)新優(yōu)勢。”
Arm 智能視覺合作伙伴計劃一經(jīng)推出便獲得業(yè)界的巨大支持,目前已有十多家生態(tài)伙伴已加入
隨著 AI 和大模型的發(fā)展,智能視覺技術(shù)將無處不在。在視覺成為普適能力的趨勢下,預(yù)先集成、預(yù)先驗證的標(biāo)準(zhǔn)化子系統(tǒng)會為加速視覺產(chǎn)品設(shè)計和創(chuàng)新提供堅實的基礎(chǔ)。而實現(xiàn)視覺領(lǐng)域內(nèi)不斷創(chuàng)新的愿景更需要整個生態(tài)系統(tǒng)的協(xié)同合作,相信 Arm 及生態(tài)伙伴將共同創(chuàng)建智能視覺的未來!
本文作者:Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健
(文章來源公眾號:Arm社區(qū))
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
關(guān)于億道電子
上海億道電子技術(shù)有限公司是國內(nèi)資深的研發(fā)工具軟件提供商,公司成立于2009年,面向中國廣大的制造業(yè)客戶提供研發(fā)、設(shè)計、管理過程中使用的各種軟件開發(fā)工具,致力于幫助客戶提高研發(fā)管理效率、縮短產(chǎn)品設(shè)計周期,提升產(chǎn)品可靠性。
十多年來,先后與ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立戰(zhàn)略合作伙伴關(guān)系,并作為他們在中國區(qū)的主要分銷合作伙伴服務(wù)了數(shù)千家中國本土客戶,為客戶提供從芯片級開發(fā)工具、EDA設(shè)計工具、軟件編譯以及測試工具、結(jié)構(gòu)設(shè)計工具、仿真工具、電氣設(shè)計工具、以及嵌入式GUI工具等等。億道電子憑借多年的經(jīng)驗積累,真正的幫助客戶實現(xiàn)了讓研發(fā)更簡單、更可靠、更高效的目標(biāo)。
歡迎關(guān)注“億道電子”公眾號
了解更多研發(fā)工具軟件知識