芯技術(shù) | ISP和AI ISP不是非此即彼 而是1+1＞2

科技閻羅

智能化的社會生活場景越來越豐富，對于圖像處理的要求不斷提升，使得ISP（Image Signal Processor）的滲透率不斷增加，擔(dān)負(fù)起安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像的處理工作，滿足不同場景的數(shù)據(jù)處理需求。

與很多處理器芯片類似，ISP的發(fā)展也正在受到AI技術(shù)的深刻影響。通過AI模塊的加入，結(jié)合深度學(xué)習(xí)算法，AI ISP能夠?qū)D像進(jìn)行精準(zhǔn)的處理，從而為某些場景實現(xiàn)更高質(zhì)量的成像結(jié)果。

但AI ISP的出現(xiàn)并不意味著傳統(tǒng)ISP的終結(jié)，很多應(yīng)用場景依然需要傳統(tǒng)ISP來挑大梁。在相當(dāng)長的時間內(nèi)，兩者還將攜手譜寫圖像處理技術(shù)的華麗篇章。

從ISP到AI ISP


作為數(shù)字圖像處理中的關(guān)鍵部分，ISP主要用于對從傳感器中讀取的原始圖像數(shù)據(jù)進(jìn)行預(yù)處理和優(yōu)化，以提高圖像的質(zhì)量和清晰度。它可以進(jìn)行白平衡、曝光控制、色彩校正、銳化、降噪等處理，從而產(chǎn)生高質(zhì)量的圖像。

登錄/注冊后可看大圖

ISP在實際應(yīng)用中的重要性不言而喻。對于消費電子產(chǎn)品而言，ISP是影響拍照和錄像質(zhì)量的關(guān)鍵因素之一。智能手機(jī)等移動設(shè)備中的ISP可以快速響應(yīng)環(huán)境變化和用戶需求，實現(xiàn)自動對焦、HDR、人像模式等功能，提供更加出色的拍照體驗。

除了消費電子產(chǎn)品外，ISP在安防監(jiān)控、醫(yī)療影像、工業(yè)檢測、自動駕駛等領(lǐng)域也有廣泛應(yīng)用。在安防監(jiān)控方面，ISP可以自動檢測行人、車輛等物體，減少誤報率；在醫(yī)療影像方面，ISP可以提高圖像對比度、銳度和清晰度，幫助醫(yī)生做出更加精確的診斷；在自動駕駛領(lǐng)域，ISP可以通過處理車載攝像頭拍攝到的圖像和視頻數(shù)據(jù)，實現(xiàn)智能駕駛、車道偏離預(yù)警等功能。

登錄/注冊后可看大圖

不過，當(dāng)面對越來越高的場景復(fù)雜度和特殊的圖像質(zhì)量要求時，傳統(tǒng)ISP正面臨了參數(shù)庫逐漸龐大、調(diào)試?yán)щy、開發(fā)周期逐步拉長等挑戰(zhàn)。以AI技術(shù)為輔助，通過機(jī)器學(xué)習(xí)的方法來強(qiáng)化ISP的功能就成為技術(shù)發(fā)展的重要方向，由此誕生了AI ISP。

利用AI算力深度學(xué)習(xí)海量場景和數(shù)據(jù)，智能調(diào)優(yōu)復(fù)雜參數(shù)，輸出算法模型輔助圖像處理，使圖像質(zhì)量獲得大幅改善。AI與傳統(tǒng)ISP的結(jié)合趨勢在手機(jī)中非常突出，并且也在走入安防、無人機(jī)等領(lǐng)域。

酷芯微電子AI IP總監(jiān)沈沙指出，暗光條件下的降噪、對比度增強(qiáng)和場景的提亮，AI ISP在這三個方面的表現(xiàn)超過了傳統(tǒng)的ISP。

在不少應(yīng)用中，得到了端側(cè)大算力的支持，AI ISP的強(qiáng)大功能就可以得到全部發(fā)揮，獲得比傳統(tǒng)ISP更優(yōu)的效果。但這是否意味著AI ISP可能全部取代傳統(tǒng)ISP呢？答案可能并非如此。

花開兩支 各有勝場


AI ISP強(qiáng)大的功能也意味著更大的能耗，其訓(xùn)練和推理過程需要消耗大量的能量和資源。而傳統(tǒng)ISP通常采用硬件實現(xiàn)，能夠在低功耗下進(jìn)行高效的圖像處理，因此在很多通用場景下，傳統(tǒng)ISP的功耗要遠(yuǎn)低于AI ISP。
并且，如果要用AI ISP來替代傳統(tǒng)ISP，就需要用AI來實現(xiàn)端到端的ISP流水線，甚至直接對從傳感器輸出的原始數(shù)據(jù)進(jìn)行AI算法處理。這無疑會加大芯片算力和功耗的負(fù)擔(dān)。

據(jù)沈沙介紹，實際應(yīng)用中，芯片算力預(yù)留上能夠給AI ISP的空間較?。簲z像頭分辨率的選擇、是否需要開啟視頻編解碼功能滿足視頻的本地存儲，每增加一個模塊，功耗就會上升。比如，嵌入式應(yīng)用中的15×15mm2封裝尺寸SOC芯片，功率上限是4~5w，2~2.5w用于視頻處理，2.5w用于NPU，如果功耗需要控制在2~3w，對于NPU算力就有更嚴(yán)苛的要求，而NPU正是AI ISP的AI核心。

另一重挑戰(zhàn)來自對AI ISP的調(diào)教上。在這方面，傳統(tǒng)ISP發(fā)展多年，在圖像處理算法已經(jīng)具備很多優(yōu)勢，面對碎片化場景，能夠明確、精準(zhǔn)的滿足客戶需求，方便具體追蹤和針對性調(diào)試。與之相對，AI算法更基于模型訓(xùn)練，但對后期效果的調(diào)參缺乏可追蹤性，對調(diào)教工程師和AI算法工程師的配合工作提出很大挑戰(zhàn)。
即使如酷芯擁有經(jīng)驗豐富的圖像調(diào)試工程師、圖像數(shù)據(jù)集、工具鏈，從0開始人工完成一個好的傳統(tǒng)ISP算法調(diào)教需要3-5天。但訓(xùn)練一個成熟的神經(jīng)網(wǎng)絡(luò)模型需要一個星期到一個月的時間，且無法保證訓(xùn)練效果，再加上對不同的鏡頭、傳感器都需要重新訓(xùn)練，工作量巨大。同時，AI ISP還需要大量的訓(xùn)練數(shù)據(jù)和算力來進(jìn)行模型訓(xùn)練和推理，而這些都需要較高的成本支出。
沈沙還給出兩條AI ISP暫時無法替代傳統(tǒng)ISP的理由：圖像質(zhì)量的好壞判斷從人眼視角出發(fā)，無法清晰給出可觀可追溯的方向指令；在設(shè)計和功能實現(xiàn)上難以兼顧多場景通用性、算法調(diào)整靈活性、芯片面積占用率、低功耗和DDR帶寬需求。

“比如去除圖像中的壞點，做一些簡單的顏色空間轉(zhuǎn)換，整體的亮度拉升，傳統(tǒng)的ISP算法已經(jīng)做得很好，業(yè)界還是傾向于對其進(jìn)行保留?！鄙蛏骋虼伺袛啵珹I圖像處理更適合在降噪、低光照、暗光提亮等方面，而傳統(tǒng)ISP在正常情況下已經(jīng)達(dá)到人眼視覺的效果，AI ISP將更多扮演功能補(bǔ)足的角色，兩者將長期共存。

以具體的應(yīng)用為例。在手機(jī)等消費電子產(chǎn)品中，對于夜視攝像的色彩還原度有較高要求，且消費者愿意為夜景和高圖像畫質(zhì)買單，AI ISP的發(fā)展前景會更寬廣。在安防等工業(yè)應(yīng)用中，對夜視效果下的物體和細(xì)節(jié)識別有較高要求，對拖影識別要求較低，對產(chǎn)品性價比和實用性有更高要求，適合以傳統(tǒng)ISP為主，AI ISP為輔的技術(shù)方向。

兩者融合將是大趨勢


AI ISP和傳統(tǒng)ISP并不是相互對立的關(guān)系，廠商們正在努力將兩者進(jìn)行結(jié)合，以達(dá)到最大的組合優(yōu)勢。

以視頻中的運動場景為例，傳統(tǒng)ISP需要借助AI ISP技術(shù)，將運動物體、其拖影、背景做相應(yīng)的識別分離，再利用傳統(tǒng)ISP進(jìn)行調(diào)試。這對于汽車電子尤為重要，因為其對產(chǎn)品效果和實用性有極高要求，拖影識別會影像對前方物體位置的判斷，整體影響汽車行路安全性的判斷。

這就是最常見的以傳統(tǒng)ISP為主，AI ISP為輔的合作模式。具體而言，針對性場景通過圖像調(diào)試工程師算法調(diào)參的方式人為把控，達(dá)到效果最優(yōu)化。AI ISP主要處理超感光降噪，低照度甚至暗光場景，或針對傳統(tǒng)ISP目前薄弱的環(huán)節(jié)，為AI ISP提供優(yōu)劣對比明顯的圖像數(shù)據(jù)集對其進(jìn)行精確訓(xùn)練。

登錄/注冊后可看大圖

根據(jù)業(yè)務(wù)發(fā)展和賽道選擇，以客戶對圖像畫質(zhì)、計算精度和芯片架構(gòu)為考量，酷芯選擇了采用獨立ISP+獨立NPU的方式，并基于NPU在主流神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和算子支持上根據(jù)芯片產(chǎn)品的實測效果，從算法集到芯片架構(gòu)集，更傾向于選擇降低DDR帶寬的更實用的策略。

登錄/注冊后可看大圖

▲深度學(xué)習(xí)與傳統(tǒng)ISP結(jié)合，可顯著降低夜間3D降噪導(dǎo)致的拖影，大大提升AI 識別準(zhǔn)確度。

登錄/注冊后可看大圖

▲雙光融合效果對比

視頻畫質(zhì)至關(guān)重要，因此高性能的ISP也是邊緣端芯片的核心技術(shù)?？嵝就耆灾餮邪l(fā)的ISP畫質(zhì)優(yōu)異，并在低照度、高亮度差畫面、快速運動畫面、電子防抖等領(lǐng)域領(lǐng)先行業(yè)，在2D降噪、3D降噪、HDR、去霧、邊緣增強(qiáng)等各方面也表現(xiàn)優(yōu)異。比如，AR9341芯片集成了酷芯自研的第二代HiFi-ISP，具有極佳的降噪和寬動態(tài)性能；除了可見光ISP外，還集成了紅外熱成像ISP的功能，具有非常廣泛的適應(yīng)性；另外，ISP還可以與AI算法互動并自適應(yīng)調(diào)整，進(jìn)一步提升AI算法的運行準(zhǔn)確度。

同時，酷芯100%自研的NPU，也在網(wǎng)絡(luò)適配性、性能、功耗、利用率、DDR占用、量化精度等全面超越目前所有的第三方授權(quán)IP。

登錄/注冊后可看大圖

此外，酷芯獨立開發(fā)配套的軟件工具鏈也能為應(yīng)用開發(fā)提供很好的支持。以AI支持能力為例，酷芯AR9341基于異構(gòu)架構(gòu)，其NPU提供有完整的工具鏈軟件包，支持CAFFE, TensorFlow, Pytorch等主流AI框架，同時還支持業(yè)界普遍采用的ONNX框架作為中間表示層，如果客戶采用了一些當(dāng)前工具鏈尚不支持的小眾AI框架，只需要轉(zhuǎn)換為ONNX模型，即可采用基于圖形化界面的NPU工具鏈，支持方案商將算法一鍵部署到AR9341上。

ISP的技術(shù)還在不斷演進(jìn)，AI的融合只是其中一個方向，還有更多的前沿課題需要研究。為此，酷芯與上海大學(xué)和復(fù)旦大學(xué)的實驗室已經(jīng)開展了緊密的科研合作，進(jìn)行前沿技術(shù)課題的探索。

通過這種強(qiáng)強(qiáng)聯(lián)合，酷芯公司內(nèi)部的軟件、硬件團(tuán)隊才能不斷實現(xiàn)最新技術(shù)的轉(zhuǎn)化，持續(xù)推出優(yōu)異的產(chǎn)品，而公司和高校之間也形成了人才培養(yǎng)的一個良性渠道，為國內(nèi)ISP專業(yè)人才的培養(yǎng)，奠定了一個堅實的基礎(chǔ)。

關(guān)于酷芯微電子
合肥酷芯微電子有限公司（前上?？嵝疚㈦娮佑邢薰荆┏闪⒂?011年7月，致力于成為全球智能芯片領(lǐng)導(dǎo)者。公司依托智能感知、智能計算、智能傳輸三大核心技術(shù)，通過自主研發(fā)芯片核心架構(gòu)、核心IP，提供專用于人工智能的高性能低功耗芯片及相關(guān)工具鏈解決方案。產(chǎn)品主要應(yīng)用于智能安防、智能硬件、智能車載等多個領(lǐng)域。
酷芯微電子總部位于合肥高新區(qū)，并在上海、成都、深圳等多地開設(shè)分、子公司。目前擁有員工逾200人，技術(shù)開發(fā)人員占比80%以上，均擁有碩士或博士學(xué)位。2016年榮獲“高新技術(shù)企業(yè)”稱號，2017年被認(rèn)定為上海市科技小巨人，2019年入選上海市“專精特新”企業(yè)名單。

-----------------------------