愛鋒貝

標(biāo)題: 芯技術(shù) | ISP和AI ISP不是非此即彼而是1+1＞2 [打印本頁]

作者: 科技閻羅 時(shí)間: 2023-4-11 00:51
標(biāo)題: 芯技術(shù) | ISP和AI ISP不是非此即彼而是1+1＞2
智能化的社會(huì)生活場(chǎng)景越來越豐富，對(duì)于圖像處理的要求不斷提升，使得ISP（Image Signal Processor）的滲透率不斷增加，擔(dān)負(fù)起安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像的處理工作，滿足不同場(chǎng)景的數(shù)據(jù)處理需求。

與很多處理器芯片類似，ISP的發(fā)展也正在受到AI技術(shù)的深刻影響。通過AI模塊的加入，結(jié)合深度學(xué)習(xí)算法，AI ISP能夠?qū)D像進(jìn)行精準(zhǔn)的處理，從而為某些場(chǎng)景實(shí)現(xiàn)更高質(zhì)量的成像結(jié)果。

但AI ISP的出現(xiàn)并不意味著傳統(tǒng)ISP的終結(jié)，很多應(yīng)用場(chǎng)景依然需要傳統(tǒng)ISP來挑大梁。在相當(dāng)長的時(shí)間內(nèi)，兩者還將攜手譜寫圖像處理技術(shù)的華麗篇章。

從ISP到AI ISP

作為數(shù)字圖像處理中的關(guān)鍵部分，ISP主要用于對(duì)從傳感器中讀取的原始圖像數(shù)據(jù)進(jìn)行預(yù)處理和優(yōu)化，以提高圖像的質(zhì)量和清晰度。它可以進(jìn)行白平衡、曝光控制、色彩校正、銳化、降噪等處理，從而產(chǎn)生高質(zhì)量的圖像。

(, 下載次數(shù): 214)

ISP在實(shí)際應(yīng)用中的重要性不言而喻。對(duì)于消費(fèi)電子產(chǎn)品而言，ISP是影響拍照和錄像質(zhì)量的關(guān)鍵因素之一。智能手機(jī)等移動(dòng)設(shè)備中的ISP可以快速響應(yīng)環(huán)境變化和用戶需求，實(shí)現(xiàn)自動(dòng)對(duì)焦、HDR、人像模式等功能，提供更加出色的拍照體驗(yàn)。

除了消費(fèi)電子產(chǎn)品外，ISP在安防監(jiān)控、醫(yī)療影像、工業(yè)檢測(cè)、自動(dòng)駕駛等領(lǐng)域也有廣泛應(yīng)用。在安防監(jiān)控方面，ISP可以自動(dòng)檢測(cè)行人、車輛等物體，減少誤報(bào)率；在醫(yī)療影像方面，ISP可以提高圖像對(duì)比度、銳度和清晰度，幫助醫(yī)生做出更加精確的診斷；在自動(dòng)駕駛領(lǐng)域，ISP可以通過處理車載攝像頭拍攝到的圖像和視頻數(shù)據(jù)，實(shí)現(xiàn)智能駕駛、車道偏離預(yù)警等功能。

(, 下載次數(shù): 197)

不過，當(dāng)面對(duì)越來越高的場(chǎng)景復(fù)雜度和特殊的圖像質(zhì)量要求時(shí)，傳統(tǒng)ISP正面臨了參數(shù)庫逐漸龐大、調(diào)試?yán)щy、開發(fā)周期逐步拉長等挑戰(zhàn)。以AI技術(shù)為輔助，通過機(jī)器學(xué)習(xí)的方法來強(qiáng)化ISP的功能就成為技術(shù)發(fā)展的重要方向，由此誕生了AI ISP。

利用AI算力深度學(xué)習(xí)海量場(chǎng)景和數(shù)據(jù)，智能調(diào)優(yōu)復(fù)雜參數(shù)，輸出算法模型輔助圖像處理，使圖像質(zhì)量獲得大幅改善。AI與傳統(tǒng)ISP的結(jié)合趨勢(shì)在手機(jī)中非常突出，并且也在走入安防、無人機(jī)等領(lǐng)域。

酷芯微電子AI IP總監(jiān)沈沙指出，暗光條件下的降噪、對(duì)比度增強(qiáng)和場(chǎng)景的提亮，AI ISP在這三個(gè)方面的表現(xiàn)超過了傳統(tǒng)的ISP。

在不少應(yīng)用中，得到了端側(cè)大算力的支持，AI ISP的強(qiáng)大功能就可以得到全部發(fā)揮，獲得比傳統(tǒng)ISP更優(yōu)的效果。但這是否意味著AI ISP可能全部取代傳統(tǒng)ISP呢？答案可能并非如此。

花開兩支各有勝場(chǎng)

AI ISP強(qiáng)大的功能也意味著更大的能耗，其訓(xùn)練和推理過程需要消耗大量的能量和資源。而傳統(tǒng)ISP通常采用硬件實(shí)現(xiàn)，能夠在低功耗下進(jìn)行高效的圖像處理，因此在很多通用場(chǎng)景下，傳統(tǒng)ISP的功耗要遠(yuǎn)低于AI ISP。
并且，如果要用AI ISP來替代傳統(tǒng)ISP，就需要用AI來實(shí)現(xiàn)端到端的ISP流水線，甚至直接對(duì)從傳感器輸出的原始數(shù)據(jù)進(jìn)行AI算法處理。這無疑會(huì)加大芯片算力和功耗的負(fù)擔(dān)。

據(jù)沈沙介紹，實(shí)際應(yīng)用中，芯片算力預(yù)留上能夠給AI ISP的空間較?。簲z像頭分辨率的選擇、是否需要開啟視頻編解碼功能滿足視頻的本地存儲(chǔ)，每增加一個(gè)模塊，功耗就會(huì)上升。比如，嵌入式應(yīng)用中的15×15mm2封裝尺寸SOC芯片，功率上限是4~5w，2~2.5w用于視頻處理，2.5w用于NPU，如果功耗需要控制在2~3w，對(duì)于NPU算力就有更嚴(yán)苛的要求，而NPU正是AI ISP的AI核心。

另一重挑戰(zhàn)來自對(duì)AI ISP的調(diào)教上。在這方面，傳統(tǒng)ISP發(fā)展多年，在圖像處理算法已經(jīng)具備很多優(yōu)勢(shì)，面對(duì)碎片化場(chǎng)景，能夠明確、精準(zhǔn)的滿足客戶需求，方便具體追蹤和針對(duì)性調(diào)試。與之相對(duì)，AI算法更基于模型訓(xùn)練，但對(duì)后期效果的調(diào)參缺乏可追蹤性，對(duì)調(diào)教工程師和AI算法工程師的配合工作提出很大挑戰(zhàn)。
即使如酷芯擁有經(jīng)驗(yàn)豐富的圖像調(diào)試工程師、圖像數(shù)據(jù)集、工具鏈，從0開始人工完成一個(gè)好的傳統(tǒng)ISP算法調(diào)教需要3-5天。但訓(xùn)練一個(gè)成熟的神經(jīng)網(wǎng)絡(luò)模型需要一個(gè)星期到一個(gè)月的時(shí)間，且無法保證訓(xùn)練效果，再加上對(duì)不同的鏡頭、傳感器都需要重新訓(xùn)練，工作量巨大。同時(shí)，AI ISP還需要大量的訓(xùn)練數(shù)據(jù)和算力來進(jìn)行模型訓(xùn)練和推理，而這些都需要較高的成本支出。
沈沙還給出兩條AI ISP暫時(shí)無法替代傳統(tǒng)ISP的理由：圖像質(zhì)量的好壞判斷從人眼視角出發(fā)，無法清晰給出可觀可追溯的方向指令；在設(shè)計(jì)和功能實(shí)現(xiàn)上難以兼顧多場(chǎng)景通用性、算法調(diào)整靈活性、芯片面積占用率、低功耗和DDR帶寬需求。

“比如去除圖像中的壞點(diǎn)，做一些簡單的顏色空間轉(zhuǎn)換，整體的亮度拉升，傳統(tǒng)的ISP算法已經(jīng)做得很好，業(yè)界還是傾向于對(duì)其進(jìn)行保留。”沈沙因此判斷，AI圖像處理更適合在降噪、低光照、暗光提亮等方面，而傳統(tǒng)ISP在正常情況下已經(jīng)達(dá)到人眼視覺的效果，AI ISP將更多扮演功能補(bǔ)足的角色，兩者將長期共存。

以具體的應(yīng)用為例。在手機(jī)等消費(fèi)電子產(chǎn)品中，對(duì)于夜視攝像的色彩還原度有較高要求，且消費(fèi)者愿意為夜景和高圖像畫質(zhì)買單，AI ISP的發(fā)展前景會(huì)更寬廣。在安防等工業(yè)應(yīng)用中，對(duì)夜視效果下的物體和細(xì)節(jié)識(shí)別有較高要求，對(duì)拖影識(shí)別要求較低，對(duì)產(chǎn)品性價(jià)比和實(shí)用性有更高要求，適合以傳統(tǒng)ISP為主，AI ISP為輔的技術(shù)方向。

兩者融合將是大趨勢(shì)

AI ISP和傳統(tǒng)ISP并不是相互對(duì)立的關(guān)系，廠商們正在努力將兩者進(jìn)行結(jié)合，以達(dá)到最大的組合優(yōu)勢(shì)。

以視頻中的運(yùn)動(dòng)場(chǎng)景為例，傳統(tǒng)ISP需要借助AI ISP技術(shù)，將運(yùn)動(dòng)物體、其拖影、背景做相應(yīng)的識(shí)別分離，再利用傳統(tǒng)ISP進(jìn)行調(diào)試。這對(duì)于汽車電子尤為重要，因?yàn)槠鋵?duì)產(chǎn)品效果和實(shí)用性有極高要求，拖影識(shí)別會(huì)影像對(duì)前方物體位置的判斷，整體影響汽車行路安全性的判斷。

這就是最常見的以傳統(tǒng)ISP為主，AI ISP為輔的合作模式。具體而言，針對(duì)性場(chǎng)景通過圖像調(diào)試工程師算法調(diào)參的方式人為把控，達(dá)到效果最優(yōu)化。AI ISP主要處理超感光降噪，低照度甚至暗光場(chǎng)景，或針對(duì)傳統(tǒng)ISP目前薄弱的環(huán)節(jié)，為AI ISP提供優(yōu)劣對(duì)比明顯的圖像數(shù)據(jù)集對(duì)其進(jìn)行精確訓(xùn)練。

(, 下載次數(shù): 204)

根據(jù)業(yè)務(wù)發(fā)展和賽道選擇，以客戶對(duì)圖像畫質(zhì)、計(jì)算精度和芯片架構(gòu)為考量，酷芯選擇了采用獨(dú)立ISP+獨(dú)立NPU的方式，并基于NPU在主流神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和算子支持上根據(jù)芯片產(chǎn)品的實(shí)測(cè)效果，從算法集到芯片架構(gòu)集，更傾向于選擇降低DDR帶寬的更實(shí)用的策略。

(, 下載次數(shù): 182)

▲深度學(xué)習(xí)與傳統(tǒng)ISP結(jié)合，可顯著降低夜間3D降噪導(dǎo)致的拖影，大大提升AI 識(shí)別準(zhǔn)確度。

(, 下載次數(shù): 153)

▲雙光融合效果對(duì)比

視頻畫質(zhì)至關(guān)重要，因此高性能的ISP也是邊緣端芯片的核心技術(shù)。酷芯完全自主研發(fā)的ISP畫質(zhì)優(yōu)異，并在低照度、高亮度差畫面、快速運(yùn)動(dòng)畫面、電子防抖等領(lǐng)域領(lǐng)先行業(yè)，在2D降噪、3D降噪、HDR、去霧、邊緣增強(qiáng)等各方面也表現(xiàn)優(yōu)異。比如，AR9341芯片集成了酷芯自研的第二代HiFi-ISP，具有極佳的降噪和寬動(dòng)態(tài)性能；除了可見光ISP外，還集成了紅外熱成像ISP的功能，具有非常廣泛的適應(yīng)性；另外，ISP還可以與AI算法互動(dòng)并自適應(yīng)調(diào)整，進(jìn)一步提升AI算法的運(yùn)行準(zhǔn)確度。

同時(shí)，酷芯100%自研的NPU，也在網(wǎng)絡(luò)適配性、性能、功耗、利用率、DDR占用、量化精度等全面超越目前所有的第三方授權(quán)IP。

(, 下載次數(shù): 194)

此外，酷芯獨(dú)立開發(fā)配套的軟件工具鏈也能為應(yīng)用開發(fā)提供很好的支持。以AI支持能力為例，酷芯AR9341基于異構(gòu)架構(gòu)，其NPU提供有完整的工具鏈軟件包，支持CAFFE, TensorFlow, Pytorch等主流AI框架，同時(shí)還支持業(yè)界普遍采用的ONNX框架作為中間表示層，如果客戶采用了一些當(dāng)前工具鏈尚不支持的小眾AI框架，只需要轉(zhuǎn)換為ONNX模型，即可采用基于圖形化界面的NPU工具鏈，支持方案商將算法一鍵部署到AR9341上。

ISP的技術(shù)還在不斷演進(jìn)，AI的融合只是其中一個(gè)方向，還有更多的前沿課題需要研究。為此，酷芯與上海大學(xué)和復(fù)旦大學(xué)的實(shí)驗(yàn)室已經(jīng)開展了緊密的科研合作，進(jìn)行前沿技術(shù)課題的探索。

通過這種強(qiáng)強(qiáng)聯(lián)合，酷芯公司內(nèi)部的軟件、硬件團(tuán)隊(duì)才能不斷實(shí)現(xiàn)最新技術(shù)的轉(zhuǎn)化，持續(xù)推出優(yōu)異的產(chǎn)品，而公司和高校之間也形成了人才培養(yǎng)的一個(gè)良性渠道，為國內(nèi)ISP專業(yè)人才的培養(yǎng)，奠定了一個(gè)堅(jiān)實(shí)的基礎(chǔ)。

關(guān)于酷芯微電子
合肥酷芯微電子有限公司（前上海酷芯微電子有限公司）成立于2011年7月，致力于成為全球智能芯片領(lǐng)導(dǎo)者。公司依托智能感知、智能計(jì)算、智能傳輸三大核心技術(shù)，通過自主研發(fā)芯片核心架構(gòu)、核心IP，提供專用于人工智能的高性能低功耗芯片及相關(guān)工具鏈解決方案。產(chǎn)品主要應(yīng)用于智能安防、智能硬件、智能車載等多個(gè)領(lǐng)域。
酷芯微電子總部位于合肥高新區(qū)，并在上海、成都、深圳等多地開設(shè)分、子公司。目前擁有員工逾200人，技術(shù)開發(fā)人員占比80%以上，均擁有碩士或博士學(xué)位。2016年榮獲“高新技術(shù)企業(yè)”稱號(hào)，2017年被認(rèn)定為上海市科技小巨人，2019年入選上海市“專精特新”企業(yè)名單。

-----------------------------

歡迎光臨愛鋒貝 (http://m.7gfy2te7.cn/)