芯技術 | ISP和AI ISP不是非此即彼 而是1+1＞2

科技閻羅

智能化的社會生活場景越來越豐富，對于圖像處理的要求不斷提升，使得ISP（Image Signal Processor）的滲透率不斷增加，擔負起安防監(jiān)控、AIoT 及智能汽車等領域的視頻、圖像的處理工作，滿足不同場景的數(shù)據處理需求。

與很多處理器芯片類似，ISP的發(fā)展也正在受到AI技術的深刻影響。通過AI模塊的加入，結合深度學習算法，AI ISP能夠對圖像進行精準的處理，從而為某些場景實現(xiàn)更高質量的成像結果。

但AI ISP的出現(xiàn)并不意味著傳統(tǒng)ISP的終結，很多應用場景依然需要傳統(tǒng)ISP來挑大梁。在相當長的時間內，兩者還將攜手譜寫圖像處理技術的華麗篇章。

從ISP到AI ISP


作為數(shù)字圖像處理中的關鍵部分，ISP主要用于對從傳感器中讀取的原始圖像數(shù)據進行預處理和優(yōu)化，以提高圖像的質量和清晰度。它可以進行白平衡、曝光控制、色彩校正、銳化、降噪等處理，從而產生高質量的圖像。

登錄/注冊后可看大圖

ISP在實際應用中的重要性不言而喻。對于消費電子產品而言，ISP是影響拍照和錄像質量的關鍵因素之一。智能手機等移動設備中的ISP可以快速響應環(huán)境變化和用戶需求，實現(xiàn)自動對焦、HDR、人像模式等功能，提供更加出色的拍照體驗。

除了消費電子產品外，ISP在安防監(jiān)控、醫(yī)療影像、工業(yè)檢測、自動駕駛等領域也有廣泛應用。在安防監(jiān)控方面，ISP可以自動檢測行人、車輛等物體，減少誤報率；在醫(yī)療影像方面，ISP可以提高圖像對比度、銳度和清晰度，幫助醫(yī)生做出更加精確的診斷；在自動駕駛領域，ISP可以通過處理車載攝像頭拍攝到的圖像和視頻數(shù)據，實現(xiàn)智能駕駛、車道偏離預警等功能。

登錄/注冊后可看大圖

不過，當面對越來越高的場景復雜度和特殊的圖像質量要求時，傳統(tǒng)ISP正面臨了參數(shù)庫逐漸龐大、調試困難、開發(fā)周期逐步拉長等挑戰(zhàn)。以AI技術為輔助，通過機器學習的方法來強化ISP的功能就成為技術發(fā)展的重要方向，由此誕生了AI ISP。

利用AI算力深度學習海量場景和數(shù)據，智能調優(yōu)復雜參數(shù)，輸出算法模型輔助圖像處理，使圖像質量獲得大幅改善。AI與傳統(tǒng)ISP的結合趨勢在手機中非常突出，并且也在走入安防、無人機等領域。

酷芯微電子AI IP總監(jiān)沈沙指出，暗光條件下的降噪、對比度增強和場景的提亮，AI ISP在這三個方面的表現(xiàn)超過了傳統(tǒng)的ISP。

在不少應用中，得到了端側大算力的支持，AI ISP的強大功能就可以得到全部發(fā)揮，獲得比傳統(tǒng)ISP更優(yōu)的效果。但這是否意味著AI ISP可能全部取代傳統(tǒng)ISP呢？答案可能并非如此。

花開兩支 各有勝場


AI ISP強大的功能也意味著更大的能耗，其訓練和推理過程需要消耗大量的能量和資源。而傳統(tǒng)ISP通常采用硬件實現(xiàn)，能夠在低功耗下進行高效的圖像處理，因此在很多通用場景下，傳統(tǒng)ISP的功耗要遠低于AI ISP。
并且，如果要用AI ISP來替代傳統(tǒng)ISP，就需要用AI來實現(xiàn)端到端的ISP流水線，甚至直接對從傳感器輸出的原始數(shù)據進行AI算法處理。這無疑會加大芯片算力和功耗的負擔。

據沈沙介紹，實際應用中，芯片算力預留上能夠給AI ISP的空間較?。簲z像頭分辨率的選擇、是否需要開啟視頻編解碼功能滿足視頻的本地存儲，每增加一個模塊，功耗就會上升。比如，嵌入式應用中的15×15mm2封裝尺寸SOC芯片，功率上限是4~5w，2~2.5w用于視頻處理，2.5w用于NPU，如果功耗需要控制在2~3w，對于NPU算力就有更嚴苛的要求，而NPU正是AI ISP的AI核心。

另一重挑戰(zhàn)來自對AI ISP的調教上。在這方面，傳統(tǒng)ISP發(fā)展多年，在圖像處理算法已經具備很多優(yōu)勢，面對碎片化場景，能夠明確、精準的滿足客戶需求，方便具體追蹤和針對性調試。與之相對，AI算法更基于模型訓練，但對后期效果的調參缺乏可追蹤性，對調教工程師和AI算法工程師的配合工作提出很大挑戰(zhàn)。
即使如酷芯擁有經驗豐富的圖像調試工程師、圖像數(shù)據集、工具鏈，從0開始人工完成一個好的傳統(tǒng)ISP算法調教需要3-5天。但訓練一個成熟的神經網絡模型需要一個星期到一個月的時間，且無法保證訓練效果，再加上對不同的鏡頭、傳感器都需要重新訓練，工作量巨大。同時，AI ISP還需要大量的訓練數(shù)據和算力來進行模型訓練和推理，而這些都需要較高的成本支出。
沈沙還給出兩條AI ISP暫時無法替代傳統(tǒng)ISP的理由：圖像質量的好壞判斷從人眼視角出發(fā)，無法清晰給出可觀可追溯的方向指令；在設計和功能實現(xiàn)上難以兼顧多場景通用性、算法調整靈活性、芯片面積占用率、低功耗和DDR帶寬需求。

“比如去除圖像中的壞點，做一些簡單的顏色空間轉換，整體的亮度拉升，傳統(tǒng)的ISP算法已經做得很好，業(yè)界還是傾向于對其進行保留?！鄙蛏骋虼伺袛?，AI圖像處理更適合在降噪、低光照、暗光提亮等方面，而傳統(tǒng)ISP在正常情況下已經達到人眼視覺的效果，AI ISP將更多扮演功能補足的角色，兩者將長期共存。

以具體的應用為例。在手機等消費電子產品中，對于夜視攝像的色彩還原度有較高要求，且消費者愿意為夜景和高圖像畫質買單，AI ISP的發(fā)展前景會更寬廣。在安防等工業(yè)應用中，對夜視效果下的物體和細節(jié)識別有較高要求，對拖影識別要求較低，對產品性價比和實用性有更高要求，適合以傳統(tǒng)ISP為主，AI ISP為輔的技術方向。

兩者融合將是大趨勢


AI ISP和傳統(tǒng)ISP并不是相互對立的關系，廠商們正在努力將兩者進行結合，以達到最大的組合優(yōu)勢。

以視頻中的運動場景為例，傳統(tǒng)ISP需要借助AI ISP技術，將運動物體、其拖影、背景做相應的識別分離，再利用傳統(tǒng)ISP進行調試。這對于汽車電子尤為重要，因為其對產品效果和實用性有極高要求，拖影識別會影像對前方物體位置的判斷，整體影響汽車行路安全性的判斷。

這就是最常見的以傳統(tǒng)ISP為主，AI ISP為輔的合作模式。具體而言，針對性場景通過圖像調試工程師算法調參的方式人為把控，達到效果最優(yōu)化。AI ISP主要處理超感光降噪，低照度甚至暗光場景，或針對傳統(tǒng)ISP目前薄弱的環(huán)節(jié)，為AI ISP提供優(yōu)劣對比明顯的圖像數(shù)據集對其進行精確訓練。

登錄/注冊后可看大圖

根據業(yè)務發(fā)展和賽道選擇，以客戶對圖像畫質、計算精度和芯片架構為考量，酷芯選擇了采用獨立ISP+獨立NPU的方式，并基于NPU在主流神經網絡結構和算子支持上根據芯片產品的實測效果，從算法集到芯片架構集，更傾向于選擇降低DDR帶寬的更實用的策略。

登錄/注冊后可看大圖

▲深度學習與傳統(tǒng)ISP結合，可顯著降低夜間3D降噪導致的拖影，大大提升AI 識別準確度。

登錄/注冊后可看大圖

▲雙光融合效果對比

視頻畫質至關重要，因此高性能的ISP也是邊緣端芯片的核心技術?？嵝就耆灾餮邪l(fā)的ISP畫質優(yōu)異，并在低照度、高亮度差畫面、快速運動畫面、電子防抖等領域領先行業(yè)，在2D降噪、3D降噪、HDR、去霧、邊緣增強等各方面也表現(xiàn)優(yōu)異。比如，AR9341芯片集成了酷芯自研的第二代HiFi-ISP，具有極佳的降噪和寬動態(tài)性能；除了可見光ISP外，還集成了紅外熱成像ISP的功能，具有非常廣泛的適應性；另外，ISP還可以與AI算法互動并自適應調整，進一步提升AI算法的運行準確度。

同時，酷芯100%自研的NPU，也在網絡適配性、性能、功耗、利用率、DDR占用、量化精度等全面超越目前所有的第三方授權IP。

登錄/注冊后可看大圖

此外，酷芯獨立開發(fā)配套的軟件工具鏈也能為應用開發(fā)提供很好的支持。以AI支持能力為例，酷芯AR9341基于異構架構，其NPU提供有完整的工具鏈軟件包，支持CAFFE, TensorFlow, Pytorch等主流AI框架，同時還支持業(yè)界普遍采用的ONNX框架作為中間表示層，如果客戶采用了一些當前工具鏈尚不支持的小眾AI框架，只需要轉換為ONNX模型，即可采用基于圖形化界面的NPU工具鏈，支持方案商將算法一鍵部署到AR9341上。

ISP的技術還在不斷演進，AI的融合只是其中一個方向，還有更多的前沿課題需要研究。為此，酷芯與上海大學和復旦大學的實驗室已經開展了緊密的科研合作，進行前沿技術課題的探索。

通過這種強強聯(lián)合，酷芯公司內部的軟件、硬件團隊才能不斷實現(xiàn)最新技術的轉化，持續(xù)推出優(yōu)異的產品，而公司和高校之間也形成了人才培養(yǎng)的一個良性渠道，為國內ISP專業(yè)人才的培養(yǎng)，奠定了一個堅實的基礎。

關于酷芯微電子
合肥酷芯微電子有限公司（前上?？嵝疚㈦娮佑邢薰荆┏闪⒂?011年7月，致力于成為全球智能芯片領導者。公司依托智能感知、智能計算、智能傳輸三大核心技術，通過自主研發(fā)芯片核心架構、核心IP，提供專用于人工智能的高性能低功耗芯片及相關工具鏈解決方案。產品主要應用于智能安防、智能硬件、智能車載等多個領域。
酷芯微電子總部位于合肥高新區(qū)，并在上海、成都、深圳等多地開設分、子公司。目前擁有員工逾200人，技術開發(fā)人員占比80%以上，均擁有碩士或博士學位。2016年榮獲“高新技術企業(yè)”稱號，2017年被認定為上海市科技小巨人，2019年入選上海市“專精特新”企業(yè)名單。

-----------------------------