存算一體AI芯片的發(fā)展現(xiàn)狀

爬爬科技說

5月25日，涵蓋輕量級神經(jīng)網(wǎng)絡(luò)模型設(shè)計、模型壓縮、AI推理引擎、嵌入式AI芯片架構(gòu)創(chuàng)新等主題的GTIC 2021嵌入式AI創(chuàng)新峰會在北京舉行。此次會議中，知存科技CEO王紹迪提出的“存算一體AI芯片”再度引發(fā)業(yè)界關(guān)注。
所謂“存算一體AI芯片”，是指將傳統(tǒng)以計算為中心的架構(gòu)轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的架構(gòu)，其直接利用存儲器進行數(shù)據(jù)處理，從而把數(shù)據(jù)存儲與計算融合在同一芯片中，極大提高計算并行度與能量效率，特別適用于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域，如可穿戴設(shè)備、移動設(shè)備、智能家居等場景。本文將從傳統(tǒng)計算架構(gòu)面臨的瓶頸出發(fā)，結(jié)合存算一體AI芯片的特性及競爭格局等方面做具體介紹。
1、馮·諾依曼計算架構(gòu)面臨瓶頸
在經(jīng)典的馮·諾依曼計算架構(gòu)下，數(shù)據(jù)存儲與數(shù)據(jù)處理相互分離，存儲器與處理器之間通過數(shù)據(jù)總線進行數(shù)據(jù)傳輸。在當(dāng)前面向大數(shù)據(jù)分析的應(yīng)用場景中，馮·諾依曼計算架構(gòu)已成為高性能低功耗計算系統(tǒng)面臨的主要瓶頸之一。一方面，數(shù)據(jù)總線的有限帶寬嚴重制約處理器的性能與效率，另一方面，存儲器與處理器之間也存在嚴重的性能不匹配問題。
具體而言，在執(zhí)行運算時數(shù)據(jù)從存儲器經(jīng)過數(shù)據(jù)總線進入處理器，數(shù)據(jù)處理后再轉(zhuǎn)移到存儲器當(dāng)中。這就好比一個沙漏，其中沙子代表數(shù)據(jù)，沙漏兩端分別代表存儲器和處理器，連接沙漏兩端的狹窄通道代表數(shù)據(jù)總線，存儲器帶寬在很大程度上限制了處理器的性能發(fā)揮，此種現(xiàn)象被稱為“存儲墻瓶頸”。此外，數(shù)據(jù)在存儲器與處理器之間的頻繁遷移帶來嚴重的傳輸功耗問題，稱為“功耗墻瓶頸”。由于存儲墻瓶頸和功耗墻瓶頸的存在，馮·諾依曼計算架構(gòu)不再適用于AIoT場景，因此亟需新型的計算架構(gòu)應(yīng)對未來應(yīng)用場景的挑戰(zhàn)。

登錄/注冊后可看大圖

2、存算一體AI芯片的發(fā)展歷程
存算一體（Logic-in-Memory）最早可追溯至20世紀60年代，斯坦福研究所的Kautz等人于1969年提出了存算一體計算機概念，后續(xù)研究主要圍繞芯片電路、計算架構(gòu)、操作系統(tǒng)、系統(tǒng)應(yīng)用等層面展開，如加州大學(xué)伯克利分校（UC Berkeley）Patterson等人成功把處理器集成在DRAM內(nèi)存芯片當(dāng)中，實現(xiàn)智能存算一體的計算架構(gòu)。但受限于芯片設(shè)計復(fù)雜度與制造成本問題，以及缺少大數(shù)據(jù)應(yīng)用驅(qū)動，早期的存算一體僅停留在研究階段，并未得到實際應(yīng)用。
近年來隨著物聯(lián)網(wǎng)、人工智能等應(yīng)用領(lǐng)域的興起，技術(shù)得到國內(nèi)外學(xué)術(shù)界與產(chǎn)業(yè)界的廣泛研究與應(yīng)用。2016年，美國加州大學(xué)圣塔芭芭拉分校（UCSB）的謝源教授團隊提出利用RRAM構(gòu)建基于存算一體架構(gòu)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(PRIME)，受到業(yè)界的廣泛關(guān)注。測試結(jié)果表明，與基于馮·諾依曼計算架構(gòu)的傳統(tǒng)方案相比，PRIME可以實現(xiàn)功耗降低約20倍、速度提高約50倍。該方案可以高效地實現(xiàn)向量-矩陣乘法運算，在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)加速器領(lǐng)域具有廣闊的應(yīng)用前景。此外，杜克大學(xué)、普渡大學(xué)、斯坦福大學(xué)、馬薩諸塞大學(xué)、新加坡南洋理工大學(xué)、惠普、英特爾、鎂光等國際知名大學(xué)及企業(yè)均開展了相關(guān)研究工作，并發(fā)布了測試芯片原型。
我國在這方面的研究也取得一系列成果，如中科院微電子所劉明教授團隊、北京大學(xué)黃如教授與康晉鋒教授團隊、清華大學(xué)楊華中教授與吳華強教授團隊、中科院上海微系統(tǒng)所宋志棠教授團隊、華中科技大學(xué)繆向水教授團隊等，相繼發(fā)布相關(guān)器件和芯片原型，并通過圖像/語音識別等應(yīng)用進行了測試驗證。
3、存算一體AI芯片的主要特性

登錄/注冊后可看大圖

存算一體計算的核心思想，主要是將帶權(quán)重加乘計算的權(quán)重部分存在內(nèi)存單元中，然后在內(nèi)存的核心電路上修改，從而讓讀出的過程就是輸入數(shù)據(jù)和權(quán)重在模擬域做點乘的過程，相當(dāng)于實現(xiàn)輸入的帶權(quán)重累加，即卷積運算。同時，由于卷積運算是深度學(xué)習(xí)算法中的核心組成部分，因此存內(nèi)計算非常適合AI，對未來AI芯片的存算一體和算力突破有所幫助。
目前基于NOR Flash的存算一體芯片受到產(chǎn)業(yè)界的格外關(guān)注，其主要利用浮柵晶體管的模擬特性完成模擬乘加法運算。一個Flash存儲器中有幾十億個Flash晶體管，如果每個Flash晶體管的模擬特性都利用起來，則可以達到幾十億個乘加法的并行運算單元。存儲器中的矩陣自動完成向量×矩陣的運算，最多可以讀取1,024個數(shù)據(jù)，相當(dāng)于存儲器一次可以完成一百萬個乘法和一百萬個加法的運算。如果用馮·諾依曼架構(gòu)來執(zhí)行，則需對存儲器讀取幾萬次左右，再做百萬次的乘法和加法運算。在存算一體芯片中只需一次讀操作就可以完成并行計算，運算效率可以顯著提升。
4、存算一體AI芯片的競爭格局
自2016年UCSB發(fā)布存算一體AI芯片第一個樣片以來，多家國內(nèi)外初創(chuàng)企業(yè)陸續(xù)開展相關(guān)研發(fā)，如美國Mythic、Syntiant、中國知存科技和閃億半導(dǎo)體等，并得到包括Intel、ARM、Bosch、Amazon、Microsoft、Softbank、中芯國際等國內(nèi)外主流半導(dǎo)體企業(yè)與資本的產(chǎn)業(yè)投資。
1）國外主要企業(yè)
從國外情況來看，美國存算一體AI芯片初創(chuàng)公司Mythic于2020年底推出第一代AI芯片M1108，該芯片采用更加成熟的模擬計算技術(shù)，使得網(wǎng)絡(luò)邊緣設(shè)備訪問更加容易。在典型的深度神經(jīng)網(wǎng)絡(luò)工作負載下，M1108可達到每秒35萬億次操作的峰值性能，功耗僅為4W。Mythic在今年C輪融資中籌集7,000萬美元，由美國云服務(wù)供應(yīng)商慧與科技和著名投資管理機構(gòu)貝萊德領(lǐng)投，自成立以來Mythic的總?cè)谫Y額已達到1.65億美元。此外，美國另一家專注于語音識別的存算一體AI芯片公司Syntiant也受到微軟、英特爾、亞馬遜、博世等國際巨頭的支持，高通曾邀請Syntiant提供可穿戴設(shè)備芯片的語音解決方案。
2）國內(nèi)主要企業(yè)
（1）知存科技
知存科技為我國存算一體芯片的代表企業(yè)，其創(chuàng)始人王紹迪和郭昕婕夫婦均畢業(yè)于北京大學(xué)信息科學(xué)技術(shù)學(xué)院微電子專業(yè)，本科畢業(yè)后二人選擇共同赴美留學(xué)。其中，王紹迪進入加州大學(xué)洛杉磯分校攻讀博士學(xué)位，研究新型存儲器，而郭昕婕選擇加州大學(xué)圣塔芭芭拉分校，專注研究基于NOR Flash的存算一體芯片技術(shù)，并于2016年研發(fā)出全球第一個多層神經(jīng)網(wǎng)絡(luò)的存算一體深度學(xué)習(xí)芯片技術(shù)，首次完成存算一體的芯片驗證。2017年王紹迪歸國創(chuàng)立了知存科技，進軍存算一體芯片市場，致力于開發(fā)基于浮柵技術(shù)的數(shù)?；旌洗嫠阋惑wAI芯片，該芯片運算過程中無需緩存、內(nèi)存和邏輯運算，徹底消除了馮·諾依曼計算架構(gòu)的瓶頸，進一步提高運算效率并降低芯片成本。目前知存科技推出存算一體加速器WTM1001和存算一體SoC芯片WTM2101，WTM系列芯片用于低功耗AIoT應(yīng)用領(lǐng)域，如可穿戴設(shè)備和智能終端設(shè)備。
（2）閃億半導(dǎo)體
閃億半導(dǎo)體于2019年推出一種新型的存算一體SoC芯片，其應(yīng)用人工突觸憶阻器技術(shù)，在實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模擬計算的同時，可極大降低人工智能模塊的成本，將在未來的物聯(lián)網(wǎng)生態(tài)中發(fā)揮重要作用。據(jù)了解，閃億半導(dǎo)體于2017年創(chuàng)立，創(chuàng)始團隊分別畢業(yè)于清華大學(xué)和北京大學(xué)，專注于研發(fā)和生產(chǎn)存儲-運算陣列的SoC芯片。公司推出的閃鋅石HEXA01作為首款集成PLRAM憶阻器陣列的芯片產(chǎn)品，其算力功耗比可達到10TOPS/W，而成本卻比傳統(tǒng)AI芯片下降一半以上，能夠支持多種神經(jīng)網(wǎng)絡(luò)模型，廣泛應(yīng)用于家電和物聯(lián)網(wǎng)設(shè)備的智能控制領(lǐng)域。
（3）新憶科技
新憶科技成立于2018年，是一家擁有核心技術(shù)和自主研發(fā)能力的創(chuàng)新型高科技公司，致力于成為新型存儲器技術(shù)及應(yīng)用的領(lǐng)軍企業(yè)。公司主營業(yè)務(wù)為新型阻變存儲器（RRAM）及其周邊產(chǎn)品。包括基于RRAM的類腦計算芯片，采用新型的存算一體計算架構(gòu)、獨立式存儲器、嵌入式存儲器和周邊的SoC產(chǎn)品，應(yīng)用領(lǐng)域涵蓋物聯(lián)網(wǎng)、消費電子、醫(yī)療電子、網(wǎng)絡(luò)通信設(shè)備、汽車電子和工業(yè)控制設(shè)備等。公司原始技術(shù)及創(chuàng)始團隊均來源于清華大學(xué)新型存儲器團隊，聯(lián)合創(chuàng)始人包括清華大學(xué)多位知名教授，團隊擁有國際性的學(xué)術(shù)影響力和資深的行業(yè)經(jīng)驗。
（4）恒爍半導(dǎo)體
恒爍半導(dǎo)體于2015年11月完成第一款65nm NOR Flash產(chǎn)品研發(fā)，2016年1月系列產(chǎn)品開始送樣、新產(chǎn)品流片；2017年3月，SPI NOR Flash出貨量突破1億顆；2019年2月，與中國科大團隊共同研發(fā)基于NOR Flash的神經(jīng)網(wǎng)絡(luò)存算一體加速芯片開始流片，同年7月芯片系統(tǒng)演示順利完成。
5、存算一體AI芯片的市場前景
目前存算一體AI芯片主要應(yīng)用于音頻類、健康類及低功耗視覺端側(cè)應(yīng)用場景中。在語音識別領(lǐng)域，存算一體AI芯片不僅能實現(xiàn)語音喚醒功能，并支持通話降噪、聲紋識別等功能。此外，健康領(lǐng)域應(yīng)用也可以通過存算一體芯片實現(xiàn)，由于健康類算法的運算量比語音類更小，因此芯片功耗相應(yīng)更低。
從下游市場空間來看，Mordor Intelligence Analysis數(shù)據(jù)顯示，2018年全球可穿戴設(shè)備銷量1.82億件，預(yù)計2024年銷量將達到5.16億件，年均復(fù)合增長率19.01%。根據(jù)Strategy Analytics發(fā)布的數(shù)據(jù)，全球智能家居市場規(guī)模在2023 年有望達到1,570億美元。在此背景下,存算一體AI芯片的市場前景將持續(xù)向好。

版權(quán)免責(zé)聲明：
本文章出于業(yè)界同行交流的目的，內(nèi)容僅供參考，不支持任何形式的決策依據(jù)及投資建議。關(guān)于文章內(nèi)容，均是基于公眾公司屬性，根據(jù)其公開信息整理，不為未來變化做背書，未來發(fā)生任何變化與本文無關(guān)。部分內(nèi)容、圖文來自網(wǎng)絡(luò)，其版權(quán)屬原作者所有。如涉及作品版權(quán)問題，請與本知乎賬號后臺聯(lián)系。

-----------------------------

a安晴

不提三星的PIM，是看不起三星么