【產(chǎn)通社，7月11日訊】中國科學(xué)院微電子研究所（Microelectronice of Chinese Academy of Sciences）官網(wǎng)消息，ChatGPT等大型AI算法的出現(xiàn)對計算設(shè)備性能提出了更高要求。存內(nèi)計算（CIM）有效緩解了傳統(tǒng)馮諾依曼架構(gòu)中的內(nèi)存墻問題。盡管無法完全解決存儲墻問題，但CIM架構(gòu)通過定制化設(shè)計方法將存儲單元和計算電路結(jié)合在一起，本質(zhì)上提高了操作數(shù)的傳輸帶寬，大大降低了這部分?jǐn)?shù)據(jù)的傳輸代價。近年來，許多具有高計算能效的數(shù)字CIM架構(gòu)處理器的工作被提出。這些工作通過定制化設(shè)計數(shù)據(jù)路徑控制微架構(gòu)和稀疏優(yōu)化微架構(gòu)，能夠在計算不同類型的主流AI算法（如CNN、Transformer）時實現(xiàn)很高的計算能效。然而CIM架構(gòu)的計算特點是多個周期得到MAC計算結(jié)果，不能像傳統(tǒng)數(shù)字電路一樣在流水線填充后每個周期都能得到MAC計算結(jié)果。這使得CIM架構(gòu)的應(yīng)用場景被限制在邊緣端的低功耗場景，而非高性能場景。如何在保持CIM計算架構(gòu)高能效的同時解決其吞吐率不足的缺點是CIM架構(gòu)成為AI計算領(lǐng)域通用架構(gòu)路上的關(guān)鍵問題。

針對該關(guān)鍵問題，中國科學(xué)院微電子研究所劉明院士/張鋒研究員團隊研發(fā)出基于Radix16+LUT技術(shù)的SRAM存內(nèi)計算處理器芯片。該工作分別在電路級、微架構(gòu)級和數(shù)據(jù)級三個層面提出了通用的性能優(yōu)化技術(shù)，在保持CIM架構(gòu)高計算能效的同時，提高了其在通用AI計算領(lǐng)域的的吞吐率。

在電路層面，團隊使用Radix16+LUT的技術(shù)將INT8*INT8的計算周期數(shù)量降低到2，首次實現(xiàn)了該數(shù)據(jù)精度下的2周期計算（之前最好記錄是4周期）；使用LUT技術(shù)盡可能降低其中權(quán)重編碼電路的動態(tài)功耗開銷，使得單周期內(nèi)的電路計算功耗降低了21.7%，最終實現(xiàn)了1.84-2.44倍的MAC計算功耗降低和2-4倍的吞吐率提升。

在微架構(gòu)層面，團隊提出了可配置Winograd/Spatial混合數(shù)據(jù)路徑微架構(gòu)和像素/通道混合映射方法。使用訓(xùn)練的方法決定在算法的每一層使用哪種等級的Winograd算法實現(xiàn)計算吞吐率的提升。在算法workload映射上，為了在保持高并行度的同時增加硬件利用率，處理器結(jié)合像素/通道混合映射方法在intra-macro使用通道順序映射；在inter-macro使用像素順序映射。最終，該項技術(shù)在算法準(zhǔn)確率損失小于2.2%的同時幫助處理器取得了2.59倍的吞吐率提升。

在數(shù)據(jù)層面，團隊充分調(diào)研了近幾年稀疏優(yōu)化技術(shù)的代表性工作并分類總結(jié)，在這些工作的基礎(chǔ)上提出了macro級并行稀疏優(yōu)化策略。對于激活數(shù)據(jù)稀疏以每個macro的輸入數(shù)據(jù)為一組，以組為單位使用檢測-跳過的方式挑選出能夠被跳過的稀疏數(shù)據(jù)實現(xiàn)稀疏激活數(shù)據(jù)優(yōu)化。對于權(quán)重數(shù)據(jù)使用水平方向緊湊排列的方式將權(quán)重數(shù)據(jù)向水平方向壓縮，從而實現(xiàn)稀疏權(quán)重數(shù)據(jù)的計算跳過。計算出的結(jié)果數(shù)據(jù)根據(jù)激活數(shù)據(jù)檢測索引和權(quán)重數(shù)據(jù)索引在輸出結(jié)果寄存器中重新排列為稀疏跳過操作之前的數(shù)據(jù)格式。且為了減少因為稀疏優(yōu)化導(dǎo)致的計算停頓，在interval-cycle處理部分稀疏數(shù)據(jù)以實現(xiàn)latency hiding。該項稀疏優(yōu)化技術(shù)解決了以往該領(lǐng)域類似技術(shù)中計算并行度受限、對權(quán)重數(shù)據(jù)格式有特殊要求和稀疏策略通用性不夠高（如需要重新訓(xùn)練的結(jié)構(gòu)化稀疏）的問題，是一種通用的稀疏優(yōu)化策略，最終幫助處理器提升了3.11倍的計算吞吐率。

上述設(shè)計在28nm 工藝上得到驗證，在提出的三種技術(shù)支持下實現(xiàn)了最高258.5TOPS/W的峰值計算能效。相比已有的state-of-the-art CIM處理器工作其標(biāo)準(zhǔn)化計算吞吐率提升了2.04-3.05倍，計算能效提升了2.55-3.45倍。該工作使用分層解耦合的思想在電路、微架構(gòu)和數(shù)據(jù)三個層面充分探索其設(shè)計空間，針對CIM架構(gòu)處理器分別提出了通用的吞吐率優(yōu)化技術(shù)。這一研究結(jié)果為通用目的的高性能CiM架構(gòu)處理器設(shè)計提供了新思路。

上述研究成果以題為“A 28-nm 19.9-to-258.5-TOPS/W 8b Digital Computing-in-Memory Processor With Two-Cycle Macro Featuring Winograd-Domain Convolution and Macro-Level Parallel Dual-Side Sparsity”發(fā)表在集成電路設(shè)計領(lǐng)域旗艦期刊IEEE Journal of Solid-State Circuits上，微電子所博士研究生吳昊為第一作者，微電子所張鋒研究員與清華大學(xué)陳勇教授為通訊作者。該研究得到了科技部重點研發(fā)計劃、國家自然科學(xué)基金、中國科學(xué)院戰(zhàn)略先導(dǎo)專項等項目的支持。

查詢進(jìn)一步信息，請訪問官方網(wǎng)站http://ime.cas.cn/kygz/kydt/index_1.html，以及https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10562243。（Robin Zhang，產(chǎn)通數(shù)造）    （完）