【產(chǎn)通社，6月14日訊】中國科學院（Chinese Academy of Sciences）官網(wǎng)消息，以深度學習和神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)，近年來在人臉識別、自動駕駛、智慧城市和健康監(jiān)測等領(lǐng)域迅速發(fā)展。然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在處理多任務連續(xù)學習時面臨災難性遺忘問題，即神經(jīng)網(wǎng)絡(luò)在學習新任務時會遺忘已學到的知識，導致在執(zhí)行先前任務時性能大幅下降。

中國科學院院士、中科院微電子研究所微電子器件與集成技術(shù)重點實驗室研究員劉明團隊研究員尚大山、香港大學博士王中銳與清華大學教授劉勇攀等，基于憶阻器存算一體芯片，開發(fā)了一款軟-硬件協(xié)同設(shè)計的連續(xù)學習原型系統(tǒng)。在軟件方面，受人類大腦啟發(fā)，科研團隊提出了一種基于突觸元可塑性的混合精度連續(xù)學習模型（MPCL）。該模型采用前饋全連接神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中隱藏層權(quán)重分別由二值權(quán)重和浮點型權(quán)重兩部分組成。

模型進行多任務連續(xù)學習時采用非對稱權(quán)重更新策略，通過限制與新任務相關(guān)性弱的權(quán)重更新，平衡權(quán)重的可塑性與穩(wěn)定性，從而有效緩解災難性遺忘。在硬件方面，科研人員將MPCL模型部署在一個由憶阻器（RRAM）存算一體（IMC）芯片和通用數(shù)字處理器組成的混合模擬數(shù)字硬件系統(tǒng)上。通過將二進制權(quán)重映射到憶阻器陣列，該系統(tǒng)采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數(shù)據(jù)傳輸?shù)哪芰亢蜁r間開銷。同時，為減輕憶阻器非理想因素對系統(tǒng)性能的影響，研究團隊在軟件模擬中重構(gòu)了與硬件完全相同的計算流程，利用原位精調(diào)的方法優(yōu)化了權(quán)重的映射過程，并使硬件系統(tǒng)在保持推理準確率的同時最大限度地提高計算并行度。該原型系統(tǒng)在MNIST和Fashion MNIST數(shù)據(jù)集上分別實現(xiàn)五個任務連續(xù)學習94.9%和95.3%的平均準確率，同時，相較于傳統(tǒng)數(shù)字系統(tǒng)，核心運算能耗得到大幅降低。這種基于憶阻器存算一體能力的連續(xù)學習實現(xiàn)方案，為未來構(gòu)建具有自適應能力的低能耗人工智能體提供了參考。

近日，相關(guān)研究成果發(fā)表在《先進智能系統(tǒng)》（Advanced Intelligent Systems）上。Wiley學術(shù)出版集團科技新聞網(wǎng)站Advanced Science News以Continual learning, just like humans為題，對該成果進行了專題報道。研究工作得到科技部、國家自然科學基金委員會、中科院與香港大學的支持。

查詢進一步信息，請訪問官方網(wǎng)站http://www.cas.cn/syky/202206/t20220608_4837432.shtml。（張嘉汐，產(chǎn)通發(fā)布）    （完）