【儀表網 儀表研發】憶阻器，全稱記憶電阻器，是表示磁通與電荷關系的電路器件，是除電阻器、電容器和電感器以外的第四大電路元件。它實際上就是一個有記憶功能的非線性電阻器。憶阻具有電阻的量綱，但和電阻不同的是，憶阻的阻值是由流經它的電荷確定。因此，通過測定憶阻的阻值，便可知道流經它的電荷量，從而有記憶電荷的作用。
近年來，以深度學習和神經網絡為代表的人工智能技術，在人臉識別、自動駕駛、智慧城市和健康監測等領域迅速發展。然而，傳統神經網絡模型在處理多任務連續學習時面臨災難性遺忘問題，即神經網絡在學習新任務時會遺忘已學到的知識，導致在執行先前任務時性能大幅下降。
中國科學院院士、中科院微電子研究所微電子器件與集成技術重點實驗室研究員劉明團隊研究員尚大山、香港大學博士王中銳與清華大學教授劉勇攀等，基于憶阻器存算一體芯片，開發了一款軟-硬件協同設計的連續學習原型系統。
在軟件方面，受人類大腦啟發，科研團隊提出了一種基于突觸元可塑性的混合精度連續學習模型(MPCL)。該模型采用前饋全連接神經網絡架構，其中隱藏層權重分別由二值權重和浮點型權重兩部分組成(圖a)。模型進行多任務連續學習時采用非對稱權重更新策略，通過限制與新任務相關性弱的權重更新，平衡權重的可塑性與穩定性，從而有效緩解災難性遺忘(圖b)。
在硬件方面，科研人員將MPCL模型部署在一個由憶阻器(RRAM)存算一體(IMC)芯片和通用數字處理器組成的混合模擬數字硬件系統上(圖c)。通過將二進制權重映射到憶阻器陣列，該系統采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數據傳輸的能量和時間開銷。
同時，為減輕憶阻器非理想因素對系統性能的影響，研究團隊在軟件模擬中重構了與硬件完全相同的計算流程，利用原位精調的方法優化了權重的映射過程，并使硬件系統在保持推理準確率的同時最大限度地提高計算并行度(圖d)。
據了解，該原型系統在MNIST和Fashion MNIST數據集上分別實現五個任務連續學習94.9%和95.3%的平均準確率(圖e)，同時，相較于傳統數字系統，核心運算能耗得到大幅降低(圖f)。這種基于憶阻器存算一體能力的連續學習實現方案，為未來構建具有自適應能力的低能耗人工智能體提供了參考。
近日，相關研究成果發表在《先進智能系統》(Advanced Intelligent Systems)上。Wiley學術出版集團科技新聞網站Advanced Science News以Continual learning, just like humans為題，對該成果進行了專題報道。研究工作得到科技部、國家自然科學基金委員會、中科院與香港大學的支持。
a、混合精度連續學習模型程序框圖；b、非對稱更新策略限制權重更新；c、基于憶阻器芯片的數模混合硬件系統；d、并行度優化前后準確率對比；e、多任務連續學習的硬件準確率與軟件基準對比；f、與數字系統MAC功耗對比。
所有評論僅代表網友意見，與本站立場無關。