【儀表網 研發快訊】片上視覺系統電路是一種“傳感-存儲-計算”一體化的智能視覺感知系統，能夠完成實時的圖像獲取、信號處理及智能圖像處理任務，可廣泛應用于敏捷機器人、智能無人機以及工業機器視覺等前沿領域。現有片上視覺系統以多比特實數形式進行圖像獲取、傳輸、處理，并采用計算視覺和深度學習方法分別完成圖像信號增強和智能認知的處理任務，面臨兩階段分離訓練、數據流結構和處理范式變化、計算復雜度高、片上存儲開銷大、處理延遲和功耗大等諸多的設計和應用挑戰。
中國科學院半導體研究所劉力源研究員帶領團隊在超高速仿生片上視覺系統電路設計領域取得重要進展。團隊創新性地設計了一款集成了單光子脈沖型圖像傳感器和脈沖神經網絡處理器的超高速仿生脈沖片上視覺系統(圖1)，單光子雪崩二極管像素(SPAD)陣列天然地生成高速脈沖型圖像信號，端到端的脈沖神經網絡完成圖像信號增強和智能圖像識別任務，成功地實現了仿人類視覺系統的全脈沖型圖像獲取、傳輸、處理的功能。
端到端的脈沖神經網絡集成了前端的圖像增強層和后端的智能認知層，采用深度學習方式實現圖像增強與目標識別的融合訓練，提高推理精度，降低參數冗余。圖像增強層和智能認知層都采用了脈沖神經元模型進行計算，極大地降低了計算單元的復雜度；重構處理單元電路支持相同計算并行度下完成兩個神經網絡層處理，無需使用獨立專用的圖像信號處理器，提高了硬件使用效率，為實現超高速片上視覺系統電路提供了一種全新的路徑。
脈沖片上視覺系統測試最高成像速率為每秒10萬脈沖圖像幀，在MNIST數據集上的識別準確率為99.2%，最高識別推理速度達10000次/秒，在1.43mlux的低照度條件下實現了95.3%的識別準確率; 在馬賽克彩色ETH-80數據集上的識別準確率為94.3%。在保持相同的高識別準確率的情況下，本文工作將弱光目標識別的照度水平進一步降低了一個數量級。該項研究為邊端視覺設備提供了實現超高速視覺感算一體化高集成度片上系統的新方法。
上述研究成果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”為題，發表于《IEEE 固態電路期刊》 (IEEE Journal of Solid-State Circuits)。此項研究成果由半導體所助理研究員楊旭和劉力源研究員等共同完成。
此項工作得到了國家自然科學基金和北京市自然科學基金等項目的資助。
圖1 超高速仿生脈沖片上視覺系統架構及其信號流
圖2 超高速仿生脈沖片上視覺系統硬件照片和識別精度隨照度變化曲線測試結果
所有評論僅代表網友意見，與本站立場無關。