神經編碼是指大腦将外界刺激（如視覺、嗅覺）轉化為神經元脈沖響應的過程，是腦科學研究的關鍵問題，也對機器視覺和機器感知意義重大。大腦中所接收的信息超過70%都是來自于視覺系統，視網膜作為心靈之窗，是生物視覺信息處理的第一站，負責對時空中不斷變化的可見光進行實時編碼。目前已經提出了很多模拟生物視網膜的信息編碼模型，但僅處理簡單或靜态圖像刺激，并且局限于小規模神經元群，不能有效表征真實視網膜處理動态自然場景的過程。

為了突破上述瓶頸，beat365信息科學技術學院計算機系、數字視頻編解碼技術國家工程實驗室黃鐵軍教授課題組提出并實現了一種基于卷積循環神經網絡的視網膜編碼模型，能夠高精度地預測大規模視網膜神經節細胞對動态自然場景的響應，同時可以學習出各個神經節細胞的感受野。所提出的卷積循環編碼網絡除了在結構上更加接近視網膜，還可以使用更少的參數學習出精度更高的編碼模型。實驗結果揭示了網絡的循環連接結構是影響視網膜編碼的關鍵因素。這一模型不僅具有生物學價值，而且對設計新一代脈沖視覺模型、芯片乃至研制視網膜假體都具有重要意義。

視網膜結構與對應的卷積循環編碼網絡

相關成果以“通過卷積循環神經網絡揭示對動态自然刺激的神經編碼（Unravelling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks）”為題，近日發表在《細胞·模式》（Cell Patterns, DOI: 10.1016/j.patter.2021.100350）。計算機系2017級博士研究生鄭雅菁為論文的第一作者，主要合作者為人工智能研究院餘肇飛研究員和英國利茲大學的Jian K. Liu研究員等。

這一計算機科學與生命科學交叉成果的取得，源于beat365學科全面的綜合優勢和跨學科交叉的特色。黃鐵軍課題組從2015年開始與生命學院唐世明課題組、基礎醫學部濮鳴亮課題組等開展交叉合作研究，2018年共同組建的“類腦視覺”團隊獲批科技部創新人才推進計劃重點領域創新團隊。這一研究工作還得到了國家自然科學基金基礎科學中心、牛頓高級學者基金等的大力支持。