根據中國「清華大學公眾號」,清華大學類腦計算研究中心團隊,近日研製出了世界首款類腦互補視覺晶片「天眸芯」,相關成果 5 月 30 日作為封面文章,發表於國際學術期刊《自然》。
這是團隊繼異構融合類腦運算「天機芯」後,第二次登上《自然》雜誌封面。
據指出,隨著人工智慧的快速發展,無人駕駛和具身智慧等無人系統在現實社會中不斷推廣應用,其中,視覺感知作為獲取資訊的關鍵途徑,發揮著至關重要的作用。然而,在複雜多變且不可預測的環境中,實現高效、精確且穩健的視覺感知仍然是一個艱鉅的挑戰。
論文通訊作者、清華大學精密儀器系教授施路平表示,在開放世界中,智慧系統不僅要應對龐大的數據量,還需要應對如駕駛場景中的突發危險、隧道口的劇烈光線變化和夜間強閃光幹擾等極端事件。而傳統視覺感知晶片面對此類場景往往出現失真、失效或高延遲,限制系統的穩定性和安全性。
為更好應對上述問題,清華大學類腦計算研究中心團隊聚焦類腦視覺感知晶片技術,提出了一種基於視覺原語的互補雙通路類腦視覺感知新範式。
他說:「該範式借鑑了人類視覺系統的基本原理,將開放世界的視覺信息拆解為基於視覺原語的信息表示,並通過有機組合這些原語,模仿人視覺系統的特徵,形成兩條優勢互補、信息完備的視覺感知路徑。」
基於這個新範式,團隊進一步研製出了世界首款類腦互補視覺晶片「天眸芯」,在極低的帶寬和功耗代價下,實現了高速、高精度、高動態範圍的視覺資訊採集,能夠有效率地應對各種極端場景,確保系統的穩定性和安全性。
團隊指出,基於「天眸芯」,團隊還自主研發了高性能軟體和演算法,並在開放環境車載平台上進行了性能驗證。在多種極端場景下,該系統實現了低延遲、高效能的即時感知推理,展現了其在智慧無人系統領域的巨大應用潛力。
施路平和另一作者趙蓉表示,「天眸芯」的成功發展為自動駕駛、具身智慧等重要應用開闢了新的道路。結合團隊在類腦運算晶片「天機芯」、類腦軟體工具鍊和類腦機器人等方面已應用落地的技術積累,「天眸芯」的加入將進一步完善類腦智能生態,有力推動通用人工智慧的發展。