如何高效、低功耗地完成視覺信息的同步獲取與詞元化，是當(dāng)前物理人工智能（AI）硬件領(lǐng)域亟須解決的關(guān)鍵難題。國際學(xué)術(shù)期刊《自然·傳感》19日發(fā)表了南京大學(xué)教授繆峰、梁世軍團(tuán)隊(duì)聯(lián)合新加坡國立大學(xué)團(tuán)隊(duì)的最新成果：研制出能夠直接將光轉(zhuǎn)換為詞元的超低功耗新型智能視覺傳感器芯片“光語芯”。該芯片生成的詞元可直接輸入編碼器，實(shí)現(xiàn)圖像識(shí)別。

　　復(fù)雜環(huán)境下物理AI的自主感知、推理與決策能力，高度依賴于邊緣端設(shè)備高效運(yùn)行視覺大模型的能力。然而，邊緣設(shè)備因受限于功耗與算力，難以在本地完成實(shí)時(shí)視覺認(rèn)知。

　　“傳統(tǒng)視覺感知鏈路中，光信號(hào)需經(jīng)過圖像傳感器采集、模數(shù)轉(zhuǎn)換、緩存搬運(yùn)、數(shù)字分塊與嵌入等多道工序，才能生成模型可處理的詞元，海量冗余數(shù)據(jù)的頻繁搬運(yùn)導(dǎo)致邊緣端能耗居高不下�！笨姺褰榻B，“我們希望在傳感器中直接完成詞元化，從物理層面繞過這條路徑�！�

　　此次研究中，團(tuán)隊(duì)率先在國際上提出，將生成詞元的過程前移到傳感器，在傳感器中直接完成圖像采集、圖像分塊和圖像塊嵌入等功能。

　　梁世軍表示，“光語芯”由光敏存儲(chǔ)陣列和外圍尋址電路構(gòu)成。團(tuán)隊(duì)首先基于單層二硫化鉬浮柵光電晶體管，構(gòu)建了光敏存儲(chǔ)陣列。陣列中的每個(gè)像素兼具感光、存儲(chǔ)與模擬計(jì)算三重功能。光信號(hào)寫入后，以浮柵電荷形式被原位保存。外圍尋址電路可選擇性激活像素區(qū)域完成圖像分塊。對(duì)于被選中的圖像塊，芯片進(jìn)一步施加特定的電壓序列，使圖像塊中存儲(chǔ)的光信息與嵌入矩陣在模擬域中完成乘加運(yùn)算，輸出的電流即為詞元。

　　“我們?cè)谛酒�上�?shí)現(xiàn)了‘光進(jìn)來，詞元直接出去’的物理計(jì)算，從根本上消除了數(shù)據(jù)搬運(yùn)這個(gè)最大的能耗來源。”梁世軍介紹，這種“物理詞元化”方法使芯片從被動(dòng)的圖像記錄儀，轉(zhuǎn)變?yōu)橹鲃?dòng)的視覺語義生成器�；�于“光語芯”的視覺轉(zhuǎn)換架構(gòu)系統(tǒng)，識(shí)別準(zhǔn)確率達(dá)到87.3%，接近傳統(tǒng)軟件的識(shí)別率基線，相較傳統(tǒng)方案，詞元化階段能效提升超10倍。

　　繆峰表示，這一成果從根本上顛覆了“先感光、再緩存、后計(jì)算”的串行范式，為后摩爾時(shí)代突破邊緣AI算力與功耗天花板開辟了全新維度。該技術(shù)有望為具身智能、低空無人機(jī)、智能安防等領(lǐng)域，提供高能效、近零延遲的視覺認(rèn)知基座，加速物理AI走向大規(guī)模應(yīng)用。（記者金鳳）