北理工在語義深層特征的目標跟蹤方面取得新進展
發(fā)布日期：2021-01-11 供稿：光電學院
編輯：盛筠 審核：鄒銳 閱讀次數(shù)：近日，北京理工大學光電學院許廷發(fā)科研團隊在語義深層特征的孿生網(wǎng)絡目標跟蹤方面取得新進展，相關(guān)研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”為題發(fā)表在人工智能領(lǐng)域的國際頂級期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上。IEEE TCYB是人工智能領(lǐng)域具有高影響力的國際學術(shù)刊物之一，在2020年該領(lǐng)域120余種JCR期刊中排名前列，影響因子為11.079，中科院一區(qū)，主要發(fā)表和報道計算智能、人工智能、數(shù)據(jù)科學和神經(jīng)網(wǎng)絡等領(lǐng)域的最新研究進展和技術(shù)。該工作第一作者為北京理工大學博士研究生黃博，通訊作者為北京理工大學許廷發(fā)教授。
隨著人工智能的發(fā)展，具有語義深層特征的視覺目標跟蹤在計算機視覺中引起了很多關(guān)注。尤其是旨在學習基于決策相似性評估的孿生網(wǎng)絡，在跟蹤領(lǐng)域中得到了廣泛的應用。但是，孿生跟蹤網(wǎng)絡的在線更新存在局限性，即模型自適應和退化難以達到平衡。
針對這一科學問題，北京理工大學許廷發(fā)教授團隊率先提出基于注意力遷移學習的孿生跟蹤模型。
圖1 注意力遷移學習的孿生跟蹤模型
為了充分利用先前的信息，該模型將特征表示知識、學習濾波器知識和時空注意力知識轉(zhuǎn)移到當前的模板更新過程中。從歷史跟蹤任務中學習到的特征表示，以解決當前跟蹤任務中缺少高質(zhì)量訓練數(shù)據(jù)的問題。引入了一個實例轉(zhuǎn)移判別相關(guān)濾波器來增強孿生網(wǎng)絡的決策能力。預定義基于時空關(guān)系的類高斯矩陣來控制不同空間位置的學習權(quán)重，并使用L2損失函數(shù)來計算更新的目標模板。
圖2 傳統(tǒng)更新過程和注意力更新過程比較
在Basketball序列中，傳統(tǒng)方法的使用較低學習率，更新后的目標外觀中仍然存在原始目標和背景的“鬼影”，嚴重影響當前幀的檢測精度。在Lemming序列中，傳統(tǒng)方法使用較高的學習率，目標的嚴重遮擋使傳統(tǒng)模型逐漸退化，最終導致更新的模板完全失效。因此，模型自適應和退化與單一學習率之間難以取得平衡，注意力學習方法可以很好地解決這一難題。
圖3 空間權(quán)重G的可視化分析
在G矩陣中，中心目標區(qū)域被賦予較高的權(quán)重，而邊界背景區(qū)域被賦予較低的權(quán)重。這種注意力學習策略可以在更新的孿生模板分支中引入更多背景信息，而不會污染中心目標區(qū)域。
圖4 注意力遷移學習的孿生跟蹤結(jié)果
該項研究為孿生網(wǎng)絡的更新設計提供了新的思路，提出的注意力遷移學習策略可以作為通用模塊應用于大多數(shù)孿生跟蹤器，并提高其性能。
附第一作者簡介：
黃博，北京理工大學光電學院2016級碩博連讀博士生，師從許廷發(fā)教授，研究方向為計算機視覺和深度學習?，F(xiàn)已發(fā)表學術(shù)論文17篇，其中SCI 10篇，累計總影響因子達57.221。 以第一作者發(fā)表論文9篇，其中6篇發(fā)表于IEEE TCYB、IEEE TMM、PR、Neurocomputing等高水平SCI期刊，累計影響因子達36.152。申請中國發(fā)明專利1項，軟著3項。同時，還多次擔任IEEE TCSVT、Neurocomputing等SCI期刊審稿人。曾獲得光電設計競賽二等獎、研究生數(shù)學建模三等獎、首都“挑戰(zhàn)杯”一等獎、“世紀杯”特等獎、“百科融創(chuàng)杯”電子設計競賽一等獎、電子設計競賽北京市二等獎、優(yōu)秀研究生、優(yōu)秀團干部等榮譽。
通訊作者簡介：
許廷發(fā)，教授，博導，國家一級重點學科“光學工程”責任教授，光電成像技術(shù)與系統(tǒng)教育部重點實驗室副主任。近年來帶領(lǐng)其科研團隊圍繞光電成像探測與識別、高光譜計算成像處理等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研制項目等30多項。在國際、國內(nèi)等系列期刊發(fā)表學術(shù)論文120余篇，其中被SCI/EI收錄80余篇。以第一發(fā)明人申請國家發(fā)明專利40項，已授權(quán)和公示15項。
論文詳情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 論文鏈接：https://ieeexplore.ieee.org/document/9318529
分享到：