【儀表網(wǎng) 研發(fā)快訊】近日，中國科學(xué)院西安光機所在高光譜數(shù)據(jù)智能處理算法與視覺大模型應(yīng)用研究方面取得重要進展，相關(guān)成果發(fā)表于IEEE Transactions on Geoscience and Remote Sensing (IF=8.6)。論文第一作者為西安光機所光譜成像技術(shù)研究室陳寶澄博士研究生，導(dǎo)師為西安光機所張耿研究員和陳鐵橋副研究員(通訊作者)。論文工作得到了新加坡國立大學(xué)王猛研究員的指導(dǎo)。論文第一完成單位和通訊單位為西安光機所。
與傳統(tǒng)光學(xué)遙感相比，高光譜遙感圖像具有數(shù)百個獨立光譜波段，能夠更精確地識別地表物質(zhì)。然而，標(biāo)注樣本稀缺長期以來嚴(yán)重制約了其實際應(yīng)用。現(xiàn)有研究多采用少樣本學(xué)習(xí)范式，雖在一定程度上緩解了樣本不足的問題，但由于缺乏對跨域光譜信息的一致性約束，加之?dāng)?shù)據(jù)稀缺導(dǎo)致模型規(guī)模難以擴展，其跨域泛化能力仍然受限。
圖 SpectralDINO模型框架
針對上述問題，研究團隊創(chuàng)新性地提出了一種基于視覺大模型的高光譜少樣本分類框架SpectralDINO。該框架通過源域光譜對齊模塊統(tǒng)一各數(shù)據(jù)域的光譜信息，增強模型學(xué)習(xí)跨域通用特征能力。團隊同時設(shè)計了一種新型低秩適應(yīng)(Low-Rank Adaptation, LoRA)模塊，并使用交替訓(xùn)練策略對視覺大模型進行微調(diào)，通過雙混合子空間的設(shè)計，解決了原始LoRA無法區(qū)分跨域數(shù)據(jù)的結(jié)構(gòu)性問題。
實驗顯示，該方法有效提升了模型從少量樣本提取特征的泛化能力，提高了模型在高光譜少樣本分類任務(wù)中的表現(xiàn)，在多個公開數(shù)據(jù)集上超越現(xiàn)有先進方法并實現(xiàn)了最佳分類準(zhǔn)確率，為環(huán)境檢測、精準(zhǔn)農(nóng)業(yè)等遙感應(yīng)用提供新的技術(shù)路徑。
圖 不同方法在Pavia University數(shù)據(jù)集上的分類結(jié)果
該工作得到了國家自然科學(xué)基金項目、陜西省自然科學(xué)基礎(chǔ)研究項目、陜西省重點研發(fā)計劃等項目支持。
西安光機所光譜成像技術(shù)研究室致力于將傳統(tǒng)遙感信息處理與AI大模型結(jié)合，提升星載/機載高光譜遙感數(shù)據(jù)產(chǎn)品的應(yīng)用效能。張耿、陳鐵橋團隊長期專注于高光譜數(shù)據(jù)智能處理領(lǐng)域，在TGRS、JSTARS、RS等遙感與圖像處理期刊發(fā)表多篇學(xué)術(shù)論文，授權(quán)國家發(fā)明專利多項。團隊主持了國家重點研發(fā)計劃、自然科學(xué)基金、陜西省自然科學(xué)基金等項目。
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。