?作者｜王廷宇

學校｜杭州電子科技大學博士生

研究方向｜交叉視角地理定位

本文介紹了杭州電子科技大學（HDU），悉尼科技大學（UTS）被 IEEE Transactions on Circuits and Systems for Video Technology （TCSVT）錄用的文章《Each Part Matters: Local Patterns Facilitate Cross-View Geo-Localization》。

交叉視角地理定位被廣泛應用在精準遞送、自動駕駛、機器人導航和事件檢測等領域。如今，無人機已逐漸走入人們生活當中，如無人機快遞，無人機事件監測等任務，都要求無人機能夠實現一個較為精確的目標定位。

現存的大部分無人機定位任務都依靠 GPS 實現，但 GPS 定位或多或少存在一些位置偏移。為了使定位更精確，文章使用《University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization》提供的多平臺多視角無人機圖像檢索數據集（簡介），探索利用目標圖像及其周圍上下文信息，輔助 GPS 信號，實現精準定位。

論文地址：

https://arxiv.org/abs/2008.11646

代碼地址：

https://github.com/wtyhub/LPN

文章的主要貢獻

• 提出了一種簡單有效的模型（LPN），不同于以前工作，其顯示利用了圖像目標周圍的上下文信息。

• 該模型提出的環形分割策略，對圖像的旋轉具有較好的魯棒性。

• 該模型提出的劃分策略可互補的運用到現有的方法中，并進一步提升現有網絡的性能。

方法具體實現

2.1 特征提取

文章特征提取網絡共有三個分支，分別輸入來自不同視角（即衛星、無人機和地面視角）的圖像。其中，衛星視角和無人機視角共享一個分支。地面視角圖像單獨一個分支。由于地面視角與空中視角具有較大的差異，且地面視角圖像的視野范圍較窄，遮擋較多，文章中將地面圖像作為對網絡的正則，防止網絡訓練出現過擬合。

2.2 特征劃分策略

受 LBP 算子的啟發，文章提出了一種環形劃分策略。此策略在特征層面上將圖像劃分為四個不重疊的區域。中心區域認為使地理目標，其他區域為目標周圍由近及遠的周圍上下文信息。此種劃分策略的優勢在于，即便兩張圖像的方向不同，但其周圍的上下文信息，仍可大致分在同一相對區域中。由此，網絡對于圖像的旋轉便可具有一定的魯棒性。

2.3 網絡優化

在訓練階段，文章采用 instance loss 對網絡進行優化，其為一種分類任務損失函數。具體表示為，文章將交叉視角目標定位看做是一個分類任務，每一個地理目標看作是一個類別。不同分支的圖像都經過同一個分類器，具有相同類別的圖像被分類器映射到同一類當中，從而實現不同視角相同目標圖像的匹配。

與傳統分類任務不同的是，網絡測試所用到的地理目標圖像并不會在訓練集中出現，即訓練集和測試集是不相交的，網絡仍然通過計算不同視角圖像的歐式距離或著余弦距離來判斷是否成功定位到所在目標。

▲ loss函數

2.4 劃分策略在現有方法上的應用

文章提出的劃分策略也使得現有方法的精度得到了進一步的提升。由于現有方法所采用數據集（CVUSA/CVACT）與本文章所使用的 University-1652 數據集表示形式不同，故文章對提出的劃分策略進行了合理的變化，以適應不同的方法。

具體表述為，當輸入圖像對為衛星圖和地面全景圖時，文章根據全景圖和衛星圖的對應幾何關系，將在全景圖上的劃分方式變為橫向劃分。而當衛星和地面輸入圖像都為全景圖形式時，文章簡化環形劃分策略為更適合全景圖信息提取的豎向劃分形式。

▲ 不同劃分策略

實驗結果

1. 與基準及采用不同損失函數訓練結果在 University-1652 數據集上的比較，文章的方法相比基準方法，具有明顯的提升。

2. 文章提出方法在 CVUSA/CVACT 數據集上的表現。通過表格可以發現，現有方法加上文章提出的劃分策略，定位精度達到了 SOTA。

3. 此外，文章中還提供了充足的消融實驗，如特征劃分塊數的分析；測試時，query 圖像旋轉對檢索精度的影響等實驗。通過實驗結果，進一步說明了文章提出方法的有效性和魯棒性。

4. 文章方法與基準方法的熱力圖可視化，通過可視化熱力圖可以發現，文章提出的方法使網絡學習到了更多的圖像上下文特征。

5. 最后，文章給出一些定性結果的展示，左邊為 query 圖像，右邊為在 gallery 中檢索到的目標圖像。

6. University-1652 數據集介紹：

https://zhuanlan.zhihu.com/p/110987552

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的TCSVT | 横看成岭侧成峰：交叉视角地理定位的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。