?PaperWeekly 原創(chuàng) ·?作者 | 西南交一枝花

單位 | 西南交通大學(xué)CCIT實驗室

研究方向 | NLP、時空數(shù)據(jù)挖掘

本次分享的是 AAAI 2022 一篇來自西湖大學(xué)的氣象預(yù)報工作《Conditional Local Convolution for Spatio-temporal Meteorological Forecasting》。

作者單位也對此論文進行了相關(guān)解讀。還對此解讀的原因有兩點：1）鏈接中的解讀介紹的過于泛泛，沒有看到問題轉(zhuǎn)化的過程；2）自己也在做這塊研究，同一個研究任務(wù)學(xué)習(xí)一下看待問題的角度以及相應(yīng)的解決方法。

整體來說，該文針對氣象預(yù)測任務(wù)提出了一種條件局部時空圖網(wǎng)絡(luò)，從球面氣象信號特性切題，依據(jù)到圖神經(jīng)網(wǎng)絡(luò)面向非規(guī)則數(shù)據(jù)的特征表達能力，考慮到氣象流動的區(qū)域性以及，設(shè)計局部條件的圖卷積核計算單元。

本文的介紹順序與原文有些類似，不過有些概念為方便理解提前給出。時空預(yù)測挑戰(zhàn)--->研究動機--->問題定義，相關(guān)概念--->方法介紹---->實驗。

時空氣象預(yù)測任務(wù)面臨兩大挑戰(zhàn)

1. 非規(guī)則分布傳感器采集到的氣象信號不同于平面柵格類圖像，不適用于 CNN 類網(wǎng)絡(luò)。比如，溫度傳感器在海洋或陸地上不均勻分布，不是固定結(jié)構(gòu)的網(wǎng)格位置。此外，氣象數(shù)據(jù)通常是球面信號不是平面信號。之所以說氣象數(shù)據(jù)是球面信號，依據(jù)是氣象信號反映的地球表面的狀態(tài)，地球表面是球面。

2. 高維時序和空間依賴難以建模動態(tài)性。比如，不同的地形地貌表現(xiàn)出完全不同的風(fēng)流或溫度傳播模式，另外，極端氣象變化導(dǎo)致氣象時序信號的非平穩(wěn)性。

針對以上兩點，補充說明的是，除本文外，筆者并未搜索到氣象信號視為球面信號的工作，有了解的歡迎補充。關(guān)于第二點，對于 AI for environment science 是一個難題，環(huán)境科學(xué)是一個復(fù)雜的開放環(huán)境，難以對其完整建模，只能做簡化。以不同地形、地貌表現(xiàn)不同的氣象狀態(tài)為例，有時候隔一個山頭（空間距離并不遠）可能溫度差別很大，確實很難建模。通過數(shù)據(jù)探索空間兩個點所處地形的聯(lián)系，還是比較困難，可以引入先驗知識指示模型區(qū)分不同點的屬性。

研究動機

1. 圖神經(jīng)網(wǎng)絡(luò)在非規(guī)則時空預(yù)測任務(wù)上取得較好的表現(xiàn)，如交通流預(yù)測、空氣質(zhì)量預(yù)測等；

2. 氣象流在不同局部區(qū)域表現(xiàn)差異較大。

通過上述兩點的分析，作者想要建立一種圖卷積核，它可以感知不同位置區(qū)域進行相應(yīng)計算，用于近似和類比真實環(huán)境下不同區(qū)域的局部氣象模式。

因此，基于位置特性的平滑性假設(shè)，提出了局部條件核，將其嵌入到基于圖卷積的循環(huán)網(wǎng)絡(luò)，圖卷積同時考慮兩個節(jié)點之間的距離和相對方向。

在文中 4.3，給出了該假設(shè)的解釋。氣象信息流動的局部模式具有平滑性，也就是，兩個相近的節(jié)點在從它們的鄰居聚合信息的模式應(yīng)該是相似的。

下面，我們來看本文是如何定義位于球面氣象信號的時空預(yù)測任務(wù)。

問題定義&概念定義

輸入&輸出：給定 t 時刻，N 個位于球流形 的氣象信號，可以將其表示為圖 記錄了 N 個節(jié)點的位置。球面可以視為 的子集，所以每個節(jié)點位置包括了 ，并且 。 表示邊的幾何，A 表示鄰接矩陣。N 個信號在 t 時刻的氣象觀測值可以表示為 ，D 表示氣象因子的個數(shù)：

由于數(shù)據(jù)集不存在鄰接矩陣，本文計算兩兩之間的球面距離，然后再通過 K 近鄰聚類。

補充一下，wiki上的概念，流形是可以局部歐幾里得空間化的拓撲空間，是歐幾里得空間中的曲線、曲面等概念的推廣。地球表面是一個稍微復(fù)雜的流形。球面（球流形）由一群二維圖形表示，稱為二維流形。想要進一步了解，可以查閱：

https://www.wanweibaike.net/wiki-流形

圖卷積計算沒有特別說明，沿用了 DCRNN 的計算形式，除了論文特別提及的卷積核的數(shù)值應(yīng)該對于著重影響氣象變化的鄰居節(jié)點上更大。比如，從東南往西北方向流動的熱流，應(yīng)該給與東南方向的節(jié)點更大的權(quán)重。（感覺難以實現(xiàn)，首先數(shù)據(jù)上不支持，其次在卷積中如何依據(jù)此類知識動態(tài)賦予權(quán)重）

概念

1. 球流形，地球表面的信號可以看作是球面信號，所以引入了球流形便于卷積計算，由于卷積操作是在平面上進行的，論文定義了局部空間，又稱為 M-D 歐式空間，認為一般性的卷積可以在此局部空間計算。

2. 局部空間，是指以節(jié)點 x 為中心的局部歐式空間。

3. 球表面兩點距離計算。great-circle 距離，也稱為球面距離，可參考 https://en.wikipedia.org/wiki/Great-circle_distance。在計算 K 近鄰時需要依據(jù)兩點間的球面距離。

4. 同距映射（isometric map），球表面到局部空間映射，卷積是在平面上進行的，所以引入了局部空間，那么還需要把球表面映射到局部空間。涉及到球面上兩個點的距離，映射到局部空間上，兩點距離的變化。同距映射需要保證等距映射，即源球表面的距離應(yīng)該等于映射后的平面距離。

5. 對數(shù)映射（Logarithmic map），用于將節(jié)點 x 的鄰居節(jié)點同距映射到局部空間。

6. 局部坐標(biāo)系統(tǒng)，本質(zhì)上是為了建立球表面映射到局部空間后節(jié)點之間的相對位置或相對方向。具體如何實現(xiàn)的，筆者未從文中看到。

所提方法

4.1 作用于球面的局部卷積

先對不同一般性圖卷積進行介紹。文中公式表示圖卷積如下：

公式 2、3 是通用的節(jié)點表示更新方式，公式 4 中， 表示卷積核，是 ，這里作者應(yīng)該是想將之前作用在平面的卷積，定義為作用在球流形上的卷積，但僅給出了符號定義，沒說明計算上有什么不同，不過筆者沒有去看源碼，后續(xù)有新發(fā)現(xiàn)再來補充。基于這種定義，可以看出 是等價于 的，但是文中缺少對 的介紹。

下面看下對于 DCRNN 卷積公式的表示：

▲ DCRNN在本文

以下為 DCRNN 原論文表示：

▲ DCRNN3

兩者在計算上是一致的，用來表示帶權(quán)的鄰接矩陣。只不過作者在文中沒有從這個角度說明與 DCRNN 的關(guān)系。

下面返回到在球表面上做局部卷積操作：

1. 先給出在平面在做局部卷積計算定義，其中關(guān)于 k1 和 k2 的介紹，就是對卷積核大小的限定。

2. 將上述卷積擴展到球流形上需要兩個操作，通過等距映射將中心節(jié)點球表面的鄰居映射到局部空間，然后通過建立局部坐標(biāo)系統(tǒng)，使得鄰居節(jié)點保持原有的相對方向。

如公式 10 和 11 所示，除等距映射和局部坐標(biāo)系統(tǒng)外， 表示卷積核。

下面對如何構(gòu)建局部坐標(biāo)系統(tǒng)，如何實現(xiàn)等距映射以及局部卷積核的具體實現(xiàn)進行介紹。

4.2 局部空間構(gòu)造

首先，引入圓柱正切空間（cylindrical-tangent space）和水平映射（horizon map），使用水平映射將球流形的節(jié)點映射到圓柱正切空間。為何不使用正切空間+對數(shù)映射，主要是考慮到前者可以保留原有球表面上的相對方向，這點我們在之前有提到過相對方向在氣象中的作用。

（上面子圖是正切空間搭配對數(shù)映射，下面子圖是圓柱正切空間搭配水平映射）

舉例來說，位于北半球的一個節(jié)點，鄰居位于它的東方，經(jīng)過對數(shù)映射后，在正切空間上，會變?yōu)槲挥跂|北方。具體的證明，筆者沒有去細究，感興趣的可以在附錄上看證明。

鋪墊了這么久，終于要介紹條件局部卷積了。

4.3 條件局部卷積

作者認為局部條件卷積應(yīng)該具有三個特性：

1. location-characterized，不同中心節(jié)點的局部區(qū)域，由卷積核抽取的氣象特征是不同的。

2. smooth， 空間距離相近的中心節(jié)點表現(xiàn)的模式應(yīng)該是相似的。

3. common，核由不同局部空間的不同鄰居空間分布所共享。

下面一個個地介紹三個部分：

首先是位置特性，期望卷積能夠自適應(yīng)學(xué)習(xí)并模仿每個中心節(jié)點局部區(qū)域的局部模式。 在更新時使用了鄰居信息（僅表示相對位置），這樣使得kernel不能捕獲局部特點模式。最后解決方法是加上自身節(jié)點，一大段介紹，有點封裝過度，一句話就能說清楚的事情，考慮了什么問題，所以采用了什么方法。

其次是平滑性，定義為兩個相近的節(jié)點在從它們的鄰居聚合信息的模式應(yīng)該是相似的。

主要思想是如果節(jié)點 和 距離非常近，那么 相似于 。

我們先了解下為什么會有正交基？圓柱正切空間是歐式空間的一種，局部空間轉(zhuǎn)化可以通過兩個正交基來實現(xiàn)，這點在前面沒有介紹，這里補充一下。

作者認為統(tǒng)一標(biāo)準的正交基選擇可以避免平滑性被破壞，原因如下圖所示：

▲ 平滑性

節(jié)點 i 和節(jié)點 j 互為鄰居，其所表示的正交基如紅色箭頭所示。給定球表面上一個點 p 位于兩個節(jié)點的東方，對節(jié)點 i 和節(jié)點 j 有較大的氣象影響。在局部坐標(biāo)系統(tǒng)中，第一個坐標(biāo)如果是正的，另外一個就是負的。如果不是統(tǒng)一標(biāo)準的正交基，核如果還是平滑的話，p 不會對節(jié)點 i 和 j 造成很大影響（這是筆者對原文的意譯，但是確實沒看懂為何不會產(chǎn)生大的影響（計算值的大小））。

作者使用了全連接網(wǎng)絡(luò)，使用 tanh 作為激活函數(shù)來保持正交基選擇的統(tǒng)一標(biāo)準，這樣保證了局部卷積的平滑性。

下面介紹如何重新為非規(guī)則空間分布賦予權(quán)重。動機是考慮離散節(jié)點的非規(guī)則分布與核函數(shù)的連續(xù)性沖突。

如下圖所示，原文中介紹右邊中心節(jié)點坐落在西南方的鄰居節(jié)點有兩個，左邊中心節(jié)點有一個。筆者從圖上來看，不是正好相反嗎？左邊的中心節(jié)點西南方（左下方）有兩個，右邊是一個，沒看明白。這個本質(zhì)上還是每個節(jié)點周圍拓撲結(jié)構(gòu)不同，不了解為什么需要重新分配權(quán)重。文中重新分配權(quán)重的依據(jù)是綜合了角度與距離，將局部坐標(biāo)轉(zhuǎn)化到極坐標(biāo)系統(tǒng)，可以同時表示距離和角度。

接下來，介紹為何所提到的局部卷積不適用于交通流預(yù)測，也就是說明為何不直接照搬交通流上的圖卷積操作到氣象預(yù)測。

主要論點是交通流模式與氣象模式在平滑性上存在較大的不同。比如說兩個很接近的區(qū)域，由于中間存在重要的交通樞紐出口，交通模式可能存在很大的差異。此外，所提卷積核考慮了方向性，這種機制在交通上沒有太大意義。作者還給出了相應(yīng)的圖示：

筆者認為上述兩點有些牽強，首先，相鄰的區(qū)域的氣象也有可能有不同的表現(xiàn)，受局部地貌影響，受洋流影響等，環(huán)境的復(fù)雜性要高于交通流的復(fù)雜性；此外，交通流預(yù)測也會考慮到方向性的問題，比如某些道路是單行道，雙行道，道路的等級之類。

4.4 動態(tài)時序建模

講完空間，現(xiàn)在說到了時序建模，在該方面，論文所介紹地簡單些，使用 GRU 來捕獲時間特性。令讀者迷惑的是，直到這個章節(jié)，論文才給出整體結(jié)構(gòu)。（當(dāng)然，我看的這個版本是 arxiv 上，不知道在 AAAI22 最終版是否有修改），整體結(jié)構(gòu)采用 seq2seq 的方法，沒有特別需要關(guān)注的地方。

實驗

數(shù)據(jù)集：采用 WeahterBench（2020 發(fā)表的一篇論文），包含了 2048 個傳感器，本文選擇了溫度、云量、濕度和地表風(fēng)分量 四個因子作為預(yù)測目標(biāo)。使用歷史 12 個時刻預(yù)測未來 12 個時刻。

評測指標(biāo)：MAE, RMSE, MAPE

對比方法：都是時空圖方法，包括 STGCN, MSTGCN, ASTGCN, TGCN, GCGRU, DCRNN, AGCRN。

5.1 總體表現(xiàn)

▲ 總體表現(xiàn)

所提方法表現(xiàn)最好，另外說明了與基于循環(huán)網(wǎng)絡(luò)的方法對比注意力表現(xiàn)更好，所提方法進一步提升了基于循環(huán)網(wǎng)絡(luò)的方法。這幾個說明都還沒觸及到本文的創(chuàng)新點，我們接著往下看。

5.2 可視化

▲ 可視化

作者選擇美國從西南到東北的線，一些采樣點作為中心節(jié)點。如上圖所示，論文中介紹“從濕度數(shù)據(jù)中觀察到明顯的方向性：節(jié)點從西北和東南影響中心節(jié)點最大。”，作者應(yīng)該對圖中的顏色進行說明個，是否是通過中間區(qū)域的扁平范圍表示影響，全靠讀者來揣測。

5.3 CNN還是RNN

這個實驗不太重要，也不是論文的重點，可以往后放一下，不用太靠前。

5.4 水平映射 VS 對數(shù)映射

5.5 消融實驗

論文針對卷積核中所用到的角度、距離以及 MLP 做了對比。另外還有網(wǎng)絡(luò)層數(shù)，鄰居個數(shù)，隱藏單元個數(shù)的超參實驗。

看了實驗章節(jié)，總體感受還是覺得，實驗還是應(yīng)該集中到所提的卷積核上，通過替換卷積表現(xiàn)出局部條件卷積的優(yōu)越性；通過對比圓柱正切空間+水平映射 對比 正切空間+對數(shù)映射，這些才是論文的核心創(chuàng)新點。

該工作涉及了較多幾何學(xué)相關(guān)的概念，在讀的過程中，覺得論文在將工作封裝地過于“高大上”，對于簡單的思想，介紹地過于復(fù)雜（文中有給出示例）。不過，總體來看，作者對于問題的研究還是比較深，能夠?qū)⒌厍驓庀蟮囊恍┨攸c與幾何空間的概念聯(lián)系在一起。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的AAAI 2022 | 条件局部图卷积网络用以气象预测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。