?PaperWeekly 原創 ·?作者｜張瑋瑋

學校｜東北大學碩士生

研究方向｜情緒識別

引言論文動機?現有的基于腦電圖的情緒識別方法大多不能很好地解決以下三個方面的問題：1. 腦電圖信號的拓撲結構沒有被有效地利用來學習更多的有鑒別性的腦電圖特征然而，大多數方法需要在頭皮上對腦電圖通道進行 2D 表示，這可能會在 flatten 過程中造成信息丟失，因為通道實際上是在 3D 空間中排列的；2. 不同受試者的腦電圖信號差異較大，不利于訓練分類器的泛化；3. 參與者在觀看引發情緒的刺激時，可能并不總是產生與刺激一致的預期情緒。目前研究中，在基于腦電圖的情緒識別方面，還沒有人試圖解決噪音標簽的問題。作者提出了一個正則化的圖神經網絡(RGNN)來解決上述三個問題。

論文標題：EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

論文鏈接：https://arxiv.org/abs/1907.07835

源碼鏈接：https://github.com/zhongpeixiang/RGNN

論文工作?腦電信號中的每個通道看作是圖形中的一個節點。RGNN 模型擴展了簡單圖卷積網絡(SGC)，利用了腦電圖信號的拓撲結構，即根據腦網絡組織的經濟性，作者提出了一個符合生物原理的稀疏鄰接矩陣來捕捉局部和全局的通道間關系。局部通道間關系連接附近的神經元群，可以顯示解剖學上的連通性。整體的通道間關系連接左右腦半球之間的神經元群，可以揭示與情緒相關的功能連接。此外，作者提出一個節點域對抗訓練(NodeDAT)來正則化圖模型，以更好地解決跨被試分類場景，并且還提出了一種基于情緒感知的分布學習(EmotionDL)方法來解決數據集中的噪聲標簽問題。

RGNN知識基礎簡單圖卷積網絡給定圖，表示節點集，表示邊集。表示特征矩陣，表示節點的數目，?輸入特征的維度。?可以用加權鄰接矩陣?表示。一般情況下，GNNs?對輸入?學習一個特征變換函數，生成輸出?,表示輸出的維度。特征轉換可以寫成：?，這里?，。GCN (graph convolution network)?的方法如公式所示：

其中??表示??的對角度矩陣，規范化鄰接矩陣?可以防止變得過大。SGC 方法消除非線性函數 ?和將所有層之間的所有線性變換 ?重新參數化為一個線性變換?，如下所示：

這里：

本質上?SGC?計算拓撲感知的線性變換?，最后一個線性變換?。譜圖卷積表示為無向連接圖，其拉普拉斯矩陣定義為：

?L 是?laplacian?矩陣，D 是頂點的度矩陣(對角矩陣)，對角線上的元素?依次為各個頂點的度，W 是圖的鄰接矩陣。歸一化的定義是：

其中，拉普拉斯矩陣?被傅里葉基?對角化，這里，?，是單位矩陣。給定空間信號它的圖傅里葉變換定義為?，逆變換為??。在圖上，和?兩個信號的卷積表示為：

其中，表示 hadamard product。信號?被?濾波輸出?可以表示為：

其中，?可以表示為：

采用階切比雪夫多項式(Chebyshev polynomials)來代替卷積核的圖傅里葉變換??以簡化計算復雜度。基于階切比雪夫多項式，可以?近似為：

其中，為切比雪夫多項式系數，是標準化的 ?標準化后，其對角線元素取值在?[-1,1]，是中最大的元素，是 N 階單位陣。可按以下遞推公式計算得到：

則對信號的圖濾波操作可以寫為：

論文方法1.?鄰接矩陣

▲?圖1.?62 EEG通道圖(灰色對稱通道通過紅色虛線全局連接)

作者在鄰接矩陣中初始化局部通道間關系，如下所示：

其中?表示通道間的物理距離，?代表一個稀疏超參數衰變率可以控制通道之間的聯系。圖 1 描述了 SEED 和 SEED-IV 的全局連接關系，為了利用差分不對稱信息，我們將初始化全局通道間關系到?[-1,0]?如下:?,鄰接矩陣旨在表示結合局部解剖連接和與情緒相關的整體功能連接的大腦網絡。2. RGNN

▲?圖2. RGNN整體框架

圖 2 表示整體 RGNN 框架，結合 NodeDAT 和 EmotionDL，總體損失函數計算如下：?，分別為節點域對抗訓練與情緒感知分布學習的損失函數。其偽代碼如 Algorithm 1 所示。

節點域對抗訓練 (NodeDAT)

表示給定源域數據，表示未標記的目標域數據。領域分類器的目標是最小化以下兩個二進制交叉熵損失的總和：

域分類器的目標是將源數據分類為 0，將目標數據分類為 1。點的域概率可以表示為：

域分類器利用一個梯度反轉層(GRL)來在反向傳播期間反轉域分類器的梯度。情緒感知分布學習作者轉換每個訓練樣本標簽轉化為所有類的先驗概率分布。在 SEED 數據集中，有積極、中性和消極三類情緒，并有相應的類指標分別是 0 1 2，將轉換如下：

在 SEED-IV 中，有四個類：中性、悲傷、恐懼和快樂，分別對應的類指標為 0、1、2 和 3，將轉換如下：

其中，表示在訓練標簽中控制噪音水平的超參數。在得到轉換后的類分布??后，我們的模型可以通過最小化以下 Kullback-Leibler (KL) 散度來進行優化：

結果為了評估本文方法的性能，作者在 SEED 與 SEED-IV 腦電圖數據集上進行了 subject-dependent 和 subject-independent 實驗。實驗結果如表 1 與表 2 所示。

RGNN 模型在兩個數據集上都取得了優于所有基線的性能，包括使用所有頻帶的 DE 特征時的最優良的 BiHDM 模型。除了提出的兩個正則化器外，主要的性能改進可以歸結于兩個因素：1)鄰接矩陣包含了左右半球之間的全局通道間不對稱關系；2)我們的模型通過擴展 SGC 來減少過擬合的問題，這比 DGCNN 中使用的 ChebNet 簡單得多。

▲?圖3.?鄰接矩陣對角元素熱力圖

▲?圖4.?鄰接矩陣A中電極之間的前10個邊權值

圖 3 中前額葉、頂葉和枕葉區域有強烈的活動，表明這些區域可能與大腦的情感處理有很強的關系。圖 4 顯示了鄰接矩陣A中，邊權值最大的前 10 個通道之間的連接。注意，在學習 A 之后，所有的全局連接仍然是最強的連接，這再次證明了全局通道間關系對于情感識別是必不可少的。結論本文提出了一種基于腦電圖信號的正則化圖形神經網絡。我們的模型在生物學上支持捕獲本地和全球渠道間的關系。此外，我們提出了兩個正則化器，即 NodeDAT 和 EmotionDL，以提高我們的模型對跨被試情緒識別的魯棒性。模型分析表明，作者提出的生物支持鄰接矩陣和兩個正則化器對模型性能做出顯著的貢獻。對神經元活動的研究表明，前額葉、頂葉和枕葉可能是情感識別中信息量最大的區域。

點擊以下標題查看更多往期內容：?

• AAAI 2020?| 語義感知BERT(SemBERT)

• 淺談 Knowledge-Injected BERTs

• 從 Word2Vec 到 BERT

• 后 BERT 時代的那些 NLP 預訓練模型

• BERT+知識圖譜：知識賦能的K-BERT模型

• 從三大頂會論文看百變Self-Attention

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息(姓名+學校/工作單位+學歷/職位+研究方向)?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式(微信或手機)，以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的为什么正则化可以起到对模型容量进行控制_论文解读 | 基于正则化图神经网络的脑电情绪识别...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。