CNN in MRF: Video Object Segmentataion via Inference in A CNN-Based Higher-Order Spatio-Temporal MRF
??? 問題:時間的依賴變量通過光流建立,空間的依賴由于空間限制表達能力,無法建模復雜依賴,一些高階概率結合學習模式或強化預分割區域中標簽一致性
??? 使用CNN進行高階空間可能性編碼,可以基于CNN定義目標函數來評估給定的掩碼整體。每幀像素空間potential可以使用基于CNNDA方法進行定義,更復雜的依賴也可以通過這種方式進行定義,因此MRF模型將強制每幀中的推斷結果更像特定的對象。
??? 對MRF以及相關定義的說明
??? 馬爾科夫核心:當前節點只與和它相連的有關,而與其他無關,具有條件獨立性求取聯合概率分布
??? 團塊:團塊中節點集合是全連接的,每對節點間都存在連接
??? 因子:定義為團塊中變量的函數
??? 重新回到文章,在一整個視頻序列中定義隨機場X,每幀中每個像素都是一個變量,值在{0,1}之間(二值分類),用x表示X中變量可能的label。場中的團用C定義,團中變量集用xc表示。
??? 隨機場最大后驗概率時,x的標簽
表示受圖片數據限制時,各團能量總和最小時x應取什么label
??? 通過最小能量函數實現最大后驗概率
一元能量函數,表示每個像素點取當前label 的概率的對數值。
??? Et使用forward-backward consistency check進行過濾。
用兩幀之間對應的標簽(像素)作差,Wij用于表示時空連接可信度,該能量函數用于保證時空一致性。
??? 空間:一幀中所有像素作為一個團,也即一幀中的某個像素的label與當前幀中其余所有像素都有關。
??? 計算一幀圖像的能量函數f(·),評價一整個mask的質量,如直接用當前mask與真值mask直接作差,但實際上真值也是不知道的。空間能量函數定義如下
??? 基于CNN能量函數的MRF推斷比較困難
??? 公式太多我就直接放圖了
總結
以上是生活随笔為你收集整理的CNN in MRF: Video Object Segmentataion via Inference in A CNN-Based Higher-Order Spatio-Temporal MRF的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: tensorflow详解-tf.nn.c
- 下一篇: Tensorflow图像通道合并,Ind