作者：?
Zeynettin Akkus & Alfiia Galimzianova & Assaf Hoogi & Daniel L. Rubin & Bradley J. Erickson?
時間：2017

Abstract?
這篇綜述的目的是提供關于最近基于深度學習的分割方法對腦部MRI（磁共振成像）定量分析的概述。首先我們看一下最新用來分割腦部解剖結構和腦部損傷的深度學習框架。接下來總結和討論了深度學習方法的表現，速度，和特性。最后給出了當前狀況的關鍵性評價，并且確定了可能的未來發展和趨勢。

Background?
腦功能成像一般選擇MRI，有幾個原因：MRI生成的醫學圖像對軟組織有高對比度和空間分別率，沒有已知的健康損傷。盡管CT（計算機斷層掃描）和PET（正電子成像）也可以用來研究大腦，MRI仍然是最流行的，本片論文針對MRI。腦部MRI定量分析已經被廣泛應用到很多腦部疾病特征分析。為了定量組織萎縮，分割，相應的大腦組織測量都是必須的。相應的，腦部結構變化的定量，要求對在不同時間點獲取的MRI分割。除此之外，非正常組織和周圍正常結構的檢測和精確定位對于診斷，手術規劃，術后分析，化療/放療計劃是至關重要的。正常和病變組織的定量定性特征，包括時間和空間，經常是臨床試驗的一部分，通過一組病人和正常組來研究治療效果。?
神經性疾病和狀況一般都需要腦部磁共振圖像的定量分析。2D和3D的分割和打標簽都是定量分析的重要組成。手動分割是活體圖像的金標準。然而，這要求一張一張畫出組織結構，不僅昂貴和冗長乏味，而且由于人工錯誤而不精確。因此有必要使用一種自動分割方法，并且擁有專家級別的精度和高度一致性。?
3D，4D圖像越來越普及，且生理功能成像越來越多，醫學圖像在數量和復雜度方面都在增加。機器學習是一系列算法技術，能夠使計算機系統從大數據進行數據驅動預測。這些技術有許多可以被應用到醫學領域。?
迄今為止，已經在MRI腦部圖像正常（白質和灰質）和非正常（腦腫瘤）分割的經典機器學習算法上投入了很多研究。然而使得能夠分割的圖像特征的產生要求熟練的工程和專業知識。更重要的是，傳統的機器學習算法并不好用。盡管醫學圖像搜索社區付出了顯著的努力，大腦組織的自動分割和異常區的檢測任然沒有解決，由于腦部形態正常解剖變異，獲取設置和核磁共振成像掃描儀的變化，圖像采集的缺陷，病理學表現的異常。?
深度學習在醫學圖像分析的很多領域已經得到了廣泛的應用，比如，電腦輔助檢測乳腺病變，電腦輔助診斷乳腺病變和肺結節，組織病理學診斷。這篇論文概述了在腦部磁共振圖像分割的最好深度學習技術，并且討論了通過使用深度學習技術任然能夠提高的距離。

Deep Learning?
已經有很多深度學習方法被開發使用到不同目的，比如，圖像的目標檢測和分割，語音識別，基因型/表型檢測，疾病分類。一些已知深度學習算法有堆疊式自動編碼器，深層玻爾茲曼機，深度神經網絡，卷積神經網絡。卷積神經網絡是被用到圖像分割和分類的最多的一種。

Review?
我們將論文分為兩類：關于正常組織和腦損傷。這兩組里不同的深度學習架構被介紹來處理領域內特定的問題。基于它們的架構風格，我們又進行了更細的分類：patch-wise, semantic-wise, or cascaded architectures。在接下來的部分，我們將展示：評價和驗證方法，最近的深度學習方法中的預處理方法，最近深度學習架構風格，深度學習算法在腦組織和病變區量化的表現。

Training, Validation and Evaluation?
當數據有限，就使用交叉驗證方法。由于使用監督方法，需要標簽。數據一般通過專家對腦部組織和病變區域分割認為標定。雖然這對于學習和評估是一個金標準，但非常繁瑣和辛苦，還包含了主觀性。Mazzara等人（Brain tumor target volume determination for radiation treatment planning through automated MRI segmentation）報告，對于手動分割腦腫瘤圖像，國內專家有20 ± 15%的變化，國際專家有28 ± 12%的變化。為了減小這種變化，通過使用標簽融合算法（STAPLE，Simultaneous truth and performance level estimation (STAPLE): An algorithm for the validation of image segmentation，A logarithmic opinion pool based STAPLE algorithm for the fusion of segmentations with associated reliability weights），多個專家的分割圖像被以最佳的方式被結合。對于腦部損傷的分類任務，標定過的真實數據通過活檢和病理檢查來得到。?
為了評定一個新的開發的深度學習方法的效果，有必要將它與現在最好的方法作比較。這里提到很多數據集，https://www.nitrc.org/projects/msseg，brain MRI are Brain Tumor Segmentation (BRATS), Ischemic Stroke Lesion Segmentation(ISLES), Mild Traumatic Brain Injury Outcome Prediction(mTOP), Multiple Sclerosis Segmentation (MSSEG), Neonatal Brain Segmentation (NeoBrainS12), and MR Brain Image Segmentation (MRBrainS)。

Brats 這個腦腫瘤圖像分割挑戰聯合MICCAI會議，自從2012年開始每年舉辦，為了評估現在最好的腦部腫瘤分割方法，并且比較不同方法。為此，很多的數據集被公開，有5類label：腦部健康組織，壞死區，水腫區，腫瘤的加強和非加強區。并且訓練集每年都在增長。最近的Brats 2015–2016比賽中訓練集包含220個高等級子集和54個低等級子集，測試集包含53個混合子集。所有的數據集被校準為同樣的解剖模板，并且被插值為1 mm 3的分辨率。每個數據集包含增強前T1和增強后T1，T2，T2磁共振成像液體衰減反轉恢復序列MRI體素。聯合配準，頭骨分離，標注的訓練集，算法的評價結果可以通過Virtual Skeleton Database (https://www.virtualskeleton.ch/)來獲取.

Isles 這個挑戰被組織來評估，在精確MRI掃描圖像中，中風病變及臨床結果預測。提供了包含大量的精確中風樣例和相關臨床參數的MRI掃描。聯合的被標記的真實數據是最終損傷的區域（任務一），用了3到9個月的跟蹤掃描來人工標記，和表示殘疾度的臨床mRM得分（任務二）。在ISLES2016比賽中，35個訓練集和40個測試集通過SMIR平臺公開。(https://www.smir.ch/ISLES/Start2016). 亞急性缺血性卒中病變分割的獲勝者的算法結果為0. 59±0.31（骰子相似性系數，DSC）和37.88±30.06（豪斯多夫距離，HD）。

mTOP 這個挑戰要求算法找到健康組織和外傷性腦損傷（TBI）病人的差異，并且使用非監督方法將給定的數據分為明顯不同的類。開源MRI數據在https://tbichallenge.wordpress.com/data下載。

MSSEG 這個挑戰的目的是從MS數據的參賽者中評定最好的最新的分割方法，為此他們評估了在一個在多中心臨床數據庫（4個數據中心的38個病人，為1.5T或者3T的圖像，每個病人被7個專家手動標記）上的損傷區域檢測（多少個病變區被檢測出）和分割（被勾出的損傷區精確度如何）。除了這個經典的評估外，他們提供了一個共同的基礎設施來評價算法，比如運行時間和自動化度的比較。數據可以從https://portal.fli-iam.irisa.fr/msseg-challenge/data下載。

NeoBrainS12 這個比賽的的目的是，通過使用腦部T1和T2的MRI圖像，來比較新生腦組織分割算法和對應大小的測量。在以下結構比較：皮質和中央灰質，無髓有髓白質，腦干和小腦，腦室和腦外間隙腦脊液。訓練數據包括兩個30周到40周大小的嬰兒的T1和T2MR圖像。測試集包括5個嬰兒的T1和T2 MRI圖像。數據和算法的評估結果已經被提交，可以從http://neobrains12.isi.uu.nl/下載。

MRBrainS 這個評估架構的目的是比較腦部多序列（T1加權，T1加權反轉恢復，磁共振成像液體衰減反轉恢復序列，FLAIR）3T MRI圖像，灰質，白質，腦脊髓液的分割算法。訓練集包括5個手動分割的腦部MRI圖像，測試集包括15份MRI圖像。數據可以從http://mrbrains13.isi.uu.nl下載。在這個數據集上的獲勝者的算法的結果（骰子相似系數，DSC）：灰質86.15%，白質89.46%，腦脊髓液84.25%。

表1是最常見的用來評估腦部MRI分割方法的定量方法。通常正常組織和腫瘤的分割方法包括每個像素度量（比如：骰子相似系數，真陽率，陽性預測值），病灶表面度量（比如：豪斯多夫距離，平均對稱面距離）。?

另一方面，多灶性腦病變方法經常包括病灶度量（病灶真陽率，病灶陽性預測率）。精確度和特異性等方法在病灶分割內容面趨于避免使用，因為當病目標（灶）比背景（正常大腦組織）小很多時，這些方法不能區分不同的分割輸出。除此之外，通常還包括臨床相關性測量方法。這些方法包括總共的損傷區的相關性分析，自動或手動分割和體積或體積改變相關計數。顯著性檢驗通常伴隨著建立或比較其它方法，大多數是非常數檢驗，比如威爾科克森符號秩檢驗。

Image Preprocessing?
MR圖像自動分割是一個富于挑戰的問題，由于強度不均勻性，強度范圍和對比的變化，噪聲。因此，在自動分割之前，要求特定的步驟來使得圖像看起來更相似，這些步驟一般被稱為預處理。典型的功能腦成像預處理步驟包括以下幾個步驟：?
Registration 配準是將圖像到常見解剖空間的空間對齊。病人自己的圖像配準輔助將MR圖像標準化到立體空間，通常是MNI （加拿大蒙特利爾神經研究所）or ICBM。（MNI和ICBM是一系列3D大腦模型）病人間的配準目的是對齊不同序列的圖像，比如T1和T2之間，為了獲得大腦每個區域的多通道表達。?
Skull Stripping 頭骨剝離是是將頭骨從圖像中去除，目的是將注意力集中在頭顱中間的組織。用于這個目的的最常用的方法為BET，Robex，SPM。?
Bias Field Correction 偏場校正圖像對比度變化的糾正，由于磁場多向性。最常見的方法是N4偏場校正。?
Intensity Normalization 灰度歸一化是將所有圖像的灰度映射到一個標準或基準標度，比如，0到4095。由Nyul等人提出的算法是將圖像灰度按像素線性映射到基準，是最常用的一種正則化技術。在深度學習框架的背景下，z-scores（將圖像中的每個像素減去所有像素的平均值，然后除以標準差）是另一種常見的正則化技術。?
Noise Reduction 降噪是減小MR圖像里邊局部變量賴斯噪聲。?
隨著深度學習的到來，一些預處理步驟對于最后的分割結果的重要性越來越小。比如偏置矯正，基于分位數的灰度歸一化一般被z-score單獨代替。然而另一項工作表明：在應用深度學習之前進行歸一化會對結果有提高。同時，新的預處理方法也被提出來，包括基于校準，頭骨去除，噪聲去除的深度學習。

Current CNN Architecture Styles?
Patch-Wise CNN Architecture（按塊訓練的CNN架構） 有一個簡單的方法訓練CNN算法來分割。一個N*N大小的圖片塊從給定圖像提取出來，模型用這些圖片塊訓練，然后將label給正確的標識類，比如正常大腦，腫瘤。所設計的網絡包含多層卷積，激活函數，池化，全連接層。大多數想在流行的框架都使用這種方法。為了提高按塊訓練框架的表現，多尺度CNN使用多種途徑，每種途徑使用不同大小的patch。這些途徑的輸出被一個神經網絡結合起來，模型被訓練來給出正確的label。?
Semantic-Wise CNN Architecture（按語義訓練的CNN架構） 這種架構對輸入的整張圖像的每個像素進行預測，比如語義分割。和自編碼器類似，它們包括編碼部分（提取特征）和解碼部分（降采樣或去卷積從編碼器得到的高維特征）和組合從編碼部分得到的高維特征來分類像素。通過減少損失函數將輸入圖片映射到分割label。?
Cascaded CNN Architecture（級聯CNN架構） 這種架構結合兩歌CNN架構。第一個CNN的輸出是第二個CNN的輸入來獲得分類結果。第一個CNN用來訓練得到初始預測分類標簽，第二個CNN用來更深的調整第一個CNN的結果。

Segmentation of Normal Brain Structure?
在很多研究中，MRI腦結構的精確自動分割，比如：白質（WM），灰質（GM），腦脊髓液（CSF），對于研究嬰兒早期腦發展，腦組織和顱內容積的定量評估是很重要的。Atlas-based方法（匹配一個atlas和目標的灰度信息），模式識別方法（依據一系列局部灰度信息分類組織）是腦組織分割的傳統方法。近些年，CNN已經被用于腦組織分割，這避免了空間和灰度特征的明確定義，比傳統方法表現更好，我們接下來會討論。如下圖：?

Zhang等人提出了一個從嬰兒的多模態（T1,T2, 各向異性分數（彌散張量成像））MR圖像的2D patch-wise CNN方法來分割白質，灰質，和腦脊液。他們表明他們的CNN方法比先前的方法，基于SVM，隨機森林的傳統的機器學習好。Nie等人提出了semantic-wise全卷積網絡，分割和zhang等人一樣的數據集的嬰兒大腦圖像。Nie等人的結果更好。De Brebisson等人提出一個2D和3D的patch-wise CNN方法，將人腦按照解剖區域分割。作為第一此CNN方法應用到這個挑戰，他們在MICCAI 2012 multi-atlas labeling挑戰獲得非常有競爭力的結果。Moeskops等人提出了一個multi-scale patch-wise CN方法，來分割嬰兒和年輕成年人大腦圖片。Bao等人也提出了一個multi-scale（塊大小不一） patch-wise CNN方法，使用隨機動力抖動伴隨感興趣區域下降，來獲得在IBSR數據集和LPBA40數據集上，皮層下結構的光滑分割。基于卷積神經網絡的深度學習方法已經在NeoBrainS12 and MRBrainS挑戰獲得了最好成績。在測試階段，他們的計算時間也比傳統的機器學習方法要快。?

Segmentation of Brain Lesions?
腦損傷的定量分析包括建立成像生物標志物的測量，比如最大直徑，體積，計數，連續，來量化相關性疾病治療結果，比如腦癌，多發性硬化，中風。這些生物標志的可靠提取依賴于先前的精確分割。盡管在腦損傷分割的很多努力和高級的圖像處理計數，腦部損傷的精確分割仍然是個挑戰。許多自動方法已經被提出來用于損傷分割問題，包括非監督模型方法（目的是自適應圖像數據），監督機器學習方法（給定一個具有代表性數據集，學習損傷區的紋理和外觀特性），atlas-based方法（通過配準有標簽數據或者cohort data到常見的解剖空間，將監督和非監督方法結合為統一管道）。一些綜述提供腦部腫瘤分割，MS損傷分割的傳統方法。?
Havae等人提出了一個2D的patch-wise架構（33 × 33 pixels），使用局部和全局的CNN路徑，可以探索腦腫瘤像素局部和全局的語境特征。局部路徑包括2個卷積層，核大小為7 × 7和5 × 5，相應的，全局路徑包括一個卷積層，核大小為11 × 11。為了處理腫瘤和正常腦組織的不平衡問題（正常腦組織占了整個圖像的90%），他們提出了兩階段訓練，第一，處理等類別概率的數據，然后處理不平衡數據輸出層（保持其它層權重不變）。他們還探索了多級聯架構。他們說他們的CNN方法比BRATS 2013比賽的獲勝者好，而且測試時間更快。?
在另一項研究中，Havaei等人寫了用深度學習方法分割腦腫瘤的綜述，也描述了級聯架構。Pereira等人提出一個2D patch-wise架構，但與Havaei等人不同，他們使用小一點的3 × 3卷積核，允許使用更深的架構，patch intensity正則化，通過旋轉patches來進行數據增強。他們設計了兩個分離的模型分別對高級腫瘤和低級腫瘤分割。分割高級腫瘤的模型包括6個卷積層和3個全鏈接層；分割低級腫瘤的模型包含4個卷積層和3個全鏈接層。他們使用leaky ReLU作為激活函數，允許gradient flow，而rectified linear units則讓所有負數為0. 在Brats 2013中他們的方法表現最好。在2015 data，他們第二。Zhao and Jia使用patch-wise CNN架構，使用三平面（橫斷面，矢狀面，冠狀面）2D切片來分割腦腫瘤。在Brats2013，他們得到了有競爭力的結果。Kamnitsas等人提出了一個3D的dense-inference patch-wise and multi-scale的CNN架構，使用3D（3 × 3 × 3 pixels）卷積核和兩條通路和上面提到的Pereira等人的相似。他們還使用了一個3D的全鏈接條件隨機場來有效的去掉假陽性，這是一個在先前的研究中重要的后續處理步驟。在Brats 2015，他們獲得最佳表現。Dvorak等人提出了一個2D的patch-wise卷積方法，將輸入的patches映射到n組有結構的局部預測，考慮相鄰像素的label。在過去的兩次MICCAI會議，大多數這些研究被發表出來，作為BRATS挑戰的一部分。?
基于CNN的深度學習架構已經被用來中風和多發性硬化（MS）損傷分割，腦微出血檢測，治療效果的預測。Brosch等人提出了一個3D的semantic-wise CNN來從MRI中分割MS損傷。他們在兩個公開的不同數據集上評估他們的方法，MICCAI 2008 and ISBI 2015挑戰。Dou等人提出了一個級聯架構，包括3D semantic-wise CNN and a 3D patch-wise CNN來從MRI中檢測腦微出血（CM）。Maier等人發表了一個比較研究，評估和比較了9個用來分割缺血性中風損傷的分割方法，（比如天真貝葉斯，隨機森林，CNN）。表明級聯CNN和隨機決策樹方法優于其它所有方法。Akkus等人展示了使用2D patch-wise and multi-scale CNN 1p19q染色體共同缺失預測，這和治療的好的結果有關（在低級別腦膠質瘤MRI中）。?

Discussion?
文獻報道最新的方法表明，深度學習技術在定量腦部MR圖像分析中有巨大的潛能。雖然深度學習方法只是最近被用于腦部MRI，但看起來比先前最好的機器學習方法，變得越來越成熟。由于復雜的腦解剖和它表現的多樣性，由于成像協議的不同而導致的非標準的MR灰度，圖像采集的缺陷，病理的從在，對于計算機輔助技術，腦圖象分析一直是一個巨大的挑戰。那么就需要像深度學習這樣處理這些變異的更加泛化的技術。?
盡管是一個有意義的突破，但深度學習的潛能仍然被限制，因為醫學圖像數據集相對小，這就限制了這種方法的能力，不能顯示它的全部能力，這種能力已經在大的數據集上顯示。盡管有作者報道他們的監督學習架構要求僅僅一個訓練樣本，但大多數作者報告他們的結果隨著數據集的增加而穩定提高。對于深度學習方法的有效應用急需大規模的數據集。或者數據集的數量可以通過對原始數據的隨機變換，比如抖動，旋轉，變換，變形等來有效增加。機器學習算法中經常使用這種辦法，被稱為數據增強。數據增強幫助增加訓練樣本的個數，并且通過引入原始數據的隨機變換來減小過擬合。多個研究報告數據增強在他們的研究中非常有用。?
為了提高深度學習方法，一些步驟是非常重要的，包括，數據預處理，數據后處理，網絡權重初始化，阻止過擬合。數據預處理扮演了一個關鍵角色，多重數據預處理已經被應用到最近的研究中。比如，使得輸入腦部MR圖像灰度在同一個參考比例，并且對對每種形態進行正則化。這避免了在輸出模型中由于任何modality和灰度的不同而使得結構的真正pattern被抑制。模型輸出的后處理對于精調分割結果非常重要。任何學習方法的目的是得到一個完美的預測，但是圖像上總有一些區域會有不同類重疊，被稱為部分體積效應，這不可避免的導致了假陽性或假陰性。這些區域要求額外的預處理來精確量化。另一個非常重要的步驟是神經網絡合適的網絡參數初始化，來保證整個網絡的梯度流動，并且能夠收斂。不然激活和梯度流動會消失，且導致不收斂和不學習。隨機權重初始化已經被用到了大多數最近的研究中。最近，阻止過擬合對于學習圖片中正確的信息非常關鍵，避免提供的特定的訓練集過擬合。神經網絡特別容易過擬合，因為參數太多，但訓練數據有限。一些策略被用來阻止過擬合，比如，引入數據隨機變化性來進行數據增強，使用dropout在訓練中隨機去掉網絡節點，L1/L2正則化引入權重懲罰。?
Semantic-wise架構接受任何大小的輸入，生成分類映射而patch-wise CNN架構接受固定大小的輸入，并且產生非空間輸出。因此，semantic-wise架構對圖像的每個像素產生預測結果比patch-wise架構更快。另一方面，相對于semantic-wise架構的全圖訓練，在一個數據集上對patches進行隨機采樣，潛在的促進更快的收斂。Semantic-wise架構易受類別不平衡影響，但這可以通過在損失函數中加權來解決。Cascaded架構，比如patch-wise架構加一個semantic架構，可以解決單獨架構的問題，并且提高輸出結果。?
開發一種通用的深度學習方法，能夠適用于從不同機器不同機構產生的數據任然是一個挑戰，原因是，有限的訓練數據和有label的數據，圖像采集協議的不同，每個MRI采集器的不完美，健康和病理腦組織的表現不同。到目前為止，現在可用的方法都是隨機初始化，并且在有限數據集上訓練。為了提高深度學習架構的一般化，我們可以采用一個表現好的深度學習網絡，在一個大的數據集上訓練，然后再一個小數據集上針對一個特定問題進行微調，這種方法被稱為遷移學習。已經表明，將預訓練的好的具有一般性網絡的權重轉移到新網絡，然后在特定數據集上訓練的效果比隨機初始化網絡權重要好。遷移學習的效果和能否成功依賴于數據集之間的相似性。比如，使用拿ImageNet訓練的與訓練模型，如果沒有更深的訓練，在醫學圖像上可能表現不好。Shin等人報告，他們已經使用拿ImageNet預訓練的模型，使用遷移學習并通過在淋巴結和肺間質疾病微調，而不是從頭開始訓練，獲得了最好的結果。另一方面，ImageNet數據集實質上與醫學圖像數據集非常不同，因此使用從ImageNet訓練的遷移學習，對于醫學圖像來說也許不是最好的選擇。

Summary?
盡管深度學習技術對腦部MRI的定量分析有巨大沖擊，任然很難有一個一般性的方法，對于從不同機構和MRI設備上得到的腦部MR圖像的不同種類具有魯棒性。深度學方法的表現高度依賴于一些關鍵的步驟，比如：預處理，初始化，后處理。當然，要得到一般化的模型，訓練數據集相對于ImageNet來說還很小。更重要的是，現在的深度學習架構依賴于監督學習，并且要求手動標記數據，這對于大規模數據集來說是一項繁瑣的任務。因此，需要對腦部MRI不同類型具有魯棒性，或者具有要求少量有標記數據的非監督學習能力的深度學習模型。除此之外，逼真的模擬腦部MRI數據不同類型的數據增強方法可以減輕對數據量的需求。遷移學習可以被用來分享表現好的深度學習模型，這個模型通過腦部圖像檢索社區，使用正常的和病理的腦部MRI數據訓練，也可以用最少的努力，通過數據集來提高這些方法的泛化能力而不是從頭開始訓練。

總結

以上是生活随笔為你收集整理的Deep Learning for Brain MRI Segmentation: State of the Art and Future Directions的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。