一位意大利數(shù)學(xué)家表示，現(xiàn)在我們可以使用一種新數(shù)學(xué)方法，讓機(jī)器學(xué)習(xí)系統(tǒng)能更高效、快速地學(xué)習(xí)識(shí)別復(fù)雜圖像。該數(shù)學(xué)家提出的理論已經(jīng)被 Nature 子刊《Machine Intelligence》接收，該論文的作者表示，這種新方法可以稱為「拓?fù)鋽?shù)據(jù)分析（TDA）」。

從數(shù)學(xué)理論的角度來理解并提升機(jī)器學(xué)習(xí)方法，這也是近來非常有潛力的研究方向。不論是以前通過常微分方程或偏微分方程形式化神經(jīng)網(wǎng)絡(luò)，還是這一篇從拓?fù)鋵W(xué)的角度強(qiáng)化神經(jīng)網(wǎng)絡(luò)的魯棒性，也許當(dāng)更多的數(shù)學(xué)基礎(chǔ)被賦予機(jī)器學(xué)習(xí)時(shí)，它的發(fā)展與創(chuàng)新就會(huì)變得更加有「規(guī)律」。

本文介紹了這種基于拓?fù)鋵W(xué)的數(shù)學(xué)方法，因?yàn)榫唧w的推導(dǎo)與證明非常復(fù)雜，我們只簡(jiǎn)要介紹主體思想與實(shí)驗(yàn)，更多詳細(xì)內(nèi)容可查閱原論文。

目前的 ML 有什么缺陷

ML 有很多缺陷。首先，機(jī)器學(xué)習(xí)系統(tǒng)的魯棒性一直備受質(zhì)疑。例如，在識(shí)別目標(biāo)時(shí)，如果目標(biāo)發(fā)生旋轉(zhuǎn)，則 ML 系統(tǒng)不能識(shí)別這一目標(biāo)。此外，研究者提到，即使 ML 系統(tǒng)在性能方面表現(xiàn)良好，人們依然不知道模型內(nèi)部發(fā)生了什么。

這兩大問題促使研究者探究——是否可以將知識(shí)在訓(xùn)練前輸入模型中，使其在一個(gè)更為有限的空間內(nèi)進(jìn)行搜索，而不是考慮搜索空間中所有的可能，哪怕是那些在現(xiàn)實(shí)中從來不可能出現(xiàn)的。

「我們想要控制模型學(xué)習(xí)到的特征所在空間，」論文一作 Mattia Bergomi 表示，「這有點(diǎn)像平庸和大師級(jí)象棋選手的差別，前者看到了所有可能的棋路，但是后者只看到那些好的路子。」

據(jù)研究者們介紹，他們的研究只集中解決一個(gè)問題：「訓(xùn)練識(shí)別路標(biāo)的深度神經(jīng)網(wǎng)絡(luò)時(shí)，如何告訴網(wǎng)絡(luò)只需要關(guān)注三角形、環(huán)形等簡(jiǎn)單的幾何形狀即可。」

可以識(shí)別圖像旋轉(zhuǎn)的「機(jī)器」。

怎樣解決？

對(duì)此，研究者提出了一種名為拓?fù)鋽?shù)據(jù)分析（Topological Data Analysis: TDA）的方法。TDA 可以被視為是一種搜索拓?fù)涮卣鬟@一內(nèi)部結(jié)構(gòu)的工具，根據(jù)拓?fù)涮卣?#xff0c;任意復(fù)雜的目標(biāo)都能表示為一大組數(shù)字。而種拓?fù)涮卣髦恍枰ㄟ^特定的「鏡頭」，或者過濾器，來對(duì)數(shù)據(jù)進(jìn)行瀏覽就能得到。

例如，對(duì)于人臉數(shù)據(jù)來說，使用 TDA 可以教會(huì)神經(jīng)網(wǎng)絡(luò)在沒有多種角度的人臉數(shù)據(jù)的情況下進(jìn)行人臉識(shí)別。

為了測(cè)試這種方法，研究人員設(shè)置了一個(gè)教會(huì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)識(shí)別手寫數(shù)字的實(shí)驗(yàn)。根據(jù)手寫數(shù)字的人的不同，寫出的數(shù)字可能是兩個(gè)一樣的，或者看起來很不一樣但實(shí)際上是一個(gè)數(shù)字的情況。研究者構(gòu)建了一系列他們認(rèn)為有意義的先驗(yàn)特征，并要求機(jī)器從這些不同的「鏡頭」中選擇，并處理圖像。

研究人員從數(shù)學(xué)角度介紹了這種通用型框架。他們表示，TDA 是一種可以在數(shù)據(jù)集上進(jìn)行運(yùn)算的算子集合。

具體而言，拓?fù)鋵W(xué)數(shù)據(jù)分析方法用于描述群等不變非擴(kuò)張算子（group equivariant nonexpansive operators: GENEO）的空間。GENEO 是函數(shù)空間和變換之間的映射。研究人員研究了 GENEO 的拓?fù)浜投攘啃再|(zhì)，用于評(píng)價(jià)它們的近似率，并設(shè)置了用于初始化的泛化策略。在結(jié)合了算子后，研究人員最終將它們以樹狀結(jié)構(gòu)連接，用于組成算子網(wǎng)絡(luò)。

研究人員發(fā)現(xiàn)，用于識(shí)別數(shù)字 5 和數(shù)字 7 的 TDA 增強(qiáng)神經(jīng)網(wǎng)絡(luò)所需要的訓(xùn)練數(shù)據(jù)量和訓(xùn)練時(shí)間都相當(dāng)程度地減少了。

實(shí)驗(yàn)結(jié)果

在這一部分中，研究者測(cè)試了該方法在分類數(shù)據(jù)集中的效果。首先作者構(gòu)建了一種算法以允許選擇并采樣 GENEO，從而通過一種標(biāo)注函數(shù)學(xué)習(xí)在數(shù)據(jù)集上歸納的度量。隨后作者定義了 GENEO 將要使用的目標(biāo)類別，它們都是 MNIST、fashion-MNIST 和 CIFAR-10 數(shù)據(jù)集中的類別。

選擇和采樣會(huì)用于逼近一個(gè)智能體，從而允許表達(dá)這些數(shù)據(jù)集潛在的度量標(biāo)準(zhǔn)，這只要觀察每類別 20 到 40 個(gè)樣本就可以完成。最后，研究者可以將選擇和采樣的 GENEO 注入到神經(jīng)網(wǎng)絡(luò)的知識(shí)中。

圖 2：整個(gè)實(shí)驗(yàn)的 Pipeline。

圖 3：在 MNIST 數(shù)據(jù)集上選定的 IENEO。通過考慮在 GENEO 空間上定義的度量，我們可以選擇能識(shí)別 MNIST 數(shù)據(jù)集的運(yùn)算子。

圖 4：通過 IENEO 選擇和采樣的度量學(xué)習(xí)。其中 A 為從 MNIST 數(shù)據(jù)集中采樣的「7」和「5」，B、C、D 表示層級(jí)聚類結(jié)果。其中層級(jí)聚類通過使用不同維度的 IENEO 來度量驗(yàn)證樣本屬于「7」和「5」的距離。

圖 5：IENEO 在 fashion-MNIST 和 CIFAR-10 上的度量學(xué)習(xí)。

參考鏈接：

https://cosmosmagazine.com/mathematics/novel-maths-could-bring-ai-to-next-level

https://www.eurekalert.org/pub_releases/2019-09/ccft-nmc082919.php

總結(jié)

以上是生活随笔為你收集整理的为ML带来拓扑学基础，Nature子刊提出拓扑数据分析方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。