http://geek.csdn.net/news/detail/96948

語(yǔ)音作為最自然便捷的交流方式，一直是人機(jī)通信和交互最重要的研究領(lǐng)域之一。自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition，ASR）是實(shí)現(xiàn)人機(jī)交互尤為關(guān)鍵的技術(shù)，其所要解決的問(wèn)題是讓計(jì)算機(jī)能夠“聽(tīng)懂”人類(lèi)的語(yǔ)音，將語(yǔ)音中傳化為文本。自動(dòng)語(yǔ)音識(shí)別技術(shù)經(jīng)過(guò)幾十年的發(fā)展已經(jīng)取得了顯著的成效。近年來(lái)，越來(lái)越多的語(yǔ)音識(shí)別智能軟件和應(yīng)用走人了大家的日常生活，蘋(píng)果的Siri、微軟的小娜、科大訊飛的語(yǔ)音輸入法和靈犀等都是其中的典型代表。本文將以科大訊飛的視角介紹語(yǔ)音識(shí)別的發(fā)展歷程和最新技術(shù)進(jìn)展。

我們首先簡(jiǎn)要回顧語(yǔ)音識(shí)別的發(fā)展歷史，然后介紹目前主流的基于深度神經(jīng)網(wǎng)路的語(yǔ)音識(shí)別系統(tǒng)，最后重點(diǎn)介紹科大訊飛語(yǔ)音識(shí)別系統(tǒng)的最新進(jìn)展。

語(yǔ)音識(shí)別關(guān)鍵突破回顧

語(yǔ)音識(shí)別的研究起源于上世紀(jì)50年代，當(dāng)時(shí)的主要研究者是貝爾實(shí)驗(yàn)室。早期的語(yǔ)音識(shí)別系統(tǒng)是簡(jiǎn)單的孤立詞識(shí)別系統(tǒng)，例如1952年貝爾實(shí)驗(yàn)室實(shí)現(xiàn)了十個(gè)英文數(shù)字識(shí)別系統(tǒng)。從上世紀(jì)60年代開(kāi)始，CMU的Reddy開(kāi)始進(jìn)行連續(xù)語(yǔ)音識(shí)別的開(kāi)創(chuàng)性工作。但是這期間語(yǔ)音識(shí)別的技術(shù)進(jìn)展非常緩慢，以至于1969年貝爾實(shí)驗(yàn)室的約翰·皮爾斯（John Pierce）在一封公開(kāi)信中將語(yǔ)音識(shí)別比作“將水轉(zhuǎn)化為汽油、從海里提取金子、治療癌癥”等幾乎不可能實(shí)現(xiàn)的事情。上世紀(jì)70年代，計(jì)算機(jī)性能的大幅度提升，以及模式識(shí)別基礎(chǔ)研究的發(fā)展，例如碼本生成算法（LBG）和線(xiàn)性預(yù)測(cè)編碼（LPC）的出現(xiàn)，促進(jìn)了語(yǔ)音識(shí)別的發(fā)展。這個(gè)時(shí)期美國(guó)國(guó)防部高級(jí)研究計(jì)劃署（DARPA）介入語(yǔ)音領(lǐng)域，設(shè)立了語(yǔ)音理解研究計(jì)劃，研究計(jì)劃包括BBN、CMU、SRI、IBM等眾多頂尖的研究機(jī)構(gòu)。IBM、貝爾實(shí)驗(yàn)室相繼推出了實(shí)時(shí)的PC端孤立詞識(shí)別系統(tǒng)。上世紀(jì)80年代是語(yǔ)音識(shí)別快速發(fā)展的時(shí)期，其中兩個(gè)關(guān)鍵技術(shù)是隱馬爾科夫模型（HMM）的理論和應(yīng)用趨于完善以及NGram語(yǔ)言模型的應(yīng)用。此時(shí)語(yǔ)音識(shí)別開(kāi)始從孤立詞識(shí)別系統(tǒng)向大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng)發(fā)展。例如，李開(kāi)復(fù)研發(fā)的SPHINX系統(tǒng)，是基于統(tǒng)計(jì)學(xué)原理開(kāi)發(fā)的第一個(gè)“非特定人連續(xù)語(yǔ)音識(shí)別系統(tǒng)”。其核心框架就是用隱馬爾科模型對(duì)語(yǔ)音的時(shí)序進(jìn)行建模，而用高斯混合模型（GMM）對(duì)語(yǔ)音的觀(guān)察概率進(jìn)行建模。基于GMM-HMM的語(yǔ)音識(shí)別框架在此后很長(zhǎng)一段時(shí)間內(nèi)一直是語(yǔ)音識(shí)別系統(tǒng)的主導(dǎo)框架。上世紀(jì)90年代是語(yǔ)音識(shí)別基本成熟的時(shí)期，主要進(jìn)展是語(yǔ)音識(shí)別聲學(xué)模型的區(qū)分性訓(xùn)練準(zhǔn)則和模型自適應(yīng)方法的提出。這個(gè)時(shí)期劍橋語(yǔ)音識(shí)別組推出的HTK工具包對(duì)于促進(jìn)語(yǔ)音識(shí)別的發(fā)展起到了很大的推動(dòng)作用。此后語(yǔ)音識(shí)別發(fā)展很緩慢，主流的框架GMM-HMM趨于穩(wěn)定，但是識(shí)別效果離實(shí)用化還相差甚遠(yuǎn)，語(yǔ)音識(shí)別的研究陷入了瓶頸。

關(guān)鍵突破起始于2006年。這一年辛頓（Hinton）提出深度置信網(wǎng)絡(luò)（DBN），促使了深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）研究的復(fù)蘇，掀起了深度學(xué)習(xí)的熱潮。2009年，辛頓以及他的學(xué)生默罕默德（D. Mohamed）將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音的聲學(xué)建模，在小詞匯量連續(xù)語(yǔ)音識(shí)別數(shù)據(jù)庫(kù)TIMIT上獲得成功。2011年，微軟研究院俞棟、鄧力等發(fā)表深度神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別上的應(yīng)用文章，在大詞匯量連續(xù)語(yǔ)音識(shí)別任務(wù)上獲得突破。從此基于GMM-HMM的語(yǔ)音識(shí)別框架被打破，大量研究人員開(kāi)始轉(zhuǎn)向基于DNN-HMM的語(yǔ)音識(shí)別系統(tǒng)的研究。

基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別系統(tǒng)

基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別系統(tǒng)主要采用如圖1所示的框架。相比傳統(tǒng)的基于GMM-HMM的語(yǔ)音識(shí)別系統(tǒng)，其最大的改變是采用深度神經(jīng)網(wǎng)絡(luò)替換GMM模型對(duì)語(yǔ)音的觀(guān)察概率進(jìn)行建模。最初主流的深度神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的前饋型深度神經(jīng)網(wǎng)絡(luò)（Feedforward Deep Neural Network，FDNN）。DNN相比GMM的優(yōu)勢(shì)在于：1. 使用DNN估計(jì)HMM的狀態(tài)的后驗(yàn)概率分布不需要對(duì)語(yǔ)音數(shù)據(jù)分布進(jìn)行假設(shè)；2. DNN的輸入特征可以是多種特征的融合，包括離散或者連續(xù)的；3. DNN可以利用相鄰的語(yǔ)音幀所包含的結(jié)構(gòu)信息。

圖1 基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別系統(tǒng)框架

語(yǔ)音識(shí)別需要對(duì)波形進(jìn)行加窗、分幀、提取特征等預(yù)處理。訓(xùn)練GMM時(shí)候，輸入特征一般只能是單幀的信號(hào)，而對(duì)于DNN可以采用拼接幀作為輸入，這些是DNN相比GMM可以獲得很大性能提升的關(guān)鍵因素。然而，語(yǔ)音是一種各幀之間具有很強(qiáng)相關(guān)性的復(fù)雜時(shí)變信號(hào)，這種相關(guān)性主要體現(xiàn)在說(shuō)話(huà)時(shí)的協(xié)同發(fā)音現(xiàn)象上，往往前后好幾個(gè)字對(duì)我們正要說(shuō)的字都有影響，也就是語(yǔ)音的各幀之間具有長(zhǎng)時(shí)相關(guān)性。采用拼接幀的方式可以學(xué)到一定程度的上下文信息。但是由于DNN輸入的窗長(zhǎng)是固定的，學(xué)習(xí)到的是固定輸入到輸入的映射關(guān)系，從而導(dǎo)致DNN對(duì)于時(shí)序信息的長(zhǎng)時(shí)相關(guān)性的建模是較弱的。

圖2 DNN和RNN示意圖

考慮到語(yǔ)音信號(hào)的長(zhǎng)時(shí)相關(guān)性，一個(gè)自然而然的想法是選用具有更強(qiáng)長(zhǎng)時(shí)建模能力的神經(jīng)網(wǎng)絡(luò)模型。于是，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）近年來(lái)逐漸替代傳統(tǒng)的DNN成為主流的語(yǔ)音識(shí)別建模方案。如圖2，相比前饋型神經(jīng)網(wǎng)絡(luò)DNN，循環(huán)神經(jīng)網(wǎng)絡(luò)在隱層上增加了一個(gè)反饋連接，也就是說(shuō)，RNN隱層當(dāng)前時(shí)刻的輸入有一部分是前一時(shí)刻的隱層輸出，這使得RNN可以通過(guò)循環(huán)反饋連接看到前面所有時(shí)刻的信息，這賦予了RNN記憶功能。這些特點(diǎn)使得RNN非常適合用于對(duì)時(shí)序信號(hào)的建模。而長(zhǎng)短時(shí)記憶模塊 (Long-Short Term Memory，LSTM) 的引入解決了傳統(tǒng)簡(jiǎn)單RNN梯度消失等問(wèn)題，使得RNN框架可以在語(yǔ)音識(shí)別領(lǐng)域?qū)嵱没@得了超越DNN的效果，目前已經(jīng)使用在業(yè)界一些比較先進(jìn)的語(yǔ)音系統(tǒng)中。除此之外，研究人員還在RNN的基礎(chǔ)上做了進(jìn)一步改進(jìn)工作，如圖3是當(dāng)前語(yǔ)音識(shí)別中的主流RNN聲學(xué)模型框架，主要包含兩部分：深層雙向RNN和序列短時(shí)分類(lèi)（Connectionist Temporal Classification，CTC）輸出層。其中雙向RNN對(duì)當(dāng)前語(yǔ)音幀進(jìn)行判斷時(shí)，不僅可以利用歷史的語(yǔ)音信息，還可以利用未來(lái)的語(yǔ)音信息，從而進(jìn)行更加準(zhǔn)確的決策；CTC使得訓(xùn)練過(guò)程無(wú)需幀級(jí)別的標(biāo)注，實(shí)現(xiàn)有效的“端對(duì)端”訓(xùn)練。

圖3 基于RNN——CTC的主流語(yǔ)音識(shí)別系統(tǒng)框架

科大訊飛最新語(yǔ)音識(shí)別系統(tǒng)

國(guó)際國(guó)內(nèi)已經(jīng)有不少學(xué)術(shù)或工業(yè)機(jī)構(gòu)掌握了RNN模型，并在上述某個(gè)或多個(gè)技術(shù)點(diǎn)進(jìn)行研究。然而，上述各個(gè)技術(shù)點(diǎn)單獨(dú)研究時(shí)一般可以獲得較好的結(jié)果，但是如果想將這些技術(shù)點(diǎn)融合在一起則會(huì)碰到一些問(wèn)題。例如，多個(gè)技術(shù)結(jié)合在一起的提升幅度會(huì)比各個(gè)技術(shù)點(diǎn)提升幅度的疊加要小。又例如對(duì)于目前主流的雙向RNN的語(yǔ)音識(shí)別系統(tǒng)，其實(shí)用化過(guò)程面臨一個(gè)最大的問(wèn)題是：理論上只有獲得了完整的全部語(yǔ)音段，才能成功地利用未來(lái)的信息。這就使得其具有很大時(shí)延，只能用于處理一些離線(xiàn)任務(wù)。而對(duì)于實(shí)時(shí)的語(yǔ)音交互，例如語(yǔ)音輸入法，雙向RNN顯然是不適用的。再者，RNN對(duì)上下文相關(guān)性的擬合較強(qiáng)，相對(duì)于DNN更容易陷入過(guò)擬合的問(wèn)題，容易因?yàn)橛?xùn)練數(shù)據(jù)的局部不魯棒現(xiàn)象而帶來(lái)額外的異常識(shí)別錯(cuò)誤。最后，由于RNN具有比DNN更加復(fù)雜的結(jié)構(gòu)，給海量數(shù)據(jù)下的RNN模型訓(xùn)練帶來(lái)了更大的挑戰(zhàn)。

訊飛FSMN語(yǔ)音識(shí)別框架

鑒于上述問(wèn)題，科大訊飛研發(fā)了一種名為前饋型序列記憶網(wǎng)絡(luò)FSMN (Feed-forward Sequential Memory Network) 的新框架。這個(gè)框架可以把上述幾點(diǎn)很好地融合，同時(shí)各個(gè)技術(shù)點(diǎn)對(duì)效果的提升可以獲得疊加。值得一提的是，FSMN采用非循環(huán)的前饋結(jié)構(gòu)，只需要180ms延遲，就達(dá)到了和雙向RNN相當(dāng)?shù)男Ч?/p>

圖4(a)即為FSMN的結(jié)構(gòu)示意圖，相比傳統(tǒng)的DNN，我們?cè)陔[層旁增加了一個(gè)稱(chēng)為“記憶塊”的模塊，用于存儲(chǔ)對(duì)判斷當(dāng)前語(yǔ)音幀有用的歷史信息和未來(lái)信息。圖4(b)畫(huà)出了雙向FSMN中記憶塊左右各記憶1幀語(yǔ)音信息（在實(shí)際任務(wù)中，可根據(jù)任務(wù)需要，調(diào)整所需記憶的歷史和未來(lái)信息長(zhǎng)度）的時(shí)序展開(kāi)結(jié)構(gòu)。從圖中我們可以看出，不同于傳統(tǒng)的基于循環(huán)反饋的RNN，FSMN記憶塊的記憶功能是使用前饋結(jié)構(gòu)實(shí)現(xiàn)的。這種前饋結(jié)構(gòu)有兩大好處：首先，雙向FSMN對(duì)未來(lái)信息進(jìn)行記憶時(shí)，沒(méi)有傳統(tǒng)雙向RNN必須等待語(yǔ)音輸入結(jié)束才能對(duì)當(dāng)前語(yǔ)音幀進(jìn)行判斷的限制，它只需要等待有限長(zhǎng)度的未來(lái)語(yǔ)音幀即可，正如前文所說(shuō)的，我們的雙向FSMN在將延遲控制在180ms的情況下就可獲得媲美雙向RNN的效果；其次，如前所述，傳統(tǒng)的簡(jiǎn)單RNN因?yàn)橛?xùn)練過(guò)程中的梯度是按時(shí)間逐次往前傳播的，因此會(huì)出現(xiàn)指數(shù)衰減的梯度消失現(xiàn)象，這導(dǎo)致理論上具有無(wú)限長(zhǎng)記憶的RNN實(shí)際上能記住的信息很有限，然而FSMN這種基于前饋時(shí)序展開(kāi)結(jié)構(gòu)的記憶網(wǎng)絡(luò)，在訓(xùn)練過(guò)程中梯度沿著圖4中記憶塊與隱層的連接權(quán)重往回傳給各個(gè)時(shí)刻即可，這些連接權(quán)重決定了不同時(shí)刻輸入對(duì)判斷當(dāng)前語(yǔ)音幀的影響，而且這種梯度傳播在任何時(shí)刻的衰減都是常數(shù)的，也是可訓(xùn)練的，因此FSMN用一種更為簡(jiǎn)單的方式解決了RNN中的梯度消失問(wèn)題，使其具有類(lèi)似LSTM的長(zhǎng)時(shí)記憶能力。另外，在模型訓(xùn)練效率和穩(wěn)定性方面，由于FSMN完全基于前饋神經(jīng)網(wǎng)絡(luò)，所以不存在RNN訓(xùn)練中因mini-batch中句子長(zhǎng)短不一需要補(bǔ)0而導(dǎo)致浪費(fèi)運(yùn)算的情況，前饋結(jié)構(gòu)也使得它的并行度更高，可最大化利用GPU計(jì)算能力。從最終訓(xùn)練收斂的雙向FSMN模型記憶塊中各時(shí)刻的加權(quán)系數(shù)分布我們觀(guān)察到，權(quán)重值基本上在當(dāng)前時(shí)刻最大，往左右兩邊逐漸衰減，這也符合預(yù)期。更進(jìn)一步，FSMN可和CTC準(zhǔn)則結(jié)合，實(shí)現(xiàn)語(yǔ)音識(shí)別中的“端到端”建模。

圖4 FSMN結(jié)構(gòu)框圖

科大訊飛DFCNN語(yǔ)音識(shí)別框架

FSMN的成功給了我們一個(gè)很好的啟發(fā)：對(duì)語(yǔ)音的長(zhǎng)時(shí)相關(guān)性建模并不需要觀(guān)察整個(gè)句子，也不一定需要使用遞歸結(jié)構(gòu)，只要將足夠長(zhǎng)的語(yǔ)音上下文信息進(jìn)行良好的表達(dá)就可以對(duì)當(dāng)前幀的決策提供足夠的幫助，而卷積神經(jīng)網(wǎng)絡(luò)（CNN）同樣可以做到這一點(diǎn)。?
CNN早在2012年就被用于語(yǔ)音識(shí)別系統(tǒng)，并且一直以來(lái)都有很多研究人員積極投身于基于CNN的語(yǔ)音識(shí)別系統(tǒng)的研究，但始終沒(méi)有大的突破。最主要的原因是他們沒(méi)有突破傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)采用固定長(zhǎng)度的幀拼接作為輸入的思維定式，從而無(wú)法看到足夠長(zhǎng)的語(yǔ)音上下文信息。另外一個(gè)缺陷是他們只是將CNN視作一種特征提取器，因此所用的卷積層數(shù)很少，一般只有一到二層，這樣的卷積網(wǎng)絡(luò)表達(dá)能力十分有限。針對(duì)這些問(wèn)題，結(jié)合研發(fā)FSMN時(shí)的經(jīng)驗(yàn)，我們研發(fā)了一種名為深度全序列卷積神經(jīng)網(wǎng)絡(luò)（Deep Fully Convolutional Neural Network，DFCNN）的語(yǔ)音識(shí)別框架，使用大量的卷積層直接對(duì)整句語(yǔ)音信號(hào)進(jìn)行建模，更好地表達(dá)了語(yǔ)音的長(zhǎng)時(shí)相關(guān)性。

DFCNN的結(jié)構(gòu)如圖5所示，它直接將一句語(yǔ)音轉(zhuǎn)化成一張圖像作為輸入，即先對(duì)每幀語(yǔ)音進(jìn)行傅里葉變換，再將時(shí)間和頻率作為圖像的兩個(gè)維度，然后通過(guò)非常多的卷積層和池化（pooling）層的組合，對(duì)整句語(yǔ)音進(jìn)行建模，輸出單元直接與最終的識(shí)別結(jié)果比如音節(jié)或者漢字相對(duì)應(yīng)。 DFCNN的工作機(jī)理儼然像是一位德高望重的語(yǔ)音學(xué)專(zhuān)家，通過(guò)“觀(guān)看”語(yǔ)譜圖即可知道語(yǔ)音中表達(dá)的內(nèi)容。對(duì)于很多讀者來(lái)說(shuō)，乍一聽(tīng)可能以為是在寫(xiě)科幻小說(shuō)，但看完我們下面的分析之后，相信大家都會(huì)覺(jué)得這種架構(gòu)是那么的自然。

圖5 DFCNN示意圖

首先，從輸入端來(lái)看，傳統(tǒng)語(yǔ)音特征在傅里葉變換之后使用各種人工設(shè)計(jì)的濾波器組來(lái)提取特征，造成了頻域上的信息損失，在高頻區(qū)域的信息損失尤為明顯，而且傳統(tǒng)語(yǔ)音特征為了計(jì)算量的考慮必須采用非常大的幀移，無(wú)疑造成了時(shí)域上的信息損失，在說(shuō)話(huà)人語(yǔ)速較快的時(shí)候表現(xiàn)得更為突出。因此DFCNN直接將語(yǔ)譜圖作為輸入，相比其他以傳統(tǒng)語(yǔ)音特征作為輸入的語(yǔ)音識(shí)別框架相比具有天然的優(yōu)勢(shì)。其次，從模型結(jié)構(gòu)來(lái)看，DFCNN與傳統(tǒng)語(yǔ)音識(shí)別中的CNN做法不同，它借鑒了圖像識(shí)別中效果最好的網(wǎng)絡(luò)配置，每個(gè)卷積層使用3x3的小卷積核，并在多個(gè)卷積層之后再加上池化層，這樣大大增強(qiáng)了CNN的表達(dá)能力，與此同時(shí)，通過(guò)累積非常多的這種卷積池化層對(duì)，DFCNN可以看到非常長(zhǎng)的歷史和未來(lái)信息，這就保證了DFCNN可以出色地表達(dá)語(yǔ)音的長(zhǎng)時(shí)相關(guān)性，相比RNN網(wǎng)絡(luò)結(jié)構(gòu)在魯棒性上更加出色。最后，從輸出端來(lái)看，DFCNN還可以和近期很熱的CTC方案完美結(jié)合以實(shí)現(xiàn)整個(gè)模型的端到端訓(xùn)練，且其包含的池化層等特殊結(jié)構(gòu)可以使得以上端到端訓(xùn)練變得更加穩(wěn)定。

在和其他多個(gè)技術(shù)點(diǎn)結(jié)合后，科大訊飛DFCNN的語(yǔ)音識(shí)別框架在內(nèi)部數(shù)千小時(shí)的中文語(yǔ)音短信聽(tīng)寫(xiě)任務(wù)上，相比目前業(yè)界最好的語(yǔ)音識(shí)別框架雙向RNN-CTC系統(tǒng)獲得了15%的性能提升，同時(shí)結(jié)合科大訊飛的HPC平臺(tái)和多GPU并行加速技術(shù)，訓(xùn)練速度也優(yōu)于傳統(tǒng)的雙向RNN-CTC系統(tǒng)。DFCNN的提出開(kāi)辟了語(yǔ)音識(shí)別的一片新天地，后續(xù)基于DFCNN框架，我們還將展開(kāi)更多相關(guān)的研究工作，例如：雙向RNN和DFCNN都可以提供對(duì)長(zhǎng)時(shí)歷史以及未來(lái)信息的表達(dá)，但是這兩種表達(dá)之間是否存在互補(bǔ)性，是值得思考的問(wèn)題。

深度學(xué)習(xí)平臺(tái)

以上科大訊飛的研究都很好的語(yǔ)音識(shí)別的效果，同時(shí)科大訊飛也意識(shí)到這些深度神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)和計(jì)算量進(jìn)行訓(xùn)練。例如，兩萬(wàn)小時(shí)的語(yǔ)音數(shù)據(jù)約有12000PFlop的計(jì)算量，如果在一顆E5-2697 v4的CPU上進(jìn)行訓(xùn)練，大約需要116天時(shí)間，這對(duì)語(yǔ)音識(shí)別技術(shù)研究來(lái)說(shuō)是無(wú)法接受的。為此，科大訊飛分析算法的計(jì)算特點(diǎn)，搭建了一套快速的深度學(xué)習(xí)計(jì)算平臺(tái)——深度學(xué)習(xí)平臺(tái)。

圖6 深度學(xué)習(xí)平臺(tái)架構(gòu)

如圖6所示，整個(gè)平臺(tái)分為四個(gè)組成部分。首先，底層基礎(chǔ)架構(gòu)，依據(jù)語(yǔ)音數(shù)據(jù)量、訪(fǎng)問(wèn)的帶寬、訪(fǎng)問(wèn)頻度、計(jì)算量、計(jì)算特點(diǎn)，選擇適合的文件系統(tǒng)、網(wǎng)絡(luò)連接、計(jì)算資源。其中，文件系統(tǒng)使用并行分布式文件系統(tǒng)，網(wǎng)絡(luò)使用萬(wàn)兆連接，計(jì)算資源使用GPU集群，并且單獨(dú)建設(shè)了專(zhuān)門(mén)的機(jī)房。在此基礎(chǔ)之上，開(kāi)發(fā)核心計(jì)算引擎，用于進(jìn)行各種模型訓(xùn)練和計(jì)算，如適合CNN計(jì)算的引擎、適合DNN的計(jì)算引擎以及適合FSMN/DFCNN的計(jì)算引擎等。整個(gè)計(jì)算引擎和基礎(chǔ)架構(gòu)對(duì)使用者來(lái)說(shuō)還是比較抽象，為簡(jiǎn)化使用門(mén)檻，科大訊飛專(zhuān)門(mén)開(kāi)發(fā)了平臺(tái)的資源調(diào)度服務(wù)和引擎的調(diào)用服務(wù)；這些工作大大減少研究院人員使用集群資源的難度，提升研究的進(jìn)度。在此三個(gè)基礎(chǔ)工作之上，科大訊飛的深度學(xué)習(xí)平臺(tái)可以支撐整個(gè)研究相關(guān)的工作，如語(yǔ)音識(shí)別、語(yǔ)音合成、手寫(xiě)識(shí)別……

科大訊飛使用GPU作為主要的運(yùn)算部件，并結(jié)合算法的特點(diǎn)，進(jìn)行了大量的GPU并行化的工作。如科大訊飛在分塊模型更新（BMUF）基礎(chǔ)之上設(shè)計(jì)了融合彈性平均隨機(jī)梯度下降（EASGD）算法的并行計(jì)算框架，在64 GPU上實(shí)現(xiàn)了近線(xiàn)性的加速比，大大提升訓(xùn)練效率，加快深度學(xué)習(xí)相關(guān)應(yīng)用的研究進(jìn)程。

寫(xiě)在最后

回顧語(yǔ)音識(shí)別的發(fā)展歷史和科大訊飛語(yǔ)音識(shí)別系統(tǒng)的最新進(jìn)展后，我們可以發(fā)現(xiàn)，技術(shù)的突破總是艱難而緩慢的，重要的是堅(jiān)持和不斷思考。雖然近幾年深度神經(jīng)網(wǎng)絡(luò)的興起使得語(yǔ)音識(shí)別性能獲得了極大的提升，但是我們并不能迷信于現(xiàn)有的技術(shù)，總有一天新技術(shù)的提出會(huì)替代現(xiàn)有的技術(shù)，科大訊飛希望可以通過(guò)不斷的技術(shù)創(chuàng)新實(shí)現(xiàn)語(yǔ)音識(shí)別技術(shù)的進(jìn)一步突破。

作者簡(jiǎn)介：?
魏　思，博士，科大訊飛研究院副院長(zhǎng)，主要研究領(lǐng)域?yàn)檎Z(yǔ)音信號(hào)處理、模式識(shí)別、人工智能等，并擁有多項(xiàng)業(yè)界領(lǐng)先的科研成果。?
張仕良，科大訊飛研究院研究員。?
潘　嘉，科大訊飛研究院研究員。?
劉　聰，科大訊飛研究院副院長(zhǎng)。?
王智國(guó)，科大訊飛研究院副院長(zhǎng)。?
張致江，科大訊飛研究院研究員。

責(zé)編：周建丁（zhoujd@csdn.net）

總結(jié)

以上是生活随笔為你收集整理的语音识别系统及科大讯飞最新实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。