導(dǎo)讀：PaddleNLP是飛槳開源的產(chǎn)業(yè)級(jí)NLP工具與預(yù)訓(xùn)練模型集，提供了依托于百度實(shí)際產(chǎn)品打磨，通過百億級(jí)大數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練模型，能夠極大地方便 NLP 研究者和工程師快速應(yīng)用。使用者可以用PaddleNLP 快速實(shí)現(xiàn)文本分類、詞法分析、相似度計(jì)算、語言模型、文本生成、閱讀理解和問答、對(duì)話系統(tǒng)以及語義表示8大類任務(wù)，并且可以直接使用百度開源工業(yè)級(jí)預(yù)訓(xùn)練模型進(jìn)行快速應(yīng)用。用戶在極大地減少研究和開發(fā)成本的同時(shí)，也可以獲得更好的基于產(chǎn)業(yè)實(shí)踐的應(yīng)用效果。

?

一張圖了解PaddleNLP!

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP

?

PaddleNLP全解讀

1. 語義表示

1.1.???ERNIE 2.0

ERNIE 2.0是基于持續(xù)學(xué)習(xí)的語義理解預(yù)訓(xùn)練框架，使用多任務(wù)學(xué)習(xí)增量式構(gòu)建預(yù)訓(xùn)練任務(wù)。ERNIE 2.0中，新構(gòu)建的預(yù)訓(xùn)練任務(wù)類型可以無縫的加入訓(xùn)練框架，持續(xù)的進(jìn)行語義理解學(xué)習(xí)。通過新增的實(shí)體預(yù)測(cè)、句子因果關(guān)系判斷、文章句子結(jié)構(gòu)重建等語義任務(wù)，ERNIE 2.0語義理解預(yù)訓(xùn)練模型從訓(xùn)練數(shù)據(jù)中獲取了詞法、句法、語義等多個(gè)維度的自然語言信息，極大地增強(qiáng)了通用語義表示能力。

ERNIE2.0模型和現(xiàn)有SOTA 預(yù)訓(xùn)練模型在9 個(gè)中文數(shù)據(jù)集、以及英文數(shù)據(jù)集合 GLUE上進(jìn)行效果比較。結(jié)果表明：ERNIE 2.0模型在英語任務(wù)上幾乎全面優(yōu)于BERT和XLNet，在 7 個(gè) GLUE 任務(wù)上取得了最好的結(jié)果；中文任務(wù)上，ERNIE 2.0模型在所有 9 個(gè)中文 NLP 任務(wù)上全面優(yōu)于BERT。

傳送門：https://github.com/PaddlePaddle/ERNIE

1.2.???對(duì)比ERNIE 2.0 和ERNIE 1.0

?

1.3.???BERT on PaddlePaddle

BERT 是一個(gè)遷移能力很強(qiáng)的通用語義表示模型， 以Transformer 為網(wǎng)絡(luò)基本組件，以雙向 Masked Language Model和 Next Sentence Prediction 為訓(xùn)練目標(biāo)，通過預(yù)訓(xùn)練得到通用語義表示，再結(jié)合簡(jiǎn)單的輸出層，應(yīng)用到下游的 NLP 任務(wù)，在多個(gè)任務(wù)上取得了 SOTA 的結(jié)果。本項(xiàng)目是 BERT 在 Paddle Fluid 上的開源實(shí)現(xiàn)。

?

1）完整支持 BERT 模型訓(xùn)練到部署, 包括:支持 BERT GPU 單機(jī)、分布式預(yù)訓(xùn)練；支持 BERT GPU 多卡 Fine-tuning；提供 BERT 預(yù)測(cè)接口 demo, 方便多硬件設(shè)備生產(chǎn)環(huán)境的部署。

2）支持 FP16/FP32 混合精度訓(xùn)練和Fine-tuning，節(jié)省顯存開銷、加速訓(xùn)練過程；

3）提供轉(zhuǎn)換成 Paddle Fluid 參數(shù)格式的 BERT 開源預(yù)訓(xùn)練模型 供下載，以進(jìn)行下游任務(wù)的 Fine-tuning, 包括如下模型:

4）支持 BERT TensorFlow 模型到 Paddle Fluid 參數(shù)的轉(zhuǎn)換。

傳送門：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/language_representations_kit/BERT

?

1.4.???ELMo on PaddlePaddle

ELMo(Embeddings from Language Models) 是重要的通用語義表示模型之一，以雙向 LSTM 為網(wǎng)路基本組件，以 Language Model 為訓(xùn)練目標(biāo)，通過預(yù)訓(xùn)練得到通用的語義表示，將通用的語義表示作為 Feature 遷移到下游 NLP 任務(wù)中，會(huì)顯著提升下游任務(wù)的模型性能。本項(xiàng)目是 ELMo 在 Paddle Fluid 上的開源實(shí)現(xiàn), 基于百科類數(shù)據(jù)訓(xùn)練并發(fā)布了預(yù)訓(xùn)練模型。

?

1） 基于百科類數(shù)據(jù)訓(xùn)練的 ELMo 中文預(yù)訓(xùn)練模型;

2） 完整支持 ELMo 模型訓(xùn)練及表示遷移, 包括:支持 ELMo 多卡訓(xùn)練，訓(xùn)練速度比主流實(shí)現(xiàn)快約1倍；以 LAC 任務(wù)為示例提供ELMo 語義表示遷移到下游 NLP 任務(wù)的示例。

3）在閱讀理解任務(wù)和 LAC 任務(wù)上評(píng)估了 ELMo 預(yù)訓(xùn)練模型帶給下游任務(wù)的性能提升:

?

LAC 加入 ELMo 后 F1 可以提升 1.1%

閱讀理解任務(wù)加入 ELMo 后 Rouge-L 提升 1%

傳送門：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/language_representations_kit/ELMo

2. 對(duì)話系統(tǒng)

2.1.???知識(shí)驅(qū)動(dòng)對(duì)話

人機(jī)對(duì)話是人工智能（AI）中最重要的話題之一，近年來受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。目前，對(duì)話系統(tǒng)仍然處于起步階段，通常是被動(dòng)地進(jìn)行交談，并且更多地將他們的言論作為回應(yīng)而不是他們自己的倡議，這與人與人的談話不同。因此，我們?cè)谝粋€(gè)名為知識(shí)驅(qū)動(dòng)對(duì)話的新對(duì)話任務(wù)上設(shè)置了這個(gè)競(jìng)賽，其中機(jī)器基于構(gòu)建的知識(shí)圖與人交談。它旨在測(cè)試機(jī)器進(jìn)行類似人類對(duì)話的能力。

我們提供基于檢索和基于生成的基線系統(tǒng)。這兩個(gè)系統(tǒng)是由飛槳和Pytorch實(shí)現(xiàn)的。兩個(gè)系統(tǒng)的性能如下表所示。

傳送門：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/ACL2019-DuConv

2.2.???對(duì)話模型工具箱?AutoDialogue Evaluation

對(duì)話自動(dòng)評(píng)估模塊主要用于評(píng)估開放領(lǐng)域?qū)υ捪到y(tǒng)的回復(fù)質(zhì)量，能夠幫助企業(yè)或個(gè)人快速評(píng)估對(duì)話系統(tǒng)的回復(fù)質(zhì)量，減少人工評(píng)估成本。

1）在無標(biāo)注數(shù)據(jù)的情況下，利用負(fù)采樣訓(xùn)練匹配模型作為評(píng)估工具，實(shí)現(xiàn)對(duì)多個(gè)對(duì)話系統(tǒng)回復(fù)質(zhì)量排序；

2）利用少量標(biāo)注數(shù)據(jù)（特定對(duì)話系統(tǒng)或場(chǎng)景的人工打分），在匹配模型基礎(chǔ)上進(jìn)行微調(diào)，可以顯著提高該對(duì)話系統(tǒng)或場(chǎng)景的評(píng)估效果。

以四個(gè)不同的對(duì)話系統(tǒng)（seq2seq_naive／seq2seq_att／keywords／human）為例，使用對(duì)話自動(dòng)評(píng)估工具進(jìn)行自動(dòng)評(píng)估。

/	seq2seq_naive	seq2seq_att	keywords	human
cor	0.474	0.477	0.443	0.378

?

對(duì)話通用理解模型DGU

對(duì)話相關(guān)的任務(wù)中，Dialogue System常常需要根據(jù)場(chǎng)景的變化去解決多種多樣的任務(wù)。任務(wù)的多樣性（意圖識(shí)別、槽位解析、DA識(shí)別、DST等等），以及領(lǐng)域訓(xùn)練數(shù)據(jù)的稀少，給Dialogue System的研究和應(yīng)用帶來了巨大的困難和挑戰(zhàn)，要使得dialoguesystem得到更好的發(fā)展，需要開發(fā)一個(gè)通用的對(duì)話理解模型。基于BERT的對(duì)話通用理解模塊(DGU: Dialogue General Understanding)，通過實(shí)驗(yàn)表明，使用base-model(BERT)并結(jié)合常見的學(xué)習(xí)范式，在幾乎全部對(duì)話理解任務(wù)上取得比肩甚至超越各個(gè)領(lǐng)域業(yè)內(nèi)最好的模型的效果，展現(xiàn)了學(xué)習(xí)一個(gè)通用對(duì)話理解模型的巨大潛力。

DGU針對(duì)數(shù)據(jù)集開發(fā)了相關(guān)的模型訓(xùn)練過程，支持分類，多標(biāo)簽分類，序列標(biāo)注等任務(wù)，用戶可針對(duì)自己的數(shù)據(jù)集，進(jìn)行相關(guān)的模型定制。

基于對(duì)話相關(guān)的業(yè)內(nèi)公開數(shù)據(jù)集進(jìn)行評(píng)測(cè)，效果如下表所示。

?

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/dialogue_model_toolkit

?

3.?閱讀理解和問答

3.1.???D-NET

百度在MRQA 2019閱讀理解國際評(píng)測(cè)中提出了一個(gè)通用的“預(yù)訓(xùn)練-微調(diào)”模型訓(xùn)練框架D(ecathlon)-NET。在全部12個(gè)測(cè)試數(shù)據(jù)集中的10個(gè)上均排名第一。

目前，“預(yù)訓(xùn)練-微調(diào)”在自然語言處理領(lǐng)域已成為一種新的、被廣泛采用的學(xué)習(xí)范式，即首先在大規(guī)模無標(biāo)簽語料上以語言模型為目標(biāo)進(jìn)行預(yù)訓(xùn)練，然后再針對(duì)特定任務(wù)，如閱讀理解進(jìn)行針對(duì)性的微調(diào)。百度提出的D-NET框架主要包括以下優(yōu)勢(shì)：

在預(yù)訓(xùn)練階段，采用了基于飛槳深度學(xué)習(xí)框架中的多種預(yù)訓(xùn)練模型，融合了多種預(yù)訓(xùn)練模型的優(yōu)勢(shì)，獲得了比官方基線更好的效果。

在微調(diào)之前，D-NET引入了針對(duì)更多領(lǐng)域數(shù)據(jù)的進(jìn)一步預(yù)訓(xùn)練，以提升模型在特定領(lǐng)域上的適應(yīng)性，彌補(bǔ)預(yù)訓(xùn)練模型語料分布的局限性。

在微調(diào)過程中，D-NET采用了基于飛槳多任務(wù)學(xué)習(xí)框架進(jìn)行多任務(wù)學(xué)習(xí)。在多任務(wù)學(xué)習(xí)的過程中利用了其它有標(biāo)注的自然語言處理數(shù)據(jù)集（如自然語言推斷、段落排序等）學(xué)習(xí)更好的語言表示，從而提升模型的泛化能力。“預(yù)訓(xùn)練-微調(diào)”學(xué)習(xí)范式在微調(diào)階段的一個(gè)問題是容易發(fā)生災(zāi)難性遺忘。因此，D-NET在微調(diào)過程中引入了防止災(zāi)難性遺忘的機(jī)制。

在微調(diào)結(jié)束后，D-NET使用飛槳知識(shí)蒸餾框架提升單模型效果，以滿足本次評(píng)測(cè)對(duì)模型效率的要求。

本模型預(yù)計(jì)于Paddle Fluid v1.6版本開源，敬請(qǐng)期待

?

3.2.???KT-NET

百度研發(fā)的基于知識(shí)增強(qiáng)的閱讀理解模型，發(fā)表于ACL2019

指標(biāo)性能復(fù)現(xiàn)

傳送門：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/ACL2019-KTNET

?

3.3.???DuReader

?

在機(jī)器閱讀理解(MRC)任務(wù)中，我們會(huì)給定一個(gè)問題(Q)以及一個(gè)或多個(gè)段落(P)/文檔(D)，然后利用機(jī)器在給定的段落中尋找正確答案(A)，即Q + P or D => A. 機(jī)器閱讀理解(MRC)是自然語言處理(NLP)中的關(guān)鍵任務(wù)之一，需要機(jī)器對(duì)語言有深刻的理解才能找到正確的答案。

?

DuReader是一個(gè)大規(guī)模、面向真實(shí)應(yīng)用、由人類生成的中文閱讀理解數(shù)據(jù)集。聚焦于真實(shí)世界中的不限定領(lǐng)域的問答任務(wù)。相較于其他閱讀理解數(shù)據(jù)集，DuReader的優(yōu)勢(shì)包括:

?

????????問題來自于真實(shí)的搜索日志，

????????文章內(nèi)容來自于真實(shí)網(wǎng)頁

????????答案由人類生成

????????面向真實(shí)應(yīng)用場(chǎng)景

????????標(biāo)注更加豐富細(xì)致

升級(jí)后的基線系統(tǒng)性能指標(biāo)：

傳送門：

https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/ACL2018-DuReader

4. 文本生成

機(jī)器翻譯（Machine Translation, MT）是利用計(jì)算機(jī)將一種自然語言(源語言)轉(zhuǎn)換為另一種自然語言(目標(biāo)語言)的過程，輸入為源語言句子，輸出為相應(yīng)的目標(biāo)語言的句子。

4.1.Transformer on PaddlePaddle

本項(xiàng)目是機(jī)器翻譯領(lǐng)域主流模型Transformer 的飛槳實(shí)現(xiàn)， 包含模型訓(xùn)練，預(yù)測(cè)以及使用自定義數(shù)據(jù)等內(nèi)容。用戶可以基于發(fā)布的內(nèi)容搭建自己的翻譯模型。

測(cè)試效果

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/neural_machine_translation/transformer

4.2.RNN Search on PaddlePaddle

RNN Search模型使用了經(jīng)典的編碼器-解碼器（Encoder-Decoder）的框架結(jié)構(gòu)來解決Seq2Seq類問題。這種方法先用編碼器將源序列編碼成vector，再用解碼器將該vector解碼為目標(biāo)序列。這其實(shí)模擬了人類在進(jìn)行翻譯類任務(wù)時(shí)的行為：先解析源語言，理解其含義，再根據(jù)該含義來寫出目標(biāo)語言的語句。編碼器和解碼器往往都使用RNN來實(shí)現(xiàn)。

本模型中，在編碼器方面，我們采用了基于LSTM的多層的encoder；在解碼器方面，我們使用了帶注意力（Attention）機(jī)制的RNN decoder，并同時(shí)提供了一個(gè)不帶注意力機(jī)制的解碼器實(shí)現(xiàn)作為對(duì)比；而在預(yù)測(cè)方面我們使用柱搜索（beam search）算法來生成翻譯的目標(biāo)語句。

單個(gè)模型 beam_size = 10時(shí)的效果：

	no ?attention	with attention
tst2012 BLEU	11.58	22.21
tst2013 BLEU	12.20	25.30

5. 詞法分析

Lexical Analysis of Chinese，簡(jiǎn)稱 LAC，是一個(gè)聯(lián)合的詞法分析模型，能整體性地完成中文分詞、詞性標(biāo)注、專名識(shí)別任務(wù)。我們?cè)谧越ǖ臄?shù)據(jù)集上對(duì)分詞、詞性標(biāo)注、專名識(shí)別進(jìn)行整體的評(píng)估效果，具體數(shù)值見下表；此外，我們?cè)诎俣乳_放的ERNIE模型上 finetune，并對(duì)比基線模型、BERT finetuned 和 ERNIE finetuned 的效果，可以看出會(huì)有顯著的提升。

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/lexical_analysis

6. 文本分類

情感傾向分析（Sentiment Classification，簡(jiǎn)稱Senta）針對(duì)帶有主觀描述的中文文本，可自動(dòng)判斷該文本的情感極性類別并給出相應(yīng)的置信度。情感類型分為積極、消極。情感傾向分析能夠幫助企業(yè)理解用戶消費(fèi)習(xí)慣、分析熱點(diǎn)話題和危機(jī)輿情監(jiān)控，為企業(yè)提供有利的決策支持。

?

情感是人類的一種高級(jí)智能行為，為了識(shí)別文本的情感傾向，需要深入的語義建模。另外，不同領(lǐng)域（如餐飲、體育）在情感的表達(dá)各不相同，因而需要有大規(guī)模覆蓋各個(gè)領(lǐng)域的數(shù)據(jù)進(jìn)行模型訓(xùn)練。為此，我們通過基于深度學(xué)習(xí)的語義模型和大規(guī)模數(shù)據(jù)挖掘解決上述兩個(gè)問題。效果上，我們基于開源情感傾向分類數(shù)據(jù)集ChnSentiCorp進(jìn)行評(píng)測(cè)；此外，我們還開源了百度基于海量數(shù)據(jù)訓(xùn)練好的模型，該模型在ChnSentiCorp數(shù)據(jù)集上fine-tune之后，可以得到更好的效果。具體數(shù)據(jù)如下所示：

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/sentiment_classification

2、對(duì)話情緒識(shí)別

對(duì)話情緒識(shí)別（Emotion Detection，簡(jiǎn)稱EmoTect），專注于識(shí)別智能對(duì)話場(chǎng)景中用戶的情緒，針對(duì)智能對(duì)話場(chǎng)景中的用戶文本，自動(dòng)判斷該文本的情緒類別并給出相應(yīng)的置信度，情緒類型分為積極、消極、中性。

?

對(duì)話情緒識(shí)別適用于聊天、客服等多個(gè)場(chǎng)景，能夠幫助企業(yè)更好地把握對(duì)話質(zhì)量、改善產(chǎn)品的用戶交互體驗(yàn)，也能分析客服服務(wù)質(zhì)量、降低人工質(zhì)檢成本。

?

效果上，我們基于百度自建測(cè)試集（包含閑聊、客服）和nlpcc2014微博情緒數(shù)據(jù)集，進(jìn)行評(píng)測(cè)，效果如下表所示，此外我們還開源了百度基于海量數(shù)據(jù)訓(xùn)練好的模型，該模型在聊天對(duì)話語料上fine-tune之后，可以得到更好的效果。

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/emotion_detection

7. 相似度計(jì)算

短文本語義匹配(SimilarityNet,SimNet)是一個(gè)計(jì)算短文本相似度的框架，可以根據(jù)用戶輸入的兩個(gè)文本，計(jì)算出相似度得分。SimNet框架在百度各產(chǎn)品上廣泛應(yīng)用，主要包括BOW、CNN、RNN、MMDNN等核心網(wǎng)絡(luò)結(jié)構(gòu)形式，提供語義相似度計(jì)算訓(xùn)練和預(yù)測(cè)框架，適用于信息檢索、新聞推薦、智能客服等多個(gè)應(yīng)用場(chǎng)景，幫助企業(yè)解決語義匹配問題。可通過AI開放平臺(tái)-短文本相似度線上體驗(yàn)。

基于百度海量搜索數(shù)據(jù)，我們訓(xùn)練了一個(gè)SimNet-BOW-Pairwise語義匹配模型，在一些真實(shí)的FAQ問答場(chǎng)景中，該模型效果比基于字面的相似度方法AUC提升5%以上，我們基于百度自建測(cè)試集（包含聊天、客服等數(shù)據(jù)集）和語義匹配數(shù)據(jù)集(LCQMC)進(jìn)行評(píng)測(cè)，效果如下表所示。LCQMC數(shù)據(jù)集以Accuracy為評(píng)測(cè)指標(biāo)，而pairwise模型的輸出為相似度，因此我們采用0.958作為分類閾值，相比于基線模型中網(wǎng)絡(luò)結(jié)構(gòu)同等復(fù)雜的CBOW模型（準(zhǔn)確率為0.737），我們模型的準(zhǔn)確率為0.7532。

傳送門：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/similarity_net

8. 語言模型

基于lstm的語言的模型的實(shí)現(xiàn)，給定一個(gè)輸入詞序列（中文分詞、英文tokenize），計(jì)算其ppl（語言模型困惑度，用戶表示句子的流利程度），基于循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型的介紹可以參閱論文。相對(duì)于傳統(tǒng)的方法，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法能夠更好的解決稀疏詞的問題。

在small meidum large三個(gè)不同配置情況的ppl對(duì)比：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP/language_model

?

歷史PaddleNLP文章傳送門

• 盤點(diǎn) | 解析PaddlePaddle官方九大NLP模型

• 讓聊天機(jī)器人完美回復(fù)|基于PaddlePaddle的語義匹配模型DAM

• 基于PaddlePaddle的詞向量實(shí)戰(zhàn) | 深度學(xué)習(xí)基礎(chǔ)任務(wù)教程系列（二）

• 基于PaddlePaddle的情感分析實(shí)戰(zhàn) | 深度學(xué)習(xí)基礎(chǔ)任務(wù)教程

• 基于PaddlePaddle的機(jī)器翻譯實(shí)戰(zhàn) | 深度學(xué)習(xí)基礎(chǔ)任務(wù)教程

• 飛槳帶你了解：基于百科類數(shù)據(jù)訓(xùn)練的 ELMo 中文預(yù)訓(xùn)練模型

? ? ? ? ? ? ? ??

• 基于PaddlePaddle的語義角色標(biāo)注

• 七夕禮物沒送對(duì)？飛槳PaddlePaddle幫你讀懂女朋友的小心思

• 飛槳強(qiáng)勢(shì)助攻，百度奪冠MRQA2019，斬獲十項(xiàng)第一

• 信息檢索&FAQ硬核技術(shù)！飛槳開源百度自研SimNet模型

• 走進(jìn)機(jī)器閱讀理解的世界，飛槳開源升級(jí)版 BiDAF模型解讀

?

想與更多的深度學(xué)習(xí)開發(fā)者交流，請(qǐng)加入飛槳官方QQ群：796771754。

如果您想詳細(xì)了解更多相關(guān)內(nèi)容，請(qǐng)參閱以下文檔。

官網(wǎng)地址：https://www.paddlepaddle.org.cn

項(xiàng)目地址：

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的强力推荐！飞桨产业级PaddleNLP最新全景图发布的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。