學習筆記，僅供參考，有錯必糾

---

文檔信息的向量化

Bi-gram和N-gram模型

由于詞袋模型完全無法利用語序信息，而Bi-gram模型考慮前后詞，可以保留順序信息.

為了考慮更多的前后詞，可以直接擴展至trigram、4-gram直至N-gram.

• 模型優點：考慮了詞的順序，信息量更充分(長度達到5之后，效果有明顯提升)
• 模型缺點：詞表迅速膨脹，數據出現大量的稀疏化問題(每增加一個詞，模型參數增加40萬倍)

離散表示方式所面臨的問題總結

• 無法衡量詞向量之間的關系
• 詞表維度隨著語料庫增長膨脹
• N-gram詞序列隨語料庫膨脹更快
• 數據稀疏問題(導致分析性能成為嚴重瓶頸)

總結

以上是生活随笔為你收集整理的文本挖掘(part4)--N-gram模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。