漫画解读ERNIE:能和BERT一较高下的知识增强语义表示模型
—————? 五分鐘后 —————
ERNIE 是百度開源深度學習平臺飛槳(PaddlePaddle)推出的知識增強語義表示模型,通過海量數據建模詞、實體及實體關系。相較于 BERT 學習原始語言信號,ERNIE 直接對先驗語義知識單元進行建模,增強了模型語義表示能力。簡單來說,ERNIE 采用的 Masked Language Model 是一種帶有先驗知識 Mask 機制。
?
除此之外,ERNIE 采用多源訓練數據,利用高性能分布式深度學習平臺飛槳完成預訓練。
?
ERNIE 經過 1500 萬篇文章,700 萬對話的訓練,尤其在語言推斷、語義相似度、命名實體識別、情感分析、問答匹配等自然語言處理(NLP)各類中文任務上都有不俗的表現。下面我們一起來看看 ERNIE 的應用效果:
完型填空
相似度
情感分類
?
了解ERNIE更多信息,點擊閱讀原文或查看以下鏈接:
http://github.com/PaddlePaddle/LARK/tree/develop/ERNIE
?
長按識別下方二維碼
免費申請Tesla V100算力卡
配合PaddleHub讓模型原地起飛
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?|?了解ERNIE
總結
以上是生活随笔為你收集整理的漫画解读ERNIE:能和BERT一较高下的知识增强语义表示模型的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 清华大学人工智能研究院成立自然语言处理与
- 下一篇: 中国学霸们被世界名校集体退学,原因竟然是