Hanlp是由一系列模型與算法組成的工具包，目標是普及自然語言處理在生產環境中的應用。Hanlp具備功能完善、性能高效、架構清洗、語料時新、可自定義的特點；提供詞法分析（中文分詞、磁性標注、命名實體識別）、句法分析、文本分類和情感分析等功能。

本篇將用戶輸入的語句根據詞庫進行分詞、關鍵詞提取、摘要提取、詞庫維護。

工具類名稱：DKNLPBase

1、標準分詞

方法簽名：List<Term> StandardTokenizer.segment(String txt);

返回：分詞列表。

簽名參數說明：txt:要分詞的語句。

范例：下例驗證一段話第5個分詞是阿法狗。

程序清單1

public void testSegment() throws Exception

{String text = "商品和服務";List<Term> termList = DKNLPBase.segment(text);assertEquals("商品", termList.get(0).word);assertEquals("和", termList.get(1).word);assertEquals("服務", termList.get(2).word);text = "柯杰解說“李世石VS阿法狗第二局” 結局竟是這樣";termList = DKNLPBase.segment(text);assertEquals("阿法狗", termList.get(5).word); // 能夠識別"阿法狗"

}

2、關鍵詞提取

方法簽名：List<String> extractKeyword(String txt,int keySum);

返回：關鍵詞列表.

簽名參數說明：txt:要提取關鍵詞的語句，keySum要提取關鍵詞的數量

范例：給出一段話提取一個關鍵詞是“程序員”。

程序清單2

public void testExtractKeyword() throws Exception

{String content = "程序員(英文Programmer)是從事程序開發、維護的專業人員。" +"一般將程序員分為程序設計人員和程序編碼人員，" +"但兩者的界限并不非常清楚，特別是在中國。" +"軟件從業人員分為初級程序員、高級程序員、系統" +"分析員和項目經理四大類。";List<String> keyword = DKNLPBase.extractKeyword(content, 1);assertEquals(1, keyword.size());assertEquals("程序員", keyword.get(0));}

3、短語提取

方法簽名：List<String> extractPhrase(String txt, int phSum);

返回：短語

簽名參數說明：txt:要提取短語的語句，phSum短語數量

范例：給出一段文字，能代表文章的五個短語，第一個短語是算法工程師。

程序清單3

public void testExtractPhrase() throws Exception

{String text = "算法工程師\n" +"算法（Algorithm）是一系列解決問題的清晰指令，也就是說，能夠對一定規范的輸入，在有限時間內獲得所要求的輸出。" +"如果一個算法有缺陷，或不適合于某個問題，執行這個算法將不會解決這個問題。不同的算法可能用不同的時間、" +"空間或效率來完成同樣的任務。一個算法的優劣可以用空間復雜度與時間復雜度來衡量。算法工程師就是利用算法處理事物的人。\n" +"\n" +"1職位簡介\n" +"算法工程師是一個非常高端的職位；\n" +"專業要求：計算機、電子、通信、數學等相關專業；\n" +"學歷要求：本科及其以上的學歷，大多數是碩士學歷及其以上；\n" +"語言要求：英語要求是熟練，基本上能閱讀國外專業書刊；\n" +"必須掌握計算機相關知識，熟練使用仿真工具MATLAB等，必須會一門編程語言。\n" +"\n" +"2研究方向\n" +"視頻算法工程師、圖像處理算法工程師、音頻算法工程師 通信基帶算法工程師\n" +"\n" +"3目前國內外狀況\n" +"目前國內從事算法研究的工程師不少，但是高級算法工程師卻很少，是一個非常緊缺的專業工程師。" +"算法工程師根據研究領域來分主要有音頻/視頻算法處理、圖像技術方面的二維信息算法處理和通信物理層、" +"雷達信號處理、生物醫學信號處理等領域的一維信息算法處理。\n" +"在計算機音視頻和圖形圖像技術等二維信息算法處理方面目前比較先進的視頻處理算法：機器視覺成為此類算法研究的核心；" +"另外還有2D轉3D算法(2D-to-3D conversion)，去隔行算法(de-interlacing)，運動估計運動補償算法" +"(Motion estimation/Motion Compensation)，去噪算法(Noise Reduction)，縮放算法(scaling)，" +"銳化處理算法(Sharpness)，超分辨率算法(Super Resolution),手勢識別(gesture recognition),人臉識別(face recognition)。\n" +"在通信物理層等一維信息領域目前常用的算法：無線領域的RRM、RTT，傳送領域的調制解調、信道均衡、信號檢測、網絡優化、信號分解等。\n" +"另外數據挖掘、互聯網搜索算法也成為當今的熱門方向。\n" +"算法工程師逐漸往人工智能方向發展。";List<String> phraseList = DKNLPBase.extractPhrase(text, 5);assertEquals(5, phraseList.size());assertEquals("算法工程師", phraseList.get(0));}

4、自動摘要

方法簽名：List<String> extractSummary(String txt, int sSum);

返回：摘要語句

簽名參數說明：txt:要提取摘要的語句，sSum摘要句子數量

范例：自動提取三句摘要句子。

程序清單4

public void testExtractSummary() throws Exception

{String document = "算法可大致分為基本算法、數據結構的算法、數論算法、計算幾何的算法、圖的算法、動態規劃以及數值分析、加密算法、排序算法、檢索算法、隨機化算法、并行算法、厄米變形模型、隨機森林算法。\n" +"算法可以寬泛的分為三類，\n" +"一，有限的確定性算法，這類算法在有限的一段時間內終止。他們可能要花很長時間來執行指定的任務，但仍將在一定的時間內終止。這類算法得出的結果常取決于輸入值。\n" +"二，有限的非確定算法，這類算法在有限的時間內終止。然而，對于一個（或一些）給定的數值，算法的結果并不是唯一的或確定的。\n" +"三，無限的算法，是那些由于沒有定義終止定義條件，或定義的條件無法由輸入的數據滿足而不終止運行的算法。通常，無限算法的產生是由于未能確定的定義終止條件。";List<String> sentenceList = DKNLPBase.extractSummary(document, 3);assertEquals(3, sentenceList.size());

}

5、拼音轉換

方法簽名：List<Pinyin> convertToPinyinList(txt);

返回：拼音列表

簽名參數說明：txt:要轉換拼音的語句

范例：給出一段文字中第二個字的拼音。

程序清單5

public void testConvertToPinyinList() throws Exception

{String text = "鴨綠江的綠跟綠色的綠不是一個讀音";List<Pinyin> pinyinList = DKNLPBase.convertToPinyinList(text);assertEquals(text.length(), pinyinList.size());assertEquals(Pinyin.lu4, pinyinList.get(1));

}

6、添加詞庫

方法簽名：String addCK(String filePath);

返回：空—完成，其它—錯誤信息

簽名參數說明：filePath:新的詞庫文件，每個詞使用回車換行分隔。

范例：讀取新詞庫文件，將文件內容中第7個詞“新美“添加到詞庫。

程序清單6

public void testAddCK() throws Exception

{DKNLPBase.addCK("src/test/resources/custom_dictionary.txt");String text = "互聯網家裝質量問題頻繁 新美大殺入勝算幾何";List<Term> termList = DKNLPBase.segment(text);assertEquals("新美", termList.get(6).word);

}

7、新詞發現

方法簽名：

NewWordDiscover discover = new NewWordDiscover(max_word_len, min_freq, min_entropy, min_aggregation, filter);

discover.discovery(text, size);

返回：空—完成，其它—錯誤信息

簽名參數說明：max_word_len： 控制識別結果中最長的詞語長度,默認值是 4;該值越大,運算量越大,結果中出現短語的數量也會越多。

min_freq： 控制結果中詞語的最低頻率,低于該頻率的將會被過濾掉,減少一 些運算量。由于結果是按照頻率排序的,所以該參數其實意義不大。實際上，在接口中直接設為了0，意思是所有候選詞都會出來。

min_entropy： 控制結果中詞語的最低信息熵（信息的不確定度）的值,一般取 0.5 左右。該值越 大,越短的詞語就越容易被提取出來。

min_aggregation： 控制結果中詞語的最低互信息值（字和字之間的關聯性）,一般取 50 到 200.該值 越大,越長的詞語就越容易被提取出來,有時候會出現一些短語。

Filter： 設為 true 的時候將使用內部詞庫過濾掉“舊詞”。

Text：用于新詞發現的文檔。

Size：新詞個數。

范例：新詞發現。

程序清7

public void testFindNewWord() {

NewWordDiscover discover = new NewWordDiscover(4, 0.0f, 0.5f, 100f, true);

//讀取文件夾下所以文檔并合并成一篇文檔用于新詞發現

StringBuilder sbText = new StringBuilder();

File[] txtFiles = new File("src/test/resources/搜狗文本分類語料庫微型版/健康").listFiles();int i = 0;for (File file : txtFiles){System.out.printf("[%d / %d] 讀取 %s 中...\n", ++i, txtFiles.length, file.getName());sbText.append(IOUtil.readTxt(file.getPath()));if (i == 100) break;}System.out.printf("對長度為%d的語料進行分析中...\n", sbText.length());List<WordInfo> wordInfoList = discover.discovery(sbText.toString(), 10);//打印出發現的新詞for (WordInfo wordInfo : wordInfoList) {System.out.println(wordInfo.text);

}

}

文章來源于網絡

轉載于:https://blog.51cto.com/13993767/2312269

新人創作打卡挑戰賽發博客就能抽獎！定制產品紅包拿不停！

總結

以上是生活随笔為你收集整理的Hanlp自然语言处理工具的使用演练的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。