hadoop小學生
精靈王
精靈王
  • 注冊日期2018-09-13
  • 發帖數160
  • QQ3234520070
  • 火幣360枚
  • 粉絲0
  • 關注0
閱讀:19439回復:0

HanLP分詞工具中的ViterbiSegment分詞流程

樓主#
更多 發布于:2019-08-05 10:31
本篇文章將重點講解hanlp的ViterbiSegment自然語言處理6器類,而不涉及感知機和條件隨機場分詞器,也不涉及基于字的分詞器因為這些分詞器都不是我們在實踐中常用的,而且ViterbiSegment也是作者直接封裝到HanLP類中的分詞器,作者也推薦使用該分詞器,同時文本分類包以及其他一些自然語言處理任務包中的分詞器也都間接使用了ViterbiSegment分詞器。

今天的文章還會介紹各分詞詞典文件的使用位置以及作用,相信小伙伴們看了今天的文章應該不會再在github上提出干預自定義不生效的問題了進入正題,本篇的內容比較多,建議收藏后再細讀。
1. 分詞器配置變量
分詞器的相關配置定義在Config.自然語言處理2類中,這里我們將分詞相關的所有配置變量列于下表

圖片:圖1.jpg


這種配置類什么時候實例化呢,不用想肯定是分詞開始前就會實例化,拿HanLP類中的ViterbiSegment分詞類舉例。該類的繼承關系用如下圖所示:

圖片:圖2.jpg


由繼承關系圖可以看到,只要實例化ViterbiSegment則首先會執行Segment()初始化,在該方法中實例化分詞器配置對象config。這些配置變量都是公有變量,因此可以在ViterbiSegment類實例化為對象后直接在外部修改。那么什么時候來使用這些配置變量呢,當然是在分詞的時候,具體是哪個類的哪個方法呢,當然是ViterbiSegment類的List<Term> segSentence(char[] sentence)方法。
另外請注意上邊的3個類,所有ViterbiSegment的分詞方法都集中在這3個類中。
2. 詞典的使用條件和先后順序(也介紹分詞流程)
我們知道了詞典配置變量使用的位置后,就可以確定每個詞典的使用條件了以及每個詞典的使用順序
1. 詞語粗分
1)構建詞圖
對應方法為void generateWordNet(final WordNet wordNetStorage),在此方法中系統使用CoreNatureDictionary.txt文件切分出所有可能的分詞路徑。此時如果配置變量useCustomDictionary為true,則將CustomDictionary.txt中的詞也考慮進來,說明CustomDictionary.txt優先級會高。另外自然語言處理3可以看到CoreNatureDictionary.txt實際上也充當了隱馬詞性標注的發射矩陣,里邊某些多詞性詞也列出了詞性序列以及各詞性對應的頻次。
2)用戶定制詞典干預
如果配置變量useCustomDictionary為true,即需要使用CustomDictionary.txt進行干預,則執行下邊對應的方法,否則跳過該步驟。用戶詞典干預根據是否進行全切分有兩種不同方法:當配置變量indexMode>0時,即系統處于全切分模式時,對應方法為

List<Vertex> combineByCustomDictionary(List<Vertex> vertexList, DoubleArrayTrie<CoreDictionary.Attribute> dat, final WordNet wordNetAll),

如果indexMode=0,即系統處于普通分詞模式,對應方法為

List<Vertex> combineByCustomDictionary(List<Vertex> vertexList, DoubleArrayTrie<CoreDictionary.Attribute> dat)。

從調用的方法我們不難看出,全切分時系統會根據CustomDictionary.txt添加分詞路徑。而普通切分時,系統會根據CustomDictionary.txt合并路徑。這也就是為什么有的時候明明已經在CustomDictionary.txt中添加了新詞卻不生效的原因,因為一旦根據CoreNatureDictionary.txt構建了詞圖就不會再有新的路徑插到已有分詞路徑中間,此時就去查找并修改CoreNatureDictionary.txt中的相關字或詞吧。

3)維特比選擇最優路徑
對應方法為List<Vertex> viterbi(WordNet wordNet),至此就得到了一個粗分的分詞結果。需要注意HanLP的Viterbi分詞只是用viterbi方法求解最優路徑,并不是隱馬。
3. 數字識別
如果配置變量numberQuantifierRecognize為true,則在粗分結果的基礎上進行數字合并操作,否則直接跳過該步。對應方法為
void mergeNumberQuantifier(List<Vertex> termList, WordNet wordNetAll, Config config)。
4. 實體識別
配置變量ner為true時,則需要進行各種實體的識別,繼續向下執行。需要注意該變量受其他實體識別變量影響,只要其他任意實體配置變量為true,則ner就會為true。如果ner為false,則跳過下邊各項實體識別繼續詞性標注環節。
1)中國人名識別
執行此步,配置變量nameRecognize必須為true。調用方法為
PersonRecognition.recognition(vertexList, wordNetOptimum, wordNetAll)。人名使用隱馬,因此有轉移矩陣nr.tr.txt和發射矩陣nr.txt。由于HanLP不提供訓練語料,我們自己也很難得到有角色標注的語料,因此我們一般只修改nr.txt文件,刪除nr.txt.bin文件后生效。
2)音譯人名識別
執行此步,配置變量translatedNameRecognize必須為true。調用方法為
TranslatedPersonRecognition.recognition(vertexList, wordNetOptimum, wordNetAll)。需要注意音譯人名的識別沒有用隱馬,就是匹配分詞法。涉及到的詞典為nrf.txt,如果用戶修改該詞典,則需要刪除nrf.txt.trie.dat使其生效。
3)日本人名識別
執行此步,配置變量japaneseNameRecognize必須為true。調用方法為
JapanesePersonRecognition.recognition(vertexList, wordNetOptimum, wordNetAll)。需要注意日本人名的識別沒有用隱馬,就是匹配分詞法。涉及到的詞典為nrj.txt,如果用戶修改該詞典,則需要刪除nrj.txt.trie.dat和nrj.txt.value.dat使其生效。
4)地名識別
執行此步,配置變量placeRecognize必須為true。調用方法為
PlaceRecognition.recognition(vertexList, wordNetOptimum, wordNetAll)。地名使用隱馬,因此有轉移矩陣ns.tr.txt和發射矩陣ns.txt。由于HanLP不提供訓練語料,我們自己也很難得到有角色標注的語料,因此我們一般只修改ns.txt文件,刪除ns.txt.bin文件后生效。
5)機構名識別
執行此步,配置變量organizationRecognize必須為true。調用方法為
OrganizationRecognition.recognition(vertexList, wordNetOptimum, wordNetAll)。注意這里在調用機構名識別之前先進行了一次識別,也就是層疊隱馬,而人名和地名的識別就是普通的隱馬。機構名的識別使用層疊隱馬,涉及的文件有轉移矩陣nt.tr.txt和發射矩陣nt.txt。由于HanLP不提供訓練語料,我們自己也很難得到有角色標注的語料,因此我們一般只修改nt.txt文件,刪除ns.txt.bin文件后生效。機構名的識別需要人名地名識別具有較高準確率。
至此,分詞流程已全部介紹了。
還需要注意下邊的內容

其他沒有在系統中使用的詞典有
機構名詞典.txt
全國地名大全.txt
人名詞典.txt
上海地名.txt
現代漢語補充詞庫.txt
這些詞典是對系統中的詞典的更新記錄,如果你添加了新的人名、地名、機構名可以在這里添加保存。
另外,如果需要添加人名、地名、機構名可以直接在CoreNatureDictionary.txt中添加,最好是3字以上實體,
如果要去掉錯誤識別的命名實體可以直接在相應的nr.txt,ns.txt,nt.txt中添加。
3. 多線程分詞
HanLP的ViterbiSegment分詞器類是支持多線程的,線程數量由配置變量threadNumber決定的,該變量默認為1。HanLP作者說ViterbiSegmet分詞效率最高的原因肯定也有ViterbiSegment分詞器支持多線程分詞這個因素。另外由于ViterbiSegment分詞器內部所具有的相關命名實體功能,因此這些命名實體識別的效率也會很高。在哪里實現的多線程分詞呢,在Segment類的List<Term> seg(String text)這個方法中實現的,需要注意HanLP的多線程分詞指的是一次輸入了一個長文本,而不是一次處理多個輸入文本。
本文分享自 baiziyu 的專欄,正文內容已經做了部分修改,便于大家閱讀,歡迎一起交流學習!

喜歡0 評分0
DKHadoop用著還不錯!
游客

返回頂部
极速时时开奖程序