Java中的word分詞怎么使用

本篇內容介紹了“Java中的word分詞怎么使用”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

word分詞是一個Java實現的分布式的中文分詞組件，提供了多種基于詞典的分詞算法，并利用ngram模型來消除歧義。能準確識別英文、數字，以及日期、時間等數量詞，能識別人名、地名、組織機構名等未登錄詞。能通過自定義配置文件來改變組件行為，能自定義用戶詞庫、自動檢測詞庫變化、支持大規模分布式環境，能靈活指定多種分詞算法，能使用refine功能靈活控制分詞結果，還能使用詞性標注、同義標注、反義標注、拼音標注等功能。同時還無縫和Lucene、Solr、ElasticSearch、Luke集成。注意：word1.3需要JDK1.8

Maven依賴：

在pom.xml中指定dependency，可用版本有1.0、1.1、1.2：

<dependencies>

    <dependency>

        <groupId>org.apdplat</groupId>

        <artifactId>word</artifactId>

        <version>1.2</version>

    </dependency>

</dependencies>

分詞使用方法：

1、快速體驗

運行項目根目錄下的腳本demo-word.bat可以快速體驗分詞效果

用法: command [text] [input] [output]

命令command的可選值為：demo、text、file

demo

text 楊尚川是APDPlat應用級產品開發平臺的作者

file d:/text.txt d:/word.txt

exit

2、對文本進行分詞

移除停用詞：List<Word> words = WordSegmenter.seg("楊尚川是APDPlat應用級產品開發平臺的作者");

保留停用詞：List<Word> words = WordSegmenter.segWithStopWords("楊尚川是APDPlat應用級產品開發平臺的作者");

            System.out.println(words);

輸出：

移除停用詞：[楊尚川, apdplat, 應用級, 產品, 開發平臺, 作者]

保留停用詞：[楊尚川, 是, apdplat, 應用級, 產品, 開發平臺, 的, 作者]

3、對文件進行分詞

String input = "d:/text.txt";

String output = "d:/word.txt";

移除停用詞：WordSegmenter.seg(new File(input), new File(output));

保留停用詞：WordSegmenter.segWithStopWords(new File(input), new File(output));

4、自定義配置文件

默認配置文件為類路徑下的word.conf，打包在word-x.x.jar中

自定義配置文件為類路徑下的word.local.conf，需要用戶自己提供

如果自定義配置和默認配置相同，自定義配置會覆蓋默認配置

配置文件編碼為UTF-8

5、自定義用戶詞庫

自定義用戶詞庫為一個或多個文件夾或文件，可以使用絕對路徑或相對路徑

用戶詞庫由多個詞典文件組成，文件編碼為UTF-8

詞典文件的格式為文本文件，一行代表一個詞

可以通過系統屬性或配置文件的方式來指定路徑，多個路徑之間用逗號分隔開

類路徑下的詞典文件，需要在相對路徑前加入前綴classpath:

指定方式有三種：

    指定方式一，編程指定（高優先級）：

        WordConfTools.set("dic.path", "classpath:dic.txt，d:/custom_dic");

        DictionaryFactory.reload();//更改詞典路徑之后，重新加載詞典

    指定方式二，Java虛擬機啟動參數（中優先級）：

        java -Ddic.path=classpath:dic.txt，d:/custom_dic

    指定方式三，配置文件指定（低優先級）：

        使用類路徑下的文件word.local.conf來指定配置信息

        dic.path=classpath:dic.txt，d:/custom_dic

如未指定，則默認使用類路徑下的dic.txt詞典文件

6、自定義停用詞詞庫

使用方式和自定義用戶詞庫類似，配置項為：

stopwords.path=classpath:stopwords.txt，d:/custom_stopwords_dic

7、自動檢測詞庫變化

可以自動檢測自定義用戶詞庫和自定義停用詞詞庫的變化

包含類路徑下的文件和文件夾、非類路徑下的絕對路徑和相對路徑

如：

classpath:dic.txt，classpath:custom_dic_dir,

d:/dic_more.txt，d:/DIC_DIR，D:/DIC2_DIR，my_dic_dir，my_dic_file.txt

classpath:stopwords.txt，classpath:custom_stopwords_dic_dir，

d:/stopwords_more.txt，d:/STOPWORDS_DIR，d:/STOPWORDS2_DIR，stopwords_dir，remove.txt

8、顯式指定分詞算法

對文本進行分詞時，可顯式指定特定的分詞算法，如：

WordSegmenter.seg("APDPlat應用級產品開發平臺", SegmentationAlgorithm.BidirectionalMaximumMatching);

SegmentationAlgorithm的可選類型為：   

正向最大匹配算法：MaximumMatching

逆向最大匹配算法：ReverseMaximumMatching

正向最小匹配算法：MinimumMatching

逆向最小匹配算法：ReverseMinimumMatching

雙向最大匹配算法：BidirectionalMaximumMatching

雙向最小匹配算法：BidirectionalMinimumMatching

雙向最大最小匹配算法：BidirectionalMaximumMinimumMatching

全切分算法：FullSegmentation

最少分詞算法：MinimalWordCount

最大Ngram分值算法：MaxNgramScore

9、分詞效果評估

運行項目根目錄下的腳本evaluation.bat可以對分詞效果進行評估

評估采用的測試文本有253 3709行，共2837 4490個字符

評估結果位于target/evaluation目錄下：

corpus-text.txt為分好詞的人工標注文本，詞之間以空格分隔

test-text.txt為測試文本，是把corpus-text.txt以標點符號分隔為多行的結果

standard-text.txt為測試文本對應的人工標注文本，作為分詞是否正確的標準

result-text-***.txt，***為各種分詞算法名稱，這是word分詞結果

perfect-result-***.txt，***為各種分詞算法名稱，這是分詞結果和人工標注標準完全一致的文本

wrong-result-***.txt，***為各種分詞算法名稱，這是分詞結果和人工標注標準不一致的文本

10、分布式中文分詞器

1、在自定義配置文件word.conf或word.local.conf中指定所有的配置項*.path使用HTTP資源，同時指定配置項redis.*

2、配置并啟動提供HTTP資源的web服務器，將項目：https://github.com/ysc/word_web部署到tomcat

3、配置并啟動redis服務器

11、詞性標注（1.3才有這個功能）

將分詞結果作為輸入參數，調用PartOfSpeechTagging類的process方法，詞性保存在Word類的partOfSpeech字段中

如下所示：

List<Word> words = WordSegmenter.segWithStopWords("我愛中國");

System.out.println("未標注詞性："+words);

//詞性標注

PartOfSpeechTagging.process(words);

System.out.println("標注詞性："+words);

輸出內容：

未標注詞性：[我, 愛, 中國]

標注詞性：[我/r, 愛/v, 中國/ns]

12、refine

我們看一個切分例子：

List<Word> words = WordSegmenter.segWithStopWords("我國工人階級和廣大勞動群眾要更加緊密地團結在黨中央周圍");

System.out.println(words);

結果如下：

[我國, 工人階級, 和, 廣大, 勞動群眾, 要, 更加, 緊密, 地, 團結, 在, 黨中央, 周圍]

假如我們想要的切分結果是：

[我國, 工人, 階級, 和, 廣大, 勞動, 群眾, 要, 更加, 緊密, 地, 團結, 在, 黨中央, 周圍]

也就是要把“工人階級”細分為“工人 階級”，把“勞動群眾”細分為“勞動 群眾”，那么我們該怎么辦呢？

我們可以通過在word.refine.path配置項指定的文件classpath:word_refine.txt中增加以下內容：

工人階級=工人 階級

勞動群眾=勞動 群眾

然后，我們對分詞結果進行refine：

words = WordRefiner.refine(words);

System.out.println(words);

這樣，就能達到我們想要的效果：

[我國, 工人, 階級, 和, 廣大, 勞動, 群眾, 要, 更加, 緊密, 地, 團結, 在, 黨中央, 周圍]

我們再看一個切分例子：

List<Word> words = WordSegmenter.segWithStopWords("在實現“兩個一百年”奮斗目標的偉大征程上再創新的業績");

System.out.println(words);

結果如下：

[在, 實現, 兩個, 一百年, 奮斗目標, 的, 偉大, 征程, 上, 再創, 新的, 業績]

假如我們想要的切分結果是：

[在, 實現, 兩個一百年, 奮斗目標, 的, 偉大征程, 上, 再創, 新的, 業績]

也就是要把“兩個 一百年”合并為“兩個一百年”，把“偉大, 征程”合并為“偉大征程”，那么我們該怎么辦呢？

我們可以通過在word.refine.path配置項指定的文件classpath:word_refine.txt中增加以下內容：

兩個 一百年=兩個一百年

偉大 征程=偉大征程

然后，我們對分詞結果進行refine：

words = WordRefiner.refine(words);

System.out.println(words);

這樣，就能達到我們想要的效果：

[在, 實現, 兩個一百年, 奮斗目標, 的, 偉大征程, 上, 再創, 新的, 業績]

13、同義標注

List<Word> words = WordSegmenter.segWithStopWords("楚離陌千方百計為無情找回記憶");

System.out.println(words);

結果如下：

[楚離陌, 千方百計, 為, 無情, 找回, 記憶]

做同義標注：

SynonymTagging.process(words);

System.out.println(words);

結果如下：

[楚離陌, 千方百計[久有存心, 化盡心血, 想方設法, 費盡心機], 為, 無情, 找回, 記憶[影象]]

如果啟用間接同義詞：

SynonymTagging.process(words, false);

System.out.println(words);

結果如下：

[楚離陌, 千方百計[久有存心, 化盡心血, 想方設法, 費盡心機], 為, 無情, 找回, 記憶[影像, 影象]]

List<Word> words = WordSegmenter.segWithStopWords("手勁大的老人往往更長壽");

System.out.println(words);

結果如下：

[手勁, 大, 的, 老人, 往往, 更, 長壽]

做同義標注：

SynonymTagging.process(words);

System.out.println(words);

結果如下：

[手勁, 大, 的, 老人[白叟], 往往[常常, 每每, 經常], 更, 長壽[長命, 龜齡]]

如果啟用間接同義詞：

SynonymTagging.process(words, false);

System.out.println(words);

結果如下：

[手勁, 大, 的, 老人[白叟], 往往[一樣平常, 一般, 凡是, 尋常, 常常, 常日, 平凡, 平居, 平常, 平日, 平時, 往常, 日常, 日常平凡, 時常, 普通, 每每, 泛泛, 素日, 經常, 通俗, 通常], 更, 長壽[長命, 龜齡]]

以詞“千方百計”為例：

可以通過Word的getSynonym()方法獲取同義詞如：

System.out.println(word.getSynonym());

結果如下：

[久有存心, 化盡心血, 想方設法, 費盡心機]

注意：如果沒有同義詞，則getSynonym()返回空集合：Collections.emptyList()

間接同義詞和直接同義詞的區別如下：

假設：

A和B是同義詞，A和C是同義詞，B和D是同義詞，C和E是同義詞

則：

對于A來說，A B C是直接同義詞

對于B來說，A B D是直接同義詞

對于C來說，A C E是直接同義詞

對于A B C來說，A B C D E是間接同義詞

14、反義標注

List<Word> words = WordSegmenter.segWithStopWords("5月初有哪些電影值得觀看");

System.out.println(words);

結果如下：

[5, 月初, 有, 哪些, 電影, 值得, 觀看]

做反義標注：

AntonymTagging.process(words);

System.out.println(words);

結果如下：

[5, 月初[月底, 月末, 月終], 有, 哪些, 電影, 值得, 觀看]

List<Word> words = WordSegmenter.segWithStopWords("由于工作不到位、服務不完善導致顧客在用餐時發生不愉快的事情,餐廳方面應該向顧客作出真誠的道歉,而不是敷衍了事。");

System.out.println(words);

結果如下：

[由于, 工作, 不到位, 服務, 不完善, 導致, 顧客, 在, 用餐, 時, 發生, 不愉快, 的, 事情, 餐廳, 方面, 應該, 向, 顧客, 作出, 真誠, 的, 道歉, 而不是, 敷衍了事]

做反義標注：

AntonymTagging.process(words);

System.out.println(words);

結果如下：

[由于, 工作, 不到位, 服務, 不完善, 導致, 顧客, 在, 用餐, 時, 發生, 不愉快, 的, 事情, 餐廳, 方面, 應該, 向, 顧客, 作出, 真誠[糊弄, 虛偽, 虛假, 險詐], 的, 道歉, 而不是, 敷衍了事[一絲不茍, 兢兢業業, 盡心竭力, 竭盡全力, 精益求精, 誠心誠意]]

以詞“月初”為例：

可以通過Word的getAntonym()方法獲取反義詞如：

System.out.println(word.getAntonym());

結果如下：

[月底, 月末, 月終]

注意：如果沒有反義詞，getAntonym()返回空集合：Collections.emptyList()

15、拼音標注

List<Word> words = WordSegmenter.segWithStopWords("《速度與激情7》的中國內地票房自4月12日上映以來，在短短兩周內突破20億人民幣");

System.out.println(words);

結果如下：

[速度, 與, 激情, 7, 的, 中國, 內地, 票房, 自, 4月, 12日, 上映, 以來, 在, 短短, 兩周, 內, 突破, 20億, 人民幣]

執行拼音標注：

PinyinTagging.process(words);

System.out.println(words);

結果如下：

[速度 sd sudu, 與 y yu, 激情 jq jiqing, 7, 的 d de, 中國 zg zhongguo, 內地 nd neidi, 票房 pf piaofang, 自 z zi, 4月, 12日, 上映 sy shangying, 以來 yl yilai, 在 z zai, 短短 dd duanduan, 兩周 lz liangzhou, 內 n nei, 突破 tp tupo, 20億, 人民幣 rmb renminbi]

以詞“速度”為例：

可以通過Word的getFullPinYin()方法獲取完整拼音如：sudu

可以通過Word的getAcronymPinYin()方法獲取首字母縮略拼音如：sd

16、Lucene插件：

1、構造一個word分析器ChineseWordAnalyzer

Analyzer analyzer = new ChineseWordAnalyzer();

如果需要使用特定的分詞算法，可通過構造函數來指定：

Analyzer analyzer = new ChineseWordAnalyzer(SegmentationAlgorithm.FullSegmentation);

如不指定，默認使用雙向最大匹配算法：SegmentationAlgorithm.BidirectionalMaximumMatching

可用的分詞算法參見枚舉類：SegmentationAlgorithm

2、利用word分析器切分文本

TokenStream tokenStream = analyzer.tokenStream("text", "楊尚川是APDPlat應用級產品開發平臺的作者");

//準備消費

tokenStream.reset();

//開始消費

while(tokenStream.incrementToken()){

    //詞

    CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);

    //詞在文本中的起始位置

    OffsetAttribute offsetAttribute = tokenStream.getAttribute(OffsetAttribute.class);

    //第幾個詞

    PositionIncrementAttribute positionIncrementAttribute = tokenStream.getAttribute(PositionIncrementAttribute.class);

    //詞性

    PartOfSpeechAttribute partOfSpeechAttribute = tokenStream.getAttribute(PartOfSpeechAttribute.class);

    //首字母縮略拼音

    AcronymPinyinAttribute acronymPinyinAttribute = tokenStream.getAttribute(AcronymPinyinAttribute.class);

    //完整拼音

    FullPinyinAttribute fullPinyinAttribute = tokenStream.getAttribute(FullPinyinAttribute.class);

    //同義詞

    SynonymAttribute synonymAttribute = tokenStream.getAttribute(SynonymAttribute.class);

    //反義詞

    AntonymAttribute antonymAttribute = tokenStream.getAttribute(AntonymAttribute.class);

    LOGGER.info(charTermAttribute.toString()+" ("+offsetAttribute.startOffset()+" - "+offsetAttribute.endOffset()+") "+positionIncrementAttribute.getPositionIncrement());

    LOGGER.info("PartOfSpeech:"+partOfSpeechAttribute.toString());

    LOGGER.info("AcronymPinyin:"+acronymPinyinAttribute.toString());

    LOGGER.info("FullPinyin:"+fullPinyinAttribute.toString());

    LOGGER.info("Synonym:"+synonymAttribute.toString());

    LOGGER.info("Antonym:"+antonymAttribute.toString());

}

//消費完畢

tokenStream.close();

3、利用word分析器建立Lucene索引

Directory directory = new RAMDirectory();

IndexWriterConfig config = new IndexWriterConfig(analyzer);

IndexWriter indexWriter = new IndexWriter(directory, config);

4、利用word分析器查詢Lucene索引

QueryParser queryParser = new QueryParser("text", analyzer);

Query query = queryParser.parse("text:楊尚川");

TopDocs docs = indexSearcher.search(query, Integer.MAX_VALUE);

17、Solr插件：

1、下載word-1.3.jar

下載地址：http://search.maven.org/remotecontent?filepath=org/apdplat/word/1.3/word-1.3.jar

2、創建目錄solr-5.1.0/example/solr/lib，將word-1.3.jar復制到lib目錄

3、配置schema指定分詞器

將solr-5.1.0/example/solr/collection1/conf/schema.xml文件中所有的

<tokenizer class="solr.WhitespaceTokenizerFactory"/>和

<tokenizer class="solr.StandardTokenizerFactory"/>全部替換為

<tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory"/>

并移除所有的filter標簽

4、如果需要使用特定的分詞算法：

<tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory" segAlgorithm="ReverseMinimumMatching"/>

segAlgorithm可選值有：  

正向最大匹配算法：MaximumMatching

逆向最大匹配算法：ReverseMaximumMatching

正向最小匹配算法：MinimumMatching

逆向最小匹配算法：ReverseMinimumMatching

雙向最大匹配算法：BidirectionalMaximumMatching

雙向最小匹配算法：BidirectionalMinimumMatching

雙向最大最小匹配算法：BidirectionalMaximumMinimumMatching

全切分算法：FullSegmentation

最少分詞算法：MinimalWordCount

最大Ngram分值算法：MaxNgramScore

如不指定，默認使用雙向最大匹配算法：BidirectionalMaximumMatching

5、如果需要指定特定的配置文件：

<tokenizer class="org.apdplat.word.solr.ChineseWordTokenizerFactory" segAlgorithm="ReverseMinimumMatching"

        conf="solr-5.1.0/example/solr/nutch/conf/word.local.conf"/>

word.local.conf文件中可配置的內容見 word-1.3.jar 中的word.conf文件

如不指定，使用默認配置文件，位于 word-1.3.jar 中的word.conf文件

18、ElasticSearch插件：

1、打開命令行并切換到elasticsearch的bin目錄

cd elasticsearch-1.5.1/bin

2、運行plugin腳本安裝word分詞插件：

./plugin -u http://apdplat.org/word/archive/v1.2.zip -i word

3、修改文件elasticsearch-1.5.1/config/elasticsearch.yml，新增如下配置：    

index.analysis.analyzer.default.type : "word"

index.analysis.tokenizer.default.type : "word"

4、啟動ElasticSearch測試效果，在Chrome瀏覽器中訪問：    

http://localhost:9200/_analyze?analyzer=word&text=楊尚川是APDPlat應用級產品開發平臺的作者

5、自定義配置

修改配置文件elasticsearch-1.5.1/plugins/word/word.local.conf

6、指定分詞算法

修改文件elasticsearch-1.5.1/config/elasticsearch.yml，新增如下配置：

index.analysis.analyzer.default.segAlgorithm : "ReverseMinimumMatching"

index.analysis.tokenizer.default.segAlgorithm : "ReverseMinimumMatching"

這里segAlgorithm可指定的值有：

正向最大匹配算法：MaximumMatching

逆向最大匹配算法：ReverseMaximumMatching

正向最小匹配算法：MinimumMatching

逆向最小匹配算法：ReverseMinimumMatching

雙向最大匹配算法：BidirectionalMaximumMatching

雙向最小匹配算法：BidirectionalMinimumMatching

雙向最大最小匹配算法：BidirectionalMaximumMinimumMatching

全切分算法：FullSegmentation

最少分詞算法：MinimalWordCount

最大Ngram分值算法：MaxNgramScore

如不指定，默認使用雙向最大匹配算法：BidirectionalMaximumMatching

19、Luke插件：

1、下載http://luke.googlecode.com/files/lukeall-4.0.0-ALPHA.jar（國內不能訪問）

2、下載并解壓Java中文分詞組件word-1.0-bin.zip：http://pan.baidu.com/s/1dDziDFz

3、將解壓后的 Java中文分詞組件word-1.0-bin/word-1.0 文件夾里面的4個jar包解壓到當前文件夾

用壓縮解壓工具如winrar打開lukeall-4.0.0-ALPHA.jar，將當前文件夾里面除了META-INF文件夾、.jar、

.bat、.html、word.local.conf文件外的其他所有文件拖到lukeall-4.0.0-ALPHA.jar里面

4、執行命令 java -jar lukeall-4.0.0-ALPHA.jar 啟動luke，在Search選項卡的Analysis里面

就可以選擇 org.apdplat.word.lucene.ChineseWordAnalyzer 分詞器了

5、在Plugins選項卡的Available analyzers found on the current classpath里面也可以選擇 

org.apdplat.word.lucene.ChineseWordAnalyzer 分詞器

注意：如果你要自己集成word分詞器的其他版本，在項目根目錄下運行mvn install編譯項目，然后運行命令

mvn dependency:copy-dependencies復制依賴的jar包，接著在target/dependency/目錄下就會有所有

的依賴jar包。其中target/dependency/slf4j-api-1.6.4.jar是word分詞器使用的日志框架，

target/dependency/logback-classic-0.9.28.jar和

target/dependency/logback-core-0.9.28.jar是word分詞器推薦使用的日志實現，日志實現的配置文件

路徑位于target/classes/logback.xml，target/word-1.3.jar是word分詞器的主jar包，如果需要

自定義詞典，則需要修改分詞器配置文件target/classes/word.conf

已經集成好的Luke插件下載（適用于lucene4.0.0） ：lukeall-4.0.0-ALPHA-with-word-1.0.jar

已經集成好的Luke插件下載（適用于lucene4.10.3）：lukeall-4.10.3-with-word-1.2.jar

20、詞向量：

從大規模語料中統計一個詞的上下文相關詞，并用這些上下文相關詞組成的向量來表達這個詞。

通過計算詞向量的相似性，即可得到詞的相似性。

相似性的假設是建立在如果兩個詞的上下文相關詞越相似，那么這兩個詞就越相似這個前提下的。

通過運行項目根目錄下的腳本demo-word-vector-corpus.bat來體驗word項目自帶語料庫的效果

如果有自己的文本內容，可以使用腳本demo-word-vector-file.bat來對文本分詞、建立詞向量、計算相似性

“Java中的word分詞怎么使用”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！