您好,登錄后才能下訂單哦!
Spark中怎樣使用HanLP分詞,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。
1.將HanLP的data(包含詞典和模型)放到hdfs上,然后在項目配置文件hanlp.properties中配置root的路徑,比如:
root=hdfs://localhost:9000/tmp/
2.實現com.hankcs.hanlp.corpus.io.IIOAdapter接口:
3.設置IoAdapter,創建分詞器:
然后,就可以在Spark的操作中使用segment進行分詞了。
看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注億速云行業資訊頻道,感謝您對億速云的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。