在NLTK庫中,可以使用自帶的分詞器來實現文本分詞。以下是一個簡單的示例代碼:
import nltk
from nltk.tokenize import word_tokenize
# 定義文本
text = "Hello, how are you today?"
# 使用NLTK的word_tokenize函數進行分詞
tokens = word_tokenize(text)
# 打印分詞結果
print(tokens)
運行以上代碼,將會輸出以下結果:
['Hello', ',', 'how', 'are', 'you', 'today', '?']
在NLTK中還有其他不同類型的分詞器,可以根據需要選擇合適的分詞器來實現文本分詞。