在spaCy中,可以使用nlp模型中的tokenizer對文本進行分詞。以下是一個使用spaCy進行文本分詞的示例代碼:
import spacy
# 加載spaCy的英文模型
nlp = spacy.load("en_core_web_sm")
# 要處理的文本
text = "This is a sentence for tokenization."
# 對文本進行分詞
doc = nlp(text)
# 打印每個詞的分詞結果
for token in doc:
print(token.text)
在這個示例中,首先加載了spaCy的英文模型,然后使用該模型對文本進行分詞,最后打印出每個詞的分詞結果。